AutoMLを学ぶ (Japanese Edition)

第8章 テキストおよび自然言語処理のためのAutoML

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

機械学習モデルが人間の言語を「理解」するのを初めて目にした時のことを、今でも覚えている。2017年のことだ。当時、私はサポートチケットの処理に追われていた小売企業で働いていた。顧客からの数十万件もの非構造化テキストメッセージ ——苦情、質問、称賛、その他あらゆる内容——があり、それらを自動的に分類し、適切なチームに振り分ける必要があった。

当時、効果的なテキスト分類システムを構築するには、nグラムの抽出、TF-IDFスコアの算出、ステミングやレマタイゼーションの処理、前処理パイプラインの慎重な調整など、数週間にわたる手作業による特徴量エンジニアリングが必要だった。このプロセスは煩雑でミスが起きやすく、自然言語処理と特定ドメインの両方における深い専門知識が求められた。

今日に至り、AutoMLはテキスト処理へのアプローチを根本から変革した。かつてはNLPの専門家チームと数週間の開発期間を要していた作業が、今ではドメインの専門家であれば数行のコードで実現できる。この章では、のAutoGluonが提供するMultiModalPredictorが、あらゆるレベルの実務家に高度なNLP機能を利用可能にすると同時に、専門家がモデルをカスタマイズ・最適化するための柔軟性も提供している仕組みを探っていく。

その変換は目覚ましいものだった。その小売業者は最近、最新のAutoMLツールを用いてシステムを更新したいと連絡してきた。2017年に同社のチームが6週間かけて構築したシステムが、AutoGluonのMultiModalPredictorを使用することで、わずか2日でレプリケーションされ、さらに改良されたのだ。 新システムの精度は、旧システムの87%に対し94%を達成し、F1スコアは0.82から0.91へと向上した。トレーニングに必要なGPU演算時間は同程度だったが、エンジニアリングの工数は6週間から2日へと短縮された。この大幅な削減は、手動による特徴量エンジニアリングとハイパーパラメータのチューニングが不要になったことに起因する。新システムはより高い精度を達成し、より複雑な言語パターンを処理でき、手動による特徴量エンジニアリングは事実上不要となった。

注

本章のすべてのコード例はテストおよび妥当性確認済みだ。完全な実装、詳細な出力、実験的なバリエーション、および追加の高度なテクニックについては、付属のJupyterノートブックChapter8.ipynbを参照のこと。

テキスト処理のためのAutoGluonのMultiModalPredictor

AutoGluonのテキスト処理機能 は、強力なMultiModalPredictorの下で統合された。これは機能面と使いやすさの両面で大きな進歩を意味する。この統合アプローチにより、最新のトランスフォーマーモデルや高度な機能を利用しつつ、高度なNLPを容易に活用できるようになる。

なぜ MultiModalPredictor なのか？

からMultiModalPredictorへの進化は、現代のテキスト処理が抱える核心的な課題に対処する画期的な利点をもたらす。統合されたアーキテクチャにより、機械学習ワークフローにおける最大のペインポイントの一つである「データ型ごとに異なるAPIを習得する必要がある」という問題が解消される。テキスト文書、画像、表形式データ、あるいはそれらの組み合わせを扱う場合でも、同じ直感的なインタフェースと手法を使用できる。この一貫性により学習曲線が劇的に短縮され、実務者は異なるツールとの格闘に時間を費やすことなく、ビジネス課題の解決に集中できるようになる。 ...