実践 自然言語処理 ―実世界NLPアプリケーション開発のベストプラクティス

11章エンドツーエンドのNLPプロセス

ゴールよりもプロセスが大事である。

結果がどうであろうと、なれる自分には無限の価値がある。

—— Anthony Moore

これまで本書では、多様なNLPの問題を取り上げてきました。その中には、NLPパイプラインの構築方法から、さまざまなドメインにおけるNLPの適用方法まで含まれています。これまでに学んだことを効率的に適用し、NLPを用いたエンドツーエンドのソフトウェア製品を構築するには、パイプラインのさまざまなステップを単に結合するだけでは不十分です。すなわち、NLPのプロセスでは意思決定しなければならない場面があるのです。このような知識は経験によって得られることがほとんどです。しかし、本章ではエンドツーエンドのNLPプロセスに関する知識の一部を抽出し、読者の皆さんがより早く、より良いスタートを切れるようにしました。

「2章　NLPのパイプライン」では、NLPシステムの典型的なパイプラインを紹介しました。では、本章の内容はどこが違うのでしょうか。「2章　NLPのパイプライン」では、パイプラインの技術面に焦点を当てました。たとえば、前処理やモデルの構築と評価の方法などです。その後、「第Ⅰ部　基礎」と「第Ⅱ部　必須事項」の各章では、さまざまなNLPタスクを解くためのアルゴリズムを紹介しました。また、医療、Eコマース、ソーシャルメディアなどのドメインにおけるNLPの活用方法を確認しました。しかし、これらの章では、システムのデプロイと保守に関する問題やプロジェクトを管理するプロセスについては、ほとんど触れていませんでした。本章では、これらの内容を中心に説明します。本章で取り上げる内容の多くは、NLPだけでなく、データサイエンス、機械学習、人工知能などの分野にも広く適用できます。本章では、機械学習や人工知能などの用語をほぼ同じ意味で使用していますが、NLPに焦点を当てている場合は、その旨を明示します。 ...