実践 自然言語処理 ―実世界NLPアプリケーション開発のベストプラクティス

まえがき

自然言語処理（NLP）は、コンピュータサイエンス、人工知能、言語学が交差する分野です。NLPは、人間の言語を処理して理解できるシステムの構築に関係します。1950年代に研究が始まってからごく最近まで、NLPは主に学界と研究所の領域であり、長期間の学校教育と訓練を必要としていました。過去10年間で起きたブレークスルーにより、NLPは小売、医療、金融、法律、マーケティング、人事など、さまざまな分野での利用が増えてきました。利用が増えた背景として、次の理由が挙げられます。

• だれでも簡単に使えるNLPのツールや手法、APIが普及しました。これらのツールを利用することで、NLPのソリューションを素早く構築できるようになりました。
• 解釈性や汎用性の向上した手法が開発されました。その結果、オープンドメインの会話タスクや質問応答など、以前は実現困難だった複雑なNLPタスクの性能が向上しました。
• Google、Microsoft、Amazonを含む多くの企業が、よりインタラクティブな消費者向け製品に多額の投資をしています。そのような製品では、コミュニケーションの媒体として言語が主に使われています。
• 有用なオープンソースのデータセットが標準的なベンチマークとともに利用できるようになりました。その結果、限られた組織や個人しか利用できない独自のデータセットに研究開発を妨げられることが減りました。
• NLPが英語やその他の主な言語以外でも実現可能になりました。データセットと言語固有のモデルが、低リソースな言語でも開発されています。製品の例として、スマートフォンからも利用できる機械翻訳ツールが挙げられます。

このように急速に利用が拡大する中で、NLPシステムを構築する開発者が増えています。しかし、開発者たちのNLPに関する経験は限られ、理論的な知識も乏しいのが現状です。本書は、このような問題に応用的な視点から対処しています。本書の目的は、ビジネスシーンでのNLPシステムの構築、反復的な改善、スケール、そしてさまざまな業界に合わせたNLPシステムを構築できるようにすることです。 ...