PythonによるWebスクレイピング 第3版

12章自然言語の読み込みと書き込み

これまで本書で扱ってきたデータは、一般に数字や数え上げられる値の形式でした。ほとんどの場合、データの分析を行わずに単にデータを保存するだけで問題ありませんでした。本章では英語という難しいテーマに取り組みます†1。

[†1] 本章で解説するテクニックの多くは、ほとんどの言語に適用できるが、現時点では、英語の自然言語処理に焦点を絞っている。例えばPythonのNatural Language Toolkitは、英語を主対象としている。W3Techs（https://w3techs.com/technologies/overview/content_language/all）によると、インターネットの約53%は英語である（次点はスペイン語の5.4%）。しかし、将来どのようになるかわからない。英語がインターネットの大半を占めている状況は、今後ほぼ確実に変化していくだろうし、今後数年でアップデートが必要になる可能性がある。

Google画像検索に「cute kitten」と入力したときにGoogleはあなたが何を探しているのかをどのようにして理解するのでしょうか。可愛い子猫（cute kitten）の画像の周りにあるテキスト（<img>タグのalt属性など）によってです。YouTubeの検索に「dead parrot」と入力したときに、モンティ・パイソンのスケッチが表示されるのはどのようにしているのでしょうか。アップロードされた動画のタイトルと説明文によってです。

実のところ、「deceased bird monty python」と入力しても、そのページ自体には「deceased」や「bird」という単語は出てこないにもかかわらず、以前と同じく「Dead ...