
21.2
n-gram
モデル
■
307
求人票上の頻度
図 21-2 (見栄えは劣るが)より多くの意味を持たせたワードクラウド
21.2
n-gram
モデル
データサイエンス・スター社の検索エンジンマーケティング担当部長は、同社のサ
イトがデータサイエンス関連検索の上位となるように何千もの
Web
ページを作りたい
と考えていました(検索エンジンのアルゴリズムは洗練されているため、
Web
ページを
どれだけ多く作っても役に立たないことを説明しましたが、部長は聞く耳を持ちませ
ん で し た )。
もちろん部長はページを何千も作りたいわけではなく、多数の「コンテンツ戦略の専
門家」に高額の報酬を払いたいとも思っていません。その代わりにプログラム的に
Web
ページを生成できないかとの相談を持ちかけられました。そのためには、言語をモデ
ル化する方法が必要です。
さまざまな文章のコーパスを作り、統計モデルを学習させる方法が考えられます。
まず手始めに
Mike Loukides
の「
What is Data Science
」(データサイエンスとは何か、
https://www.oreilly.com/ideas/what-is-data-science
)を使いましょう。
9
章で行ったように、データを読み込むために
requests
と
BeautifulSoup
ライブ
ラリを使います。いくつか注意すべき問題があります。
1
つ目の問題は、テキストに使われているアポストロフィーが
Unicode
文字の
u"\u2019"
である点です。これを通 ...