実践 機械学習システム

88

5

章 クラス分類：悪い回答を判別する

たないことにします。

以上の考察から、投稿された文書は次のフォーマットに従うことにします。

Id <TAB> ParentId <TAB> IsAccepted <TAB> TimeToAnswer <TAB> Score<TAB> Text

具体的なパース（構文解析）の詳細については、

so_xml_to_tsv.py

と

choose_instance.py

を参照してください。ここでは処理を高速に行うために、データを二つのファイルに分けています。

meta.json

には、文書の

Id

を他のデータに対応づけるためのディクショナリ

†

が格納されおり（

Text

は除きます）、簡単な記述で各要素にアクセスできます。たとえば、文書のスコアは、

meta[Id]

['Score']

という記述でアクセスできます。

data.tsv

には、

Id

と

Text

が格納されており、次の関

数で中身を取得することができます。

def fetch_posts():

for line in open("data.tsv", "r"):

post_id, text = line.split("\t")

yield int(post_id), text.strip()

5.3.3

　良い回答を定義する

回答の良し悪しを見分けるように分類器を訓練する必要がありますが、その前にやるべきことがあり

ます。それは訓練用のデータを作成することです。今までのところ、一塊のデータがあるだけです。

そのため、データに対して ...