
203
9.4 データのクリーニング
32 Christopher A. Pissarides , Economics, 2010 2010
66 Kofi Annan , Peace, 2001 2001
87 Riccardo Giacconi *, Physics, 2002 2002
88 Mario Capecchi *, Physiology or Medicine, 2007 2007
❶ ブール
mask
配列が
True
の行だけを含む
DataFrame
を返す。
ブールマスクは、データの目的の部分集合を選択できるとても強力な手法です。適切なブール式
を作成するために少数の対象を設定することをお勧めします。一般的には、中間マスクの作成を省
略します。
winners_since_2000 = df[df.year > 2000]
これでスライスやブールマスクを使って個々の行や複数行を選択できたので、次の節では
DataFrame
を変更してダーティデータを取り除く方法を説明します。
9.4
データのクリーニング
データにアクセスする方法がわかったので、データを改良してみましょう。まずは、例
9-2
で
見た空に見える
born_in
列から始めます。
born_in
列の数を見ると、欠けている行(欠けているか
NaN
(非数)のフィールド)が不明です。
In [0]: df.born_in.describe()
Out[0]:
count 1052
unique 40
top
freq 910
Name: born_in, dtype: ...