Pythonデータサイエンスハンドブック ―Jupyter、NumPy、pandas、Matplotlib、scikit-learnを使ったデータ分析、機械学習

120

3

章 

pandas

を使ったデータ操作

この節では、データの欠落に関する一般的な考慮事項について説明し、

pandas

がそれを表現す

る方法を解説し、欠落しているデータを

Python

で処理するために

pandas

が提供するツールを示し

ます。本書全体を通して、欠落しているデータを一般的にnull値、NaN 値、または NA値と呼びま

す。

3.5.1

 欠損値表現のトレードオフ

テーブルや

DataFrame

に欠落しているデータが存在することを示すために、数多くの手法が開発

されてきました。それらは一般的に

2

つの戦略、つまり欠損値を大域的に示すマスクを使用するか、

または欠落しているエントリを示す特殊な値を使うかに分類されます。

マスク方式では、マスクを完全に別のブール値配列で表現したり、または値が欠落していること

を示すために

1

ビットを割り当てる方法などが使われます。

特殊な値を使う方式では、−

9999

や特殊なビットパターンを使って整数としての値が存在して

い

ないことを示すデータ特有の規則を使用したり、

IEEE

浮動小数点仕様で特殊な値を示す

NaN

（

Not

a Number

：非数）を用いて浮動小数点としての値が存在していないことを示す一般的な規則を使用

することもあります。

こうしたアプローチのいずれも、トレードオフが存在します。マスク配列を別に用意するには配

列を追加するために追加の記憶域と演算が必要となります。特殊な値は、表現可能な値の範囲を減

らし、

CPU

および

GPU

演算で余分な（しばしば最適化されていない） ...