Skip to Content
Pythonによるデータ分析入門 第3版 ―pandas、NumPy、Jupyterを使ったデータ処理
book

Pythonによるデータ分析入門 第3版 ―pandas、NumPy、Jupyterを使ったデータ処理

by Wes McKinney, 瀬戸山 雅人, 小林 儀匡
August 2023
Intermediate to advanced content levelIntermediate to advanced
612 pages
9h 33m
Japanese
O'Reilly Japan, Inc.
Content preview from Pythonによるデータ分析入門 第3版 ―pandas、NumPy、Jupyterを使ったデータ処理

7章データのクリーニングと前処理

 データ分析やモデリングを行う過程で、かなりの時間がデータの前処理に使われます。データの前処理とは、読み込みやクリーニング、変形、整形といった作業のことで、分析者の時間の80 %以上を占めると言われることもあります。その理由としては、扱いたいデータがファイルやデータベースに保存されていても、行いたい作業にとって適切な形式で保存されていないことがあるためです。そのような場合に多くの分析者は、汎用的なプログラミング言語を用いて、データを別の形式に変換するためのアドホックな処理を行います。ここで使われるプログラミング言語としては、PythonやPerl、R、Java、あるいはUnixのテキスト処理ツールであるsedやawkなどがあります。幸いなことに、pandas本体や、pandasから使えるPython組み込みの機能では、高度で柔軟性も高く、高速なツールセットが提供されていますので、それらを用いてデータを適切な形に変換する作業ができます。

 もし、みなさんの行いたいデータ操作方法がこの本に書かれておらず、pandasライブラリのどこにも見当たらない場合は、何らかのPythonのメーリングリストやpandasのGitHubサイトに、遠慮なくそのユースケースを共有してみてください。実際、pandasの機能の多くは、そういった機能を使用したいという実世界の声やニーズに刺激される形で、設計や実装をされてきました。

 この章では、欠損値や重複データの処理、文字列操作など、分析に必要なデータの変形のためのツールを取り上げます。また次の章では、データセットの結合やさまざまな整形方法に焦点を当てます。

7.1 欠損値の取り扱い

 欠損値は、さまざまなデータ分析事例においてよく発生するテーマです。その欠損値の取り扱いをできる限り面倒臭くないようにする、というのがpandasが目指す目的の1つです。例えば、デフォルトでは、pandasオブジェクトの記述統計量の算出時 ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Pythonによるデータ分析入門 第2版 ―NumPy、pandasを使ったデータ処理

Pythonによるデータ分析入門 第2版 ―NumPy、pandasを使ったデータ処理

Wes McKinney, 瀬戸山 雅人, 小林 儀匡, 滝口 開資
行動を変えるデザイン ―心理学と行動経済学をプロダクトデザインに活用する

行動を変えるデザイン ―心理学と行動経済学をプロダクトデザインに活用する

Stephen Wendel, 武山 政直, 相島 雅樹, 反中 望, 松村 草也

Publisher Resources

ISBN: 9784814400195Other