August 2023
Intermediate to advanced
612 pages
9h 33m
Japanese
Content preview from Pythonによるデータ分析入門 第3版 ―pandas、NumPy、Jupyterを使ったデータ処理
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
7章データのクリーニングと前処理
データ分析やモデリングを行う過程で、かなりの時間がデータの前処理に使われます。データの前処理とは、読み込みやクリーニング、変形、整形といった作業のことで、分析者の時間の80 %以上を占めると言われることもあります。その理由としては、扱いたいデータがファイルやデータベースに保存されていても、行いたい作業にとって適切な形式で保存されていないことがあるためです。そのような場合に多くの分析者は、汎用的なプログラミング言語を用いて、データを別の形式に変換するためのアドホックな処理を行います。ここで使われるプログラミング言語としては、PythonやPerl、R、Java、あるいはUnixのテキスト処理ツールであるsedやawkなどがあります。幸いなことに、pandas本体や、pandasから使えるPython組み込みの機能では、高度で柔軟性も高く、高速なツールセットが提供されていますので、それらを用いてデータを適切な形に変換する作業ができます。
もし、みなさんの行いたいデータ操作方法がこの本に書かれておらず、pandasライブラリのどこにも見当たらない場合は、何らかのPythonのメーリングリストやpandasのGitHubサイトに、遠慮なくそのユースケースを共有してみてください。実際、pandasの機能の多くは、そういった機能を使用したいという実世界の声やニーズに刺激される形で、設計や実装をされてきました。
この章では、欠損値や重複データの処理、文字列操作など、分析に必要なデータの変形のためのツールを取り上げます。また次の章では、データセットの結合やさまざまな整形方法に焦点を当てます。
7.1 欠損値の取り扱い
欠損値は、さまざまなデータ分析事例においてよく発生するテーマです。その欠損値の取り扱いをできる限り面倒臭くないようにする、というのがpandasが目指す目的の1つです。例えば、デフォルトでは、pandasオブジェクトの記述統計量の算出時 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.