データサイエンスのための数学入門 ―Pythonで学ぶ線形代数、確率、統計の基礎

3章記述統計と推測統計

統計とは、データを収集、分析し、有用な知見を発見したり、その原因や傾向を予測したりする手法です。統計は、データを使って事象が起きる確率を見積もるため、確率が重要な役割を担います。

統計は、その重要性が十分に評価されないこともありますが、さまざまなデータ駆動型のイノベーションの中核的存在であると言えます。実際に、機械学習もそれ自体が統計ツールのひとつであり、データ内のさまざまな変数間の関係性を示す仮説を探し出すものです。しかし、統計には落とし穴も多く、プロの統計学者でさえ慎重になる必要があります。データが何を語るのかに気を取られるあまり、そのデータの出元、つまり、どのように集められたのかについて考える視点が抜け落ちてしまいがちです。ビッグデータ、データマイニング、機械学習が統計アルゴリズムの自動化を加速させていくにつれて、このような懸念がますます高まります。そのため、これらの自動化技術をブラックボックスとして扱うことなく、統計や仮説検定に関する確かな基礎知識を身につけておくことが重要です。

本章では、統計と仮説検定の基礎について説明します。まず、記述統計から説明し、データを要約する一般的な手法を学びます。それから、推測統計の説明に進み、標本に基づいて母集団の属性を明らかにする手法を見ていきます。

3.1　データとは何か

データは誰しもが日常的に触れ、当然のように受け入れているものですから、あらためてデータを定義することに少し戸惑いを感じるかもしれません。しかし、あえてここで言及しようと思います。誰かに「データとは何か」と尋ねても、「うーん、要するにデータってあれでしょ、情報でしょ」といったような曖昧な回答が返ってくることが多いと思います。それ以上深く掘り下げた議論になることはあまりないでしょう。最近では、データは「すべてを解決するもの」と喧伝されています。真実の源であるだけでなく、知性の源であるともされ、さらには人工知能の燃料であるとも言われています。データが多ければ多いほど真実に近づくと信じられており、その結果として、データはいくらあっても足りないという考え方が広まっています。データは、ビジネス戦略を再構築する秘密を解明し、汎用の人工知能さえも創造すると言われています。しかし、本書では、データについての実践的な視点を重視します。データそれ自体が重要なのではありません。あらゆるイノベーションとソリューションの原動力となるのは、データを分析すること、そして、そのデータを得る方法にあります。 ...