scikit-learn、Keras、TensorFlowによる実践機械学習 第2版

はじめに

機械学習の爆発的な流行

2006年にGeoffrey E. Hintonらは、当時として最先端の精度（98%以上）で手書きの数字を認識できる深層（ディープ）ニューラルネットワークの訓練方法を示す論文（https://homl.info/136）†1を発表した。彼らはこのテクニックに「深層学習」（deep learning）という名前を付けた。深層ニューラルネットワークとは、私たちの大脳皮質を（非常に）単純化したモデルであり、人工ニューロンの階層によって構成されていた。当時、深層ニューラルネットワークを訓練することは不可能だと広く考えられており†2、ほとんどの研究者たちは1990年代以降そのような考え方を捨てていた。しかし、この論文によって科学コミュニティの深層ニューラルネットワークに対する関心は復活し、それからわずかな間に、深層学習は単に可能なだけではなく、（膨大な計算能力と膨大なデータの助けを借りれば）ほかの機械学習（ML）テクニックではとても太刀打ちできないようなとてつもない課題を達成できることが示された。この熱狂は、機械学習のほかの分野にもすぐに広がっていった。

[†1] Geoffrey E. Hinton et al., "A Fast Learning Algorithm for Deep Belief Nets," Neural Computation 18 (2006): 1527-1554.

[†2] 確かに汎用性の高いものではないが、1990年代でもYann LeCunの深層畳み込みニューラルネットワークはイメージ認識でよい成績を生んでいた。

それから10年ちょっとたち、機械学習はすでにコンピュータ業界を支配している。今日では、ウェブ検索結果のランキング、スマートフォンの音声認識、動画の推薦システム、囲碁の世界チャンピオンに対する勝利など、ハイテク製品が見せてくれる手品の大半はMLで作られている。MLはあっという間に車を運転するようになっているだろう。 ...