ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

8章ディープラーニング

ディープラーニングは、層を深くしたディープなニューラルネットワークです。これまで説明してきたネットワークをベースに、後は層を重ねるだけで、ディープなネットワークを作ることができます。しかし、ディープなネットワークには課題もあります。本章では、ディープラーニングの性質と課題、そして可能性について見ていきます。また、現在のディープラーニングについて俯瞰した説明を行います。

8.1　ネットワークをより深く

ニューラルネットワークに関して、これまで多くのことを学びました。たとえば、ニューラルネットワークを構成するさまざまな層や、学習を行う上で有効なテクニック、画像系に特に有効なCNNや、パラメータの最適化手法などです。それらはどれもディープラーニングにおいて重要な技術です。ここでは、これまで学んだ技術を集約して、ディープなネットワークを作り、MNISTデータセットの手書き数字認識に挑みたいと思います。

8.1.1　よりディープなネットワークへ

早速ですが、ここでは図8-1のネットワーク構成からなるCNN——これまでよりもディープなネットワーク——を作りたいと思います。なお、このネットワークは、次節で説明するVGGというネットワークを参考にしています。

図8-1　手書き数字認識を行うディープなCNN

図8-1に示すとおり、これまで実装してきたネットワークよりも層がディープになっています。ここで使用する畳み込み層はすべて3×3の小さなフィルターで、層が深くなるにつれてチャンネル数が大きくなるのが特徴です（畳み込み層のチャンネル数は、前層から順に、16、16、32、32、64、64と増えていきます）。また、図に示すとおり、プーリング層を挿入し中間データの空間サイズを徐々に小さくしていきます。そして、後段の全結合層では、Dropoutレイヤを使用します。 ...