詳説 Deep Learning ―実務者のためのアプローチ

3章深層ネットワークの基礎

ここでは、力の限り走り続けないと、

同じところにとどまっていることもできません。

どこか別のところに行きたいなら、

さらに2倍の速さで走らなければならないのです。

——赤の女王、『鏡の国のアリス』より

3.1　ディープラーニングの定義

「2章　ニューラルネットワークとディープラーニングの基礎」では、機械学習とニューラルネットワークの基礎について解説しました。ここからはこの基礎に基づいて、深層ネットワークの基本的な概念を学びます。「4章　深層ネットワークの主要なアーキテクチャー」でネットワークのさまざまなアーキテクチャーを理解し、「5章　深層ネットワークの構築」で実践的な例に取り組む際に、ここでの知識が役立つでしょう。まずは、ディープラーニングと深層ネットワークの定義を再確認することにします。

3.1.1　ディープラーニングとは

「1章　機械学習の概要」での定義を思い出してみましょう。ディープラーニングが「一般的」なフィードフォワード型の多層ネットワークと異なるのは、次のような点です。

• 従来のネットワークよりもニューロンが多い
• 層間の接続方法が複雑
• 訓練に必要な計算量が爆発的に増加
• 自動的な特徴量の抽出

「ニューロンが多い」というのは、年を追うごとにより複雑なモデルを表現するためにニューロンの数が増えてきたことを指しています。当初は、ネットワークを構成するすべての層で全結合が行われていました。近年のネットワークではこのような状況に変化が見られます。畳み込みニューラルネットワーク（Convolutional Neural Network、CNN）では、層間にまたがってニューロンの一群が局所的に接続しています。リカレントニューラルネットワーク（Recurrent ...