ゼロから作るDeep Learning ❸ ―フレームワーク編

ステップ43ニューラルネットワーク

前ステップでは線形回帰の実装を行い、正しく動かすことに成功しました。線形回帰の実装ができたなら、それをニューラルネットワークに拡張することは簡単です。ここでは、前ステップのコードに手を加えて、ニューラルネットワークへと“進化”させます。まずは、前ステップで行った変換を、DeZeroのlinear関数として実装するところから始めます。

43.1　DeZeroのlinear関数

前ステップでは、簡単なデータセットを対象に、線形回帰の実装を行いました。その線形回帰で行った計算は、（損失関数を除くと）「行列の積」と「足し算」だけでした。そのコードを抜粋すると、次のようになります。

y = F.matmul(x, W) + b

上のとおり、入力xとパラメータWとの間で行列の積を求め、それにbを足し合わせます。この変換は、線形変換（linear transformation）やアフィン変換（affine transformation）と呼ばれます。

	線形変換は、厳密に言えばy = F.matmul(x, W)のことで、bは含みません。ただしニューラルネットワークの分野では、bの足し算も含めた演算を線形変換と呼ぶのが一般的です（本書もそれに従います）。また線形変換は、ニューラルネットワークにおいては全結合層に対応します。そして、パラメータのWは重み（weight）、パラメータのbはバイアス（bias）と呼ばれます。

ここでは、上の線形変換をlinear ...