ゼロから作るDeep Learning ❸ ―フレームワーク編

第3ステージ高階微分を実現する

私たちのDeZeroは、今ではバックプロパゲーションを完璧に動かすことができます。どれだけ複雑な計算であっても、正しいロジックで逆伝播が行われます。今のDeZeroであれば、微分を必要とする問題の多くは解決できるはずです。しかし未だに、できないこともあります。その1つが高階微分です。

高階微分とは、微分に対してさらに微分を求めたものです。具体的には、1階微分、2階微分、3階微分、...と微分を繰り返す操作です。PyTorchやTensorFlowなど、現代のディープラーニングのフレームワークは、高階微分を自動で求めることができます。より正確に言えば、逆伝播に対して、さらに逆伝播を行うことができます（この原理は本ステージで明らかになります）。

これから第3ステージへと進みます。このステージでは主に、高階微分を求められるようにDeZeroを拡張していきます。それによって、DeZeroの用途がさらに広がります。それでは、先に進みましょう！