ゼロから作るDeep Learning ❸ ―フレームワーク編

ステップ46Optimizerによるパラメータ更新

私たちはこれまで、勾配降下法によってパラメータを更新してきました。ディープラーニングの分野では、勾配降下法の他にも、様々な最適化手法が提案されています。本ステップでは、パラメータの更新作業（更新するコード）をモジュール化し、それらを簡単に変更できる仕組みを作ります。

46.1　Optimizerクラス

ここでは、パラメータの更新を行うための基盤となるクラスをOptimizerとして実装します。Optimizerクラスは、最適化を行う基底クラスです。具体的な最適化手法は、Optimizerクラスを継承した先で実装することにします。それでは、Optimizerクラスの実装を次に示します。

dezero/optimizers.py

class Optimizer:
    def __init__(self):
        self.target = None
        self.hooks = []

    def setup(self, target):
        self.target = target
        return self

    def update(self):
        # None以外のパラメータをリストにまとめる
        params = [p for p in self.target.params() if p.grad is not None]

        # 前処理（オプション）
        for f in self.hooks:
            f(params)

        # パラメータの更新
        for param in params:
            self.update_one(param)

    def update_one(self, param):
        raise NotImplementedError()

    def add_hook(