
第 5章 误差反向传播法
126
如前所述,“支付金额关于苹果的价格的导数”的值可以通过计算图的
反向传播求出来。先来看一下结果,如图5
-
5 所示,可以通过计算图的反向
传播求导数(关于如何进行反向传播,接下来马上会介绍)。
图5-5 基于反向传播的导数的传递
× ×
100
2.2
200
1.1
220
1
1.1
2
苹果的个数
如图5
-
5 所示,反向传播使用与正方向相反的箭头(粗线)表示。反向传
播传递“局部导数”,将导数的值写在箭头的下方。在这个例子中,反向传
播从右向左传递导数的值(1
→
1.1
→
2.2)。从这个结果中可知,“支付金额
关于苹果的价格的导数”的值是 2.2。这意味着,如果苹果的价格上涨 1 日元,
最终的支付金额会增加 2.2日元(严格地讲,如果苹果的价格增加某个微小值,
则最终的支付金额将增加那个微小值的2.2 倍 )。
这里只求了关于苹果的价格的导数,不过“支付金额关于消费税的导
数”“支付金额关于苹果的个数的导数”等也都可以用同样的方式算出来。并
且,计算中途求得的导数的结果(中间传递的导数)可以被共享,从而可以
高效地计算多个导数。综上,计算图的优点是,可以通过正向传播和反向传
播高效地计算各个变量的导数值。
5.2
链式法则
前面介绍的计算图的正向传播将计算结果正向(从左到右)传递,其计
算过程是我们日常接触的计算过程,所以感觉上可能比较自然。而反向传播