逐次修正式の導出

上記の修正式の導出法を説明します。

$$\Delta\mbox{\boldmath $w$}^{(l)}_i = -c \frac{\partial\mbox{\boldmath $E(y)$}}{\partial\mbox{\boldmath $w$}_i^{(l)}}$$

は合成関数の微分によって

$$\frac{\partial\mbox{\boldmath $E(y)$}}{\partial\mbox{\boldma... ...l)}} \cdot \frac{d x_i^{(l)}}{d \mbox{\boldmath $w$}_i^{(l)}}$$

と与えられます。ここで，

$$e_i^{(l)}= \frac{\partial\mbox{\boldmath $E(y)$}}{\partial x_i^{(l)}}$$

とおくと

$$e_i^{(l)}= \frac{\partial\mbox{\boldmath $E(y)$}}{\partial y_i^{(l)}} \cdot\frac{d y_i^{(l)}}{d x_i^{(l)}}.$$

次に，$y_i^{(l)}$は第$l$層$i$番目の細胞の出力であるから

$$y_i^{(l)}=f(x_i^{(l)})$$

が成り立ちます。ゆえに，

$$\frac{d y_i^{(l)}}{d x_i^{(l)}}= f'(x_i^{(l)})$$

となります。

次に， $\frac{\partial\mbox{\boldmath$E(y)$}}{\partial y_i^{(l)}}$ について，$l=m$と$l<m$の二つの場合に分けて考えます。

• $l=m$,すなわち $\mbox{\boldmath$y$}^{(l)}$ が出力 $y$である場合：
  $$\begin{eqnarray*} \frac{\partial\mbox{\boldmath$E(y)$}}{\partial y_i^{(l)}} &=&\... ...c{d y_i^{(m)}}{d x_i^{(m)}} \\ &=&(y_i^{(m)}-z_i) f'(x_i^{(m)}) \end{eqnarray*}$$
  
  
  
  
  
  

• $l<m$の場合：

  $l+1$層の入力荷重値 $\mbox{\boldmath$w$}^{(l+1)}$と$e_i^{(l+1)}$がすでに計 算済みとすれば

  $$\begin{eqnarray*} \frac{\partial\mbox{\boldmath$E(y)$}}{\partial y_i^{(l)}} &=&\... ...(l+1)}} f'(\mbox{\boldmath$w$}^{(l)}\mbox{\boldmath$y$}^{(l-1)}) \end{eqnarray*}$$
  
  
  
  
  
  

を得ます。
以上をまとめれば

$$\Delta{\bf w}^{(l)}_i= -ce_i^{(l)}{\mbox{\boldmath $y$}^{(l-1)}}$$

です。$\Box$