ＢＰ法の逐次修正式

以下に最急降下法を用いる $x$の修正式を示します。

修正式

$$\begin{eqnarray*} \Delta\mbox{\boldmath$w$}^{(l)}_i &=& -c{\frac{\partial\mbox{... ...w$}_i^{(l)}}} \\ &=& -c{e_i^{(l)}}{\mbox{\boldmath$y$}^{(l-1)}} \end{eqnarray*}$$

として， $\mbox{\boldmath$w$}_i$を変化させます。

ここで，$e_i^{(l)}$は出力層（$l=m$）については

$$e_i^{(m)} = (y_i^{(m)}-z_i) f'(\mbox{\boldmath$x$}_i^{(m)}),$$ (3.1)

それ以外の層（ $l=1,\ldots,m-1$）については

$$e_i^{(l)}= \sum_{j=1}^{n_{l+1}}{ e_i^{(l+1)} w_{ji}^{(l+1)}} f'(x_i^{(l)}) \quad (l=1,\dots,m-1)$$ (3.2)

で与えられます。

ただし，$x_i^{(l)}$は第$l$層$i$番目の細胞に対する入力荷重和

$$x_i^{(l)}=\mbox{\boldmath$w$}_i^{(l)}\mbox{\boldmath$y$}^{(l-1)}$$ (3.3)

とします。これよりすぐに

$$\frac{d x_i^{(l)}}{d \mbox{\boldmath$w$}_i^{(l)}}= \mbox{\boldmath$y$}^{(l-1)}$$ (3.4)

が得られます。