２次アルゴリズム

$$l({\bf x} +\Delta {\bf x}) =l({\bf x})+\frac{d l}{d {\bf x}... ... {\bf x}^T \frac{d^2 l}{d {\bf x}^2}({\bf x}) \Delta {\bf x}$$

を使って,高速なアルゴリズムを造ります。

$$\Delta {\bf x}={\bf y}-{\bf x}$$

とおき,上の式の右辺を書き換えます。

$$l({\bf x})+\frac{d l}{d {\bf x}}({\bf x})^T({\bf y}-{\bf x})... ...f x})^T \frac{d^2 l}{d {\bf x}^2}({\bf x}) ({\bf y}-{\bf x})$$

これは${\bf y}$についての２次式です。この式が${\bf y}$について,極小になるための 条件は,極値条件(${\bf y}$についての微分が0ベクトル)

$$\frac{d l}{d {\bf x}}({\bf x})+\frac{d^2 l}{d {\bf x}^2}({\bf x}) {\bf y}={\bf0}$$

です。これから,行列

$$\frac{d^2 l}{d {\bf x}^2}({\bf x})$$

が正則(逆行列をもつ)とすれば,

$${\bf y}=-(\frac{d^2 l}{d {\bf x}^2}({\bf x}))^{-1}\frac{d l}{d {\bf x}}({\bf x})$$

が得られます。

$${\bf x}_{k+1}=-(\frac{d^2 l}{d {\bf x}^2}({\bf x}_k))^{-1} \frac{d l}{d {\bf x}}({\bf x}_k)$$

を繰り返すアルゴリズムはニュートン法と呼ばれます。