はじめに

　このWeb，VOD教材は、階層型ニューラルネットワークについて解説します。ニューラルネットワークはパーセプトロンの研究に始まります。
その動機は，人間の大脳の情報処理メカニズムを解明したり，そのまま再現しようとするものでしたが，最近では，それを離れ，パターン認識や，制御，その他諸々の工学に現われる最適化問題でその解である非線形関数を近似する手段の一つとして位置付けられるようになりました。
無論，大脳の情報処理メカニズムに関わる分野も続けられています。今までの研究について概略ふれておきます。

人間の大脳にはニューロンと呼ばれる140億個の神経細胞が存在します。
その人間の大脳の情報処理メカニズムを明らかにし，あるいはそのまま再現しようと する研究が近年, 行われるようになりました。
なぜそうなったかというと， ニューロンが学習という非常に特異な機能もっているからです。 経験などのデータからだけの判断論理は適用範囲を制限されていますが，学習機能は事例データから複雑な判断論理を構築可能にします。
ここで，神経細胞の大まかの構造いついてふれておきます。

通常の細胞と基本的には同じですが，以下の大きな特徴があります。

(1)

樹状突起。これは入力端子の役目をします。

(2)

軸索。これは出力端子の役目をします。

ほかの細胞との接合部はシナプスと呼ばれ神経細胞間の情報伝達が以下のように 電気的に行われます。その過程は，

(1)

，シナプス結合を通じて電気パルスが伝達し細胞体の状態が変化することにより情報が伝達されます。

(2)

変化の仕方には２種類あり，興奮性のものは細胞体の電気レベルが上昇し，抑制性は細胞体の電気レベルが低下します。

(3)

あるしきい値を超えるとパルスを発生して出力側に接続された神経細胞体に刺激を与えます。

近年の工学的な研究では,こういう動作の特性を以下のように数学的に単純化しています。

(1)

空間的加算性

$x_1,\cdots,x_n$によって樹状突起につながっている他のニューロンからの信号 （入力信号）の強さを表すと，細胞体の内部電位$u$は入力信号の線形和

$$u=a_1 x_1+a_2 x_2+ \cdots + a_n x_n$$

によって定まるといわれています。これを空間的加算性といいます。 $a_1,\cdots,a_n$はそれぞれの信号が強められたり弱められたりする度合いを表します。

(2)

時間的加算性

入力信号$x_i$は一般に時間の経過とともに変動する時間の関数と考えることができ， 内部電位$u$は現在までの各時刻における信号の時間的な線形和

$$\int^t_{-\infty}v_i(t-\tau) x_i(\tau) d \tau \quad (i=1,\ldots,n)$$

で定まるものと考えられています。この性質を時間的加算性といいます。 $x_i(t)$は時刻$t$での入力信号の大きさを表し，$v_i(t)$は線形和の結合係数で， 単位の強さの入力信号が時間$t$後に内部に貢献する度合いを表します。 これはニューロンの中を情報が通過するのに遅延が生じることを表します。

(3)

非線形性

内部電位があるしきい値を超えるとパルスを発生し，軸策によって出力側に接続された神経細胞体に刺激（出力信号）を与えます。その刺激の大きさは入力信号の大きさ，従って内部電位にの強さによらず一定であることが実験によって知られている。即ちニューロンは入力に対して非線形な動作をします。

(4)

２値性 ニューロンから出される刺激（出力信号）の大きさは入力信号の大きさによらず一定で あるので，巨視的に観れば，ある時刻に信号があるかないかの形（つまりは１か０か） で把握することができます。この意味で２値的です。

以上のように動作の特性は数学的に単純化されるわけですが，その結果，設定したモデルが実物の脳とかなりかけ離れたものになっています。
しかしながら，工学が従来そうであったようにこの「人工的なニューラルネット」は興味深い知見をもたらしてくれるものと期待されています。
また，設定したモデルが生理学的に妥当なら脳に関する有益な知見を提供する可能性もあります。

現在，研究に用いられているニューラルネットの代表的な構成には

(1)

階層型ネットワーク（この教材で扱う）

(2)

相互結合型ネットワーク

がありますが,この資料では，$(1)$の階層型ネットワークについて解説します。