階層型ニューラルネットワークよって表現される関数,これをで表すことにしますが,これに何らかの評価を与える関数
結論から言えば,特に,結合係数としきい値の絶対値,シグモイド関数の最大勾配に制約がある階層型ネットワークからが造られるのであれば,その制約の範囲内でを最小にするは存在することは比較的簡単に判ります。
これは,よく知られた,以下の定理の応用です。
は階層型ネットワークが表現する関数で,の元ではありませんが,
同様な議論を行うことができます。
図1 に表されるニューラルネットワークについて、特にそれらの結合係数としきい値の絶対値が 以下で、最大勾配が 以下のシグモイド関数を各素子共通にもち、第2層の素子が 個の階層型ニューラルネットワーク集合を
とします。
これに使うシグモイド関数は,例えば
このとき