Up

並列分散処理ニューラルネットワーク

Parallel Distributed Processing: PDP

中間層が１層のニューラルネットワーク

 

 

　並列分散処理ニューラルネットワークPDPのプログラムPDP.exeをVisual C++2008で作成した。プログラムPDP.exeは.NET Framework 3.5対応であるので、.NET Framework 3.5のインストールされているパソコンであれば、プログラム名PDP.exeをクリックすればダウンロード・実行できたが、現在のWindows 10ではブロックされた（2021.09.27）。ソースファイルなどをまとめた圧縮ファイルPDP.zipをダウンロード展開してVisual Studio 2019で開くと、Visual Studioによってアップデートされ、実行できた。.NET C++を利用する場合のVisual Studioのインストールの説明はこのウェブサイトで行っている。

　PDPはRumelhartら（1986）にまとめられているモデルであるが、中間層（hidden layer）が１層のニューラルモデルで、学習アルゴリズムはバックプロパゲーションである。中間層が２層以上のものは深層学習（deep artificial Neural Network）と呼ばれている（Raschkaら、2019）。プログラムとＰＤＰについての説明は、このウェブサイトの後半で説明するが、まずプログラムの使い方を以下に説明する。

　プログラムを実行すると図１のフォームが表示される。

図１

 

フォームの小円を左ボタンでクリックする、あるいは、左ボタンを押したまま小円の上でマウスの矢印を動かすと、その小円の色が赤に変わる。右ボタンによるクリック、あるいは右ボタンを押した状態でのマウスの移動のときは、緑色に変わる。パターンの設定後、「Store-1」をクリックすると、そのパターンはカテゴリー１のものとして設定される。

図２　「Store-1」をクリックしてカテゴリー１のパターンとして設定。

 

以下、同様に「Store-2」ボタン、「Store-3」ボタンをクリックすることにより、そのときのパターンがカテゴリー２、カテゴリー３のパターンとして設定される。

図３　「Store-2」ボタンをクリックしてカテゴリー２のパターンとして設定。

 

図４　「Store-3」ボタンをクリックしてカテゴリー３のパターンとして設定。　

 

学習用の弁別パターンは、赤い小円が１、緑の小円が０として入力層のニューロンに与えられる。入力層に与えられたパターンは、入力層の赤の小円に対応する部位のニューロンが刺激されて興奮していると解釈する。すなわち、赤の小円で描かれたパターンの学習が行われる。

設定された入力用パターンは、Load-1～Load-3ボタンのクリックによって表示して確認することができる。

３つの弁別パターンの設定後、Trainingボタンをクリックすると、図５のようなフォームが表示される。

図５　Trainingボタンのクリックで表示されるフォーム

 

Startボタンをクリックすると学習が始まる。学習は、３つの刺激パターンの学習、および、それに続く弁別テストとその成績の表示の繰り返しである。学習されるべき入力パターンとして与えられている３つのパターンそれぞれについての直近２０回分の正答率が、フォームの上部に表示される（図６）。

図６　学習中のフォーム

 

フォームの下に、３×３の形式で出力ユニットの値が表示されている。ｉ行目のｊ列目の値は、パターンｉに対するｊ番目の出力ユニットの値である。対角線上の値が１に近く、それ以外の値は０に近くなるまで学習を進める。十分に１、あるいは０に近くなったところで、Stopボタンをクリックして学習を止める。

図７　学習の終了。

 

図７は、対角線上の値が0.99以上、それ以外の値が0.01以下になったところでStopボタンをクリックしたものである。Exitボタンのクリックでメインフォームに戻る（図８）。

図８　メインフォームに戻る。

 

図８のフォームの「Discrimi」ボタンをクリックすると、弁別テスト用のフォームが表示される（図９）。

図９　弁別テスト用フォーム。

 

弁別テスト用パターンを適当に設定して、「What?」ボタンをクリックすると、設定されたパターンに対する出力の一番大きい出力ユニットの番号が、弁別反応としてTextBoxに表示される（図１０）。

図１０　設定したパターンに対する反応がWhatボタンの下に表示される。

 

図１０のフォームでExitボタンをクリックすると、図１１のメインフォームに戻る。

図１１　戻ったメインフォーム。

 

このフォームのExitボタンのクリックで、プログラムは終了する。

 

 

ＰＤＰの仕組み

 

ここでの説明は、拙著「岡本安晴『Delphiでエンジョイプログラミング：心と行動の科学がわかる心理学シミュレーション』ＣＱ出版社、1999」の原稿をもとに作成したものであるので、詳しくは拙著を参照されたい。なお、以下の議論は、中間層が２層以上の場合においても成り立つことに注意されたい。

神経細胞の働きを図１２のようにモデル化したものを考え、ニューロンあるいはユニットと呼ぶ。

図１２　ニューロン（ユニット）のモデル

 

ニューロンは、いくつかの入力を受けて、それらの重み付き和の値に応じて出力が決まる。入力、および出力は、０以上１以下の値であるとする。０に近いほどニューロンの活動レベルは低く、１に近いほど活動レベルは高いことを表わす。１つのニューロンｊへの入力がｂ個あるとき、それらを で表わし、それらに対する重みを、…、で表わすと、ニューロンｊへの入力の重み付き和は次式で与えらる。

入力の重み付き和に対するニューロンｊの出力を与える関数を次のようにおく。

はニューロンｊの閾値に対応するものである。

関数

は、図１３のような形のものである。

図１３　関数

 

Rumelhartら（1986）のニューラルネットPDP（Parallel Distributed Processing）モデルでは、刺激の入力のためのニューロンの集まり（入力層）と、それらに対する反応を表わすニューロンの集まり（出力層）の２つの層の間に、１つ以上のニューロンの集まり（中間層）を置いている。図１４は、中間層が１層の場合のモデルである。

 

 

図１４　PDPモデルの例

 

入力層に刺激パターンを与えたとき、出力層からの反応が、予め正しい反応パターンとして設定されているものになるように、重みを変化させる。PDPモデルでは、このための方法として誤差逆伝播法（backpropagation）と呼ばれている次のような方法が用いられている。

刺激パターンｐを入力層に与えたときの出力層のユニットｊの出力をで表わす。このパターンｐに対して出力ユニットｊが出力するべき反応量をで表わす。このは、ニューラルネットに、入力パターンｐに対する反応パターンとして学習させる出力なので、教師信号と呼ばれている。

ニューラルネットの学習は、誤差量として与えられる次の目的関数

が最小になるように、ニューロンｉからｊへの重みなどを変えていくことによって行われる。の添え字ｐは、パターンｐに対する誤差量であることを表わす。

を最小化するの値は、最急降下法の考え方で求める。すなわち、の値をの方向に変化させる。

まず、

と変形する。ここで、はパターンｐに対するニューロンｊへの入力の重み付き和

である。上式の記号におけるｉは、ニューロンｊへの入力ニューロンｉとして接続されているすべてのニューロンｉについての和であることを表わす。はニューロンｉのパターンｐに対する出力である。

とおく。

を次のように変形する。

ここで、

なので、

となる。

また、

より、

となる。

ここで、次式

が成り立つので、

となる。

ゆえに、

となる。

式（2）～（4）より、

 

ここで、

が成り立つ。上式の記号におけるｈは、ニューロンｊに接続されている入力ニューロンｈにわたる和であることを表わす。

  したがって、

となる。

いま、ニューロンｊが出力層のもの（図１５）であるとすると、

となる。上式の記号におけるｋは、出力層のニューロンｋすべてにわたる和であることを表わす。

 

図１５　ユニットｊが出力層に属するとき

 

したがって、出力層のニューロンｊへの入力の重みについては、次式を得る。

 

図１６　ニューロンｊが出力層に属さないとき

 

ニューロンｊが出力層のものでないときは（図１６）、ニューロンｊの出力は、より上位のニューロンｋを経由して出力層の出力に反映される。したがって、

となる。ここで、記号におけるｋは、ニューロンｊの出力を直接受け取っているニューロンｋすべてにわたる和であることを表わす。

また、

である。ここで、記号におけるｈは、ニューロンｋへの入力ニューロンｈ全体にわたる和であることを表わす。

式（3）の記法に合わせて、

とおけば、式（6）は次のように書ける。

よって、式（3）、（4）より、

上式において、の値は、より上位のニューロンｋのを用いて求められている。すなわち、の値が、信号の流れと逆の方向に伝わっている。このことから、式（7）による方法は誤差逆伝播法（Error Back Propagation）と呼ばれている。

式（7）、および式（2）、（3）、（5）より、

となる。

を小さくするためのの変化量をの方向にとるとき、その変化量を次のようにおく。

の値は、Rumelhartら（1986, p.334）では

となっている。

のｐは、パターンｐに関する最小化を表わしている。すなわち、式（8）による最小化は、パターンごとに行う。これに対して、学習パターン全てにわたって同時に最小化を行う方法（一括学習法）もある。

式（8）による最小化をより効果的に行うために、慣性法と呼ばれている次式によっての値を変える。

ここで、は、最小化のｍ番目のステップにおけるの変化量を表わす。式（9）は、ステップｎ＋１における変化量に、直前のステップｎにおける変化量をmomentum termとして少し加えておくことを表わしている。の値は、Rumelhartら（1986, p.330）では、0.9がよく用いられたものとなっている。

 

プログラムでは、ＰＤＰモデルをクラス型Subjectとして構成している。クラス型Subjectによって表わされているＰＤＰモデルは、入力層、出力層と１つの中間層からなるニューラルネットである。入力層InputNeuronsは１００個のニューロン、中間層HiddenNeuronsは１０個のニューロン、出力層OutputNeuronsは３個のニューロンで構成されている（図１７）。

 

図１７　Subject型でのニューラルネット

 

　クラス型Subjectの宣言を以下に示す。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

        class Subject {

                public:

 

                Pattern InputNeurons;                    //      入力層ニューロン

                double  HiddenNeurons[10];               //      中間層ニューロン

 

                double  OutputNeurons[3],               //      出力層ニューロン

                                Target[3];                              //      学習されるべき出力パターン

 

                double  WInToHid[10][100],              //      入力層から中間層への重み

                                PrevDWInToHid[10][100];  //      WInToHidの前回の変化量

 

                double  WHidToOut[3][10],               //      中間層から出力層への重み

                                PrevDWHidToOut[3][10];   //      WHidToOutの前回の変化量

 

                double  Delta[3];

                double  eta, a;

 

                Subject();                                      //      ニューラルネットの初期化

 

                virtual ~Subject(){ }

 

                double f( double net );          //      入力から出力への変換

 

                void StudyPattern( Pattern & pattern, int Response );             //      パターンの学習

 

                void Discriminate( Pattern & pattern );           //      パターンの弁別

 

                int MaxID();            //      最大出力のOutputニューロンを求める

 

        };

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

 

 

Subject型のオブジェクトは、コンストラクタSubject( )で初期化される。刺激パターンの学習はメソッドStudyPattern、弁別はメソッドDiscriminateで行っている。

学習パターンの設定は、プログラムの実行開始時に表示されるフォーム（図１）上で行う。図１のフォームは、プログラムの実行開始時に表示されるものである。

 

　誤差逆伝播法（Error Back Propagation）による学習は、以下のコードで実行されている。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

                for (int j = 0; j < 3; j++)

                        for (int i = 0; i < 10; i++){

                                double d = eta * (Target[j] - OutputNeurons[j]) * (1 - OutputNeurons[j])

                                                        * OutputNeurons[j] * HiddenNeurons[i]

                                                        + a * PrevDWHidToOut[j][i];

 

                                WHidToOut[j][i] = WHidToOut[j][i] + d;

                                PrevDWHidToOut[j][i] = d;                        //      変化量の保存

 

                                //

                                //              WInToHidの変化量の計算で用いるDeltaの設定

                                //

                                if (i == 0) Delta[j] = (Target[j] - OutputNeurons[j]) * (1 - OutputNeurons[j])

                                                                                * OutputNeurons[j];

                        }

 

                        for (int j = 0; j < 10; j++)

                                for (int i = 0; i < 100; i++){

                                        double dk = 0.0;

                                        for (int k = 0; k < 3; k++)

                                                dk += Delta[k] * WHidToOut[k][j];

                                        double d = eta * HiddenNeurons[j] * (1 - HiddenNeurons[j])

                                                                * dk * InputNeurons.arry[i] + a * PrevDWInToHid[j][i];

 

                                        WInToHid[j][i] = WInToHid[j][i] + d;

                                        PrevDWInToHid[j][i] = d;                         //      変化量の保存

                                }

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

 

　なお、Visual C++プログラミングの入門書として＜岡本安晴「大学生のための心理学VC++プログラミング入門」勁草書房＞を上梓した。フォームアプリケーションを.NETのVC++で作成する方法も説明している。

 

 

参　考　文　献

 

Raschka, S., & Mirjalili, V. (2019). Python machine learning, third ed. Packt.

Rumelhart,D.E., McClelland,J.L. and the PDP Research Group （1986）  Parallel distributed processing: Explorations in the microstructure of cognition. Vol.1,2. The MIT Press.

 

 

Up