重回帰分析
多変量重回帰分析のプログラムは別のウェブサイトに用意している。
単回帰分析は＜単回帰分析＞で説明している。
ロジスティック回帰分析は＜ロジスティック回帰分析＞で説明している。
回帰分析の説明を＜岡本安晴「心理学データ分析と測定」＞で行っている。
Gauss-Markoff setup（Timm, 1975; Rao,1973）と呼ばれている重回帰モデル
において、
と
は定数部分で、それらの積
からのランダムな変動分
を加えたものとして、
が表わされている。行列によらない表現は
である。
において、各
は、平均0、分散
の正規分布に従い、お互いに独立であるとする。
がN行q列の行列で階数がrであるとするとき、残差平方和
をで割ったものは、自由度
のカイ２乗分布に従う。
ここで、は次式
で与えられ、bは次式
で与えられるの推定値であり、
は
の一般逆行列である。
を求めるときは、
を最小にするという最小２乗基準での推定を行っているが、
に対するある制約、例えば
というような制約のもとでの推定を行うときは、その制約条件を満たす範囲での値を求める。制約条件として、次の１次式で表わされるものについて考える。
例えば、は
という形で表わすことができる。
とおき、ｃをコントラストと呼ぶ。コントラストはお互いに独立なものを行として複数個まとめて行列
の形で与えることができる。
制約条件
のもとでのの最小値を、
で表わす。
このとき、次式が成り立つ。
は、という制約を付けたために増えた、残差平方和の増加分である。このをで割ったものは、仮説「」が真であるとき、自由度gのカイ２乗分布に従い、自由度
の
と独立である。
以上より、帰無仮説「」のもとで、
は、自由度（ｇ、Ｎ―ｒ）のＦ分布に従うことがわかる。
は、母数の真の値に対して、
が
から離れた値であるほど大きい値になりやすいので、Ｆ値が有意水準
で設定された値
より大きいとき、帰無仮説「」は棄却される。は、自由度（ｇ、Ｎ―ｒ）のＦ分布に従う確率変数をＺとするとき、
を満たす値として求まる。
上の重回帰分析を行うVisual
C++/CLRプログラムMRegAnal.exeを用意した。プログラム名MRegAnal.exeをクリックすればダウンロード・実行できる。この実行形式プログラムファイルは.NET Framework3.5対応である。プログラムのソースファイルなどは圧縮ファイルMRegAnal.zipとしてまとめた。ファイル名MRegAnal.zipをクリックしてダウンロードしたものを、マウスの右ボタンでクリックして表示されるメニュから「解凍」あるいは「展開」などを選んで解凍すれば、Visual C++などで開いて見ることができる。プログラムでは、例えばの計算は、行列のクラス型myMatを用意して四則演算子や代入演算子のオーバーロードを行い、
b =
InvXX * matTransp( x ) * y;
と簡単に書いている。行列のクラス型myMatについては別のウェブサイトで説明している。また、複素数演算のオーバーロード・プログラム例はウェブサイト＜マンデルブロー集合の描画＞に用意している。
プログラムの使用法などはreadme.pdfで説明した。ファイル名readme.pdfをクリックすればダウンロードできる。
重回帰分析は、観測可能な変量を独立変数として他の変量を説明するものであるが、潜在変数で他の変数を説明するモデルの1つとして因子分析がある。因子分析を取り上げたウェブページも用意した。
なお、重回帰分析など多変量データ分析の理解に必要な数学的基礎事項、行列や微分など、の解説を拙著
岡本安晴「統計学を学ぶための数学入門［下］」2009、培風館
で行っている。また、重回帰分析による分散分析の説明を
で行っている。
Visual C++プログラミングの解説書として＜岡本安晴「大学生のための心理学VC++プログラミング入門」勁草書房＞を用意した。
Rao, C. R. (1973) Linear Statistical Inference and its Applications, 2nd ed. John Wiley & Sons.
Timm, N. H. (1975) Multivariate Analysis with Applications in Education and Psychology. Brooks/Cole Publishing Company, Inc.
岡本安晴 作