単回帰分析

２変量間の関係の分析

分析例－１

　２つの変量の対でデータが与えられたとき、その２変量の関係を表すことを考える。例として、表１（DataTable111.txt）の英語と国語の点数の５０人分のデータについて説明する。

表１　英語と国語の点数（人工データ）。（英語、国語）の形式で表す。

(60, 71) (61, 53) (48, 61) (55, 57) (66, 58)

(62, 65) (50, 48) (51, 56) (57, 59) (66, 70)

(71, 67) (71, 73) (67, 54) (76, 72) (67, 66)

(60, 66) (48, 54) (75, 70) (61, 60) (60, 62)

(58, 64) (75, 76) (68, 65) (66, 69) (67, 62)

(65, 60) (74, 70) (72, 74) (38, 39) (65, 71)

(50, 49) (51, 51) (53, 53) (64, 54) (68, 62)

(51, 51) (61, 64) (74, 66) (58, 61) (28, 40)

(78, 72) (64, 68) (62, 63) (52, 53) (70, 70)

(78, 79) (75, 74) (59, 65) (73, 76) (63, 62)

表１のデータの散布図は図１のようになる。

右上がりの直線が描かれているが、点はこの直線に沿って分布している。国語の点数と英語の点数の関係を次の１次式

で表すことを考える。パラメータとの値を、このウェブサイトの後半の式（T.3）および（T.2）によって求めると

を得る。ここで、とはパラメータとの推定値であり、パラメータをギリシャ文字で、その推定値を対応する英字で表す。記号は近似式であることを表す。また、本ウェブサイトの計算は、このウェブサイトの後半に用意したプログラムで行うことができる。

　図１における直線は、推定値（２）による直線

である。i番目のデータをで表した時、直線（３）とデータ値との差

の２乗和の従属変数の分散に対する比

は

となる。の変動分の約７３％が式（３）で説明できていることになる。一般に、は決定係数と呼ばれている。決定係数は相関係数の２乗に等しい。

表１のデータの場合、相関係数は

である。

　国語の点数と英語の点数の間には式（１）の１次式で表される関係があるかどうかは、帰無仮説「傾きが０である」の検定として行われる（式（T.5））。表１のデータの場合、

である。５％水準で有意に国語と英語の間には１次式で表される関係がある。の９５％信頼区間は

である（式（T.6））。

　国語の点数と英語の点数の間に関係があるのかどうかを、英語の点数のみのモデル

を制約モデルとして、これに国語の点数を加えた式（１）

をフルモデルとして、制約モデル（４）よりフルモデル（１）の方が残差の２乗和が少ないかどうかの検定によって調べる（式（T.7））。

であり、英語の点数のみの制約モデルにおける残差の変動量より、国語の点数を加えたフルモデルにおける残差の変動量は、５％水準で有意に減少していることが判る。

　なお、上の説明における計算はプログラムSimpleRegression.exeによって行ったものである。プログラムSimpleRegression.exeの使用法はこのウェブサイトの後半で説明している。

分析例―２

ダミー変数による分析

　A校とB校の２つの学校で英語の学力テスト行い、表２の結果を得たとする。

表２　A校とB校の点数（人工データ）

A校

B校

83 80 30 63 58

95 60 47 66 68

59 70 59 94 79

61 51 55 59 68

60 78 59 67 73

72 82 97 76 85

73 92 95 72 66

74 43 93 74 91

85 66 75 74 74

63 82 59 84 92

A校とB校の英語の点数を、

と表す。式（６）を

と表し、式（５）を式（７）に合わせて

と表す。このとき、A校に対しては値0、B校に対しては値1をとる変数を導入すると、式（７）と式（８）はまとめて

と表すことができる。ここで、

である。このような０あるいは１の値によってデータがどの条件のものであるのかを示す変数は、ダミー変数と呼ばれている。　ダミー変数によって２校のデータを単回帰モデル（９）で表したとき、２校の英語の点数の差は回帰係数によって表される。

　表２のデータを式（９）の回帰モデルで分析するために、表３（DataTable122.txt）のように表す。

表３　表２のデータを回帰分析用にの形式で表したもの

(83, 0) (80, 0) (30, 0) (63, 0) (58, 0)

(95, 0) (60, 0) (47, 0) (66, 0) (68, 0)

(59, 0) (70, 0) (59, 0) (94, 0) (79, 0)

(61, 0) (51, 0) (55, 0) (59, 0) (68, 0)

(60, 0) (78, 0) (59, 0) (67, 0) (73, 0)

(72, 1) (82, 1) (97, 1) (76, 1) (85, 1)

(73, 1) (92, 1) (95, 1) (72, 1) (66, 1)

(74, 1) (43, 1) (93, 1) (74, 1) (91, 1)

(85, 1) (66, 1) (75, 1) (74, 1) (74, 1)

(63, 1) (82, 1) (59, 1) (84, 1) (92, 1)

表３のデータに回帰分析を行うと

を得る。すなわち、

となる。A校の英語の点数は65.68点、B校の英語の点数は点である。直線

とデータの関係を図示すると、図２のようになる。

　英語の点数がA校とB校に差があるかどうかは、の推定値が有意に0と異なるかどうかという形で検定される。この検定を式（T.5）によって行うと

となり、５％水準で有意に差が認められる（両側検定）。の95％信頼区間は、式（T.6）より

である。

　なお、上の計算はプログラムSimpleRegression.exeによって行っている。プログラムSimpleRegression.exeの使用法の説明はこのウェブサイトの後半で行っている。

単回帰分析の理論

　２変量のデータ、、・・・、、に対して次式

による関係が成り立っているとする。このとき、は独立変数、説明変数あるいは予測変数と呼ばれ、は従属変数あるいは基準変数と呼ばれる。パラメータおよびは定数であり、特には回帰係数と呼ばれているが、英語文献ではおよびともにregression coefficientと呼ばれている。は、誤差あるいは残差と呼ばれる。

およびの推定値は、最小２乗基準

を最小にするものとして次式

で与えられる。ここで、

である。上の最小２乗法による値は最尤法による値に一致する。

　式（T.1）のデータに対する適合度は、式（T.4）によって与えられる決定係数によって評価することができる。

ここで、

である。は、モデル（T.1）による予測

の平均値を中心とする変動分（２乗和）であり、はデータの平均値を中心とする変動分である。次式

に注意。また、式(T.4)は

と書くことができるので、はデータの分散

に対する予測値の分散

の比になっている。

　決定係数はととの相関係数の2乗に等しい。

回帰係数の検定と信頼区間

　モデル(T.1)が成り立つとき、回帰係数の推定値の分布について次の性質が成り立つ。

ここで、は自由度のティ分布であり、

である。

　帰無仮説「」の検定を行うときは、式（T.5）においてとおいたときの値が自由度のティ分布の棄却域に入るかどうかを調べる。を自由度のティ分布に従う確率変数とするとき、

となる値に対して

であれば帰無仮説「」は棄却される（両側検定の場合）。

　信頼区間は以下のように求められる。式(T.5)より次式が成り立つ。

ここで、

とおいた。

　したがって、

が成り立つ。これより、の信頼区間は次式で与えられることがわかる。

モデルの階層的比較

　モデル(T.1)に対して「」という制約をおいたモデルを制約モデル（reduced model）と呼ぶ。これに対して元のモデル(T.1)をフルモデル（full model）と呼ぶ。

制約モデル「」におけるパラメータの最小２乗法あるいは最尤法による推定値は次式で与えられる。

したがって、このときの制約モデルによる誤差の２乗和は次式で与えられる。

フルモデルにおける誤差の２乗和は

である。

　制約モデルが成り立つとき、次式が成り立つ。

ここで、およびは制約モデルおよびフルモデルの自由度を表し、

で与えられる。制約モデルではn個のデータに対して１つのパラメータの値が推定されるので、自由度はであると解釈できる。フルモデルでは、値が推定されるパラメータはとの2個であるので自由度はであると解釈できる。

一般には、制約モデルにおける誤差の２乗和は、フルモデルにおけるものより大きくなる。しかし、制約モデルが正しいとき、のに対する増加分はランダムな変動によるものとなる。このとき、増加分をその自由度の差で割って平均したものの、をその自由度で割って平均したものに対する比（式（T.7）のFの値）は、自由度とのエフ分布に従う。エフ分布においてFの値が有意に大きい値であれば、制約モデルの正しさを疑い棄却する。すなわち、自由度

と

のエフ分布に従う確率変数Xに対して

となる値をとる。式（T.7）におけるFの値が

を満たすとき、制約モデル「」を有意水準で棄却する。

参考文献

Hogg, R. V., McKean, J. W. and Craig, A. T. (2005). Introduction to Mathematical Statistics, 6^th ed. Pearson Prentice Hall.

Kutner, M. H., Nachtscheim, C. J., Neter, J. and Li, W. (2005). Applied Linear Statistical Models, 5^th ed. McGraw-Hill.

岡本安晴（2009）．データ分析のための統計学入門――統計学の考え方――．おうふう．

芝祐順・南風原朝和（1990）．行動科学における統計解析法．東京大学出版会．

プログラムの使用法

　単回帰分析のためのプログラムSimpleRegression.exeを作成した。プログラム名SimpleRegression.exeをクリックするとダウンロード・実行することができる。プログラムのソースコードファイルなどは圧縮ファイルSimpleRegression.zipとして用意したので、圧縮ファイル名SimpleRegression.zipをクリックしてダウンロードすることができる。ダウンロードした圧縮ファイルの名前SimpleRegression.zipをマウスの右ボタンでクリックして表示されるメニュから「解凍」あるいは「展開」などを選ぶと解凍される。解凍したファイルはVisual Studio 2013で開くことができる。

　プログラムを実行すると図３のフォームが表示される。

図３

「GO」ボタンのクリックで、入力データファイル名の設定を求めるダイアログフォームが表示される（図４）。

図４

入力用ファイルの形式は、表１のデータの場合は以下のようになる。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

英語国語

60 71

61 53

48 61

55 57

66 58

・

78 79

75 74

59 65

73 76

63 62

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

表３のデータの場合は以下のようになる。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

英語学校

83 0

80 0

30 0

63 0

58 0

・

74 1

63 1

82 1

59 1

84 1

92 1

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

　いずれの場合も、スラッシュ（半角文字/）で始まる行の次の行に、従属変数のラベルと独立変数のラベルを書き、データはその次の行から「従属変数の値　　　独立変数の値」の形で1行に1対ずつ書いていく。最後はスラッシュで始まる行を置いて、データの終了であることを示す。

ファイル名を選択して「開く」ボタンをクリックすると、次に出力用ファイル名の設定を求めるダイアログフォームが表示される（図５）。

図５

出力は、テキストファイルとして書き出される。ファイル名の設定後、「保存」ボタンをクリックすると計算が始まり、計算が終了すると図６のフォームが表示される。

図６

「Draw」ボタンのクリックで図７の画面になる。青色の直線が回帰直線である。

図７

画面左上（図８）の「Ｘ－軸上限」と「Ｘ－軸下限」、および「Ｙ－軸上限」と「Ｙ－軸下限」の値を適当な値に設定して「Draw」をクリックすると、設定した値で再描画が行われる。

図８

「Save」ボタンをクリックすると、描画画面がファイルに保存される。保存したファイルは、ワードの文書などに挿入することができる。挿入した図に、説明文などを書き加えることもできる。

「Close」ボタンのクリックでプログラムは実行終了となる。

　実行終了後、出力ファイルをエディタで開くと、表１のデータの場合は以下のようになっている。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

Input File = F:\yasuharu\www\LaCoocan\booksetc\pm2010\simpleregression\SimpleRegression\SimpleRegression\Data2Vars.txt

Y->英語 X->国語

n = 50

Y = 1.26364 + 0.97562 * X

R^2 = 0.732

r = 0.855

t = 11.445 df = 48 p_left = 1.00000 p_right = 0.00000

F = 130.997 df1 = 1 df2 = 48 p = 0.00000

b1 の95% 信頼区間= [0.804, 1.147]

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

　図３のフォームにおいて、「データの出力あり」の方にチェックを入れておくと、読み込んだデータ値も出力ファイルに書き出されるので、データの読み込みのチェックを行うことができる。

　なお、Visual C++プログラミングの入門書として＜岡本安晴「大学生のための心理学VC++プログラミング入門」勁草書房＞を上梓した。

　ロジスティック回帰分析はこちら

岡本安晴、2011.8, 2014.6