平均値の条件差のｔ検定の問題
――シミュレーションによる若干の検討――
岡本安晴
日本行動計量学会第53回大会発表（2025）
（抄録集原稿より）
データの平均値の比較は、最もよく行われる統計分析の1つである（Derrick et al., 2016）。２つのグループの比較において、Studentのt検定は、デフォルトになっている（Delacre et al., 2017）。Studentのt検定の結果は、p値に集約される。p値は、今後も使われ続けると予想されている（Benjamin et al.,2019）。p値にはよく知られた批判がある（小杉, 2019）。p値は約100年にわたる問題であるが（Ruberg, 2021）、ASA Statement (Wasserstein,
2016)では有用な統計的指標でありうるとされている（p. 131）。しかし、Studentのp値は、正規分布の仮定と等分散の仮定の下で算出される。正規分布は心理学においてデフォルトとして用いられている分布であるが（椎名、2013）、実際には多くの自然・社会現象において、正規分布とは異なる非対称な形の分布が観測されることが知られている（國仲ら、2011）。等分散の仮定が成り立たないときはWelchのp値が用いられる。ｐ値が適切に解釈されるためには、p値は正しく算出されていなければならない。Delacreら（2017）は、正規分布、非対称正規分布、二重指数分布、カイ二乗分布、一様分布の場合のp値をシミュレーションによって調べ、Welchのp値が良いことを報告している。心理学研究における分布としては、上記のものの他に、ｔ分布、ポアッソン分布、対数正規分布、順序カテゴリ値の分布（多項分布）などがあるが、これらの分布および正規分布についてStudentのp値とWelchのp値の比較シミュレーションを行った。また、Delacreら（2017）のグラフはStudentのp-valueを横軸、Welchのp値を縦軸に取ったものであり、２つのp値の関係は分かるが、真のp値との関係は不明である。ｐ値の定義は、「統計量がデータによって与えられる値以上の極端な値を取る確率」であるので（Wasserstein et al., 2016）、一様分布に従う。すなわち、
(1)
P(p値≤u)=u
である。したがって、正しいp値の累積分布曲線は、連続変数の場合、原点(0,0)から点(1,1)までの対角線となる。本報告では、シミュレーションによって得られたｐ値が式（１）を満たしているかどうかを累積分布曲線により検討する。なお、ここに掲載されていないグラフは発表時に示す。
平均値の比較は、対応のあるデータのt検定で行われることがあるので、この場合の注意点についても取り上げる。