ベイズデータ分析： MCMCを用いたプログラム例

Home

ベイズデータ分析

岡本安晴

データ生成が、確率モデル（stochastic model）

で表されるときがある。データ、・・・、が平均、分散の正規分布からのサンプル

である（ ~ は、左辺の変数が右辺の確率分布に従うことを表す）とき、

、

とおけば、式（１）の形に書くことができる。すなわち、

である。

式（１）は、パラメータに対して、データが与えられる確率を表すものであり、古典的統計分析で用いられるモデルの形式である。

ベイズデータ分析では、パラメータも確率変数として扱い、パラメータとデータの同時分布を次式で与える。

このとき、データを条件とするパラメータの条件付き確率は

で与えられる。ベイズデータ分析は、式（３）で与えられるに基づいて分析を行うものである。

を事前分布、を事後分布と呼ぶ。あるいはに関わる確率を主観的確率と考え、多くの議論・論考がある。しかし、データ分析のツールあるいは枠組みとしてモデル（２）を考えるときは、ベイズデータ分析における確率が主観的であるという議論には、データ分析においてはこだわらないというのも１つの立場である。モデル（２）が、ツールとして有用かどうかの問題である。量子力学では物理量を確率分布で表して現代物理学の発展がみられたことを考えれば、パラメータ値などを確率分布で表すベイズデータ分析は現代的データ分析における有用性・有効性が大いに期待されるものであるといえる。現代物理学の発展における「量子力学が役に立つなら当面はこれで仕事をしよう。」というコペンハーゲン解釈（佐藤文隆「アインシュタインの反乱と量子コンピュータ」2009、p. 14）との対応を考えるとき、モデル（２）のデータ分析ツールとしての有用性が認められる現在においては、主観的という歴史的経緯は問わない、ツールとしての有用性あるいは特性に注目するというのも１つの現実的対応である。ニュートンは、万有引力にまつわる問題には答えずに研究を進め、数学は「数とは何か」という問題には関わらずに研究が行われているという（Rosenberge, A., & McIntyre, L., 2020. “Philosophy of Science”, Routledge）。

モデル（２）に基づくデータ分析に話を戻す。

パラメータが１つの簡単なモデルのときは、事後分布（３）は簡単に求めることができる。２項分布の場合においてグリッド法によって求める例を、ウェブサイト＜最尤法とベイズ的方法（２項分布の区間推定）＞で説明している。

を解析的に分析することが難しいときは、確率分布に従うサンプル（乱数）を多数とって、そのサンプルに基づいて分析が行われる。に従う乱数を得る方法として、マルコフ連鎖モンテカルロ（Markov chain Monte Carlo: MCMC）がある。

マルコフ連鎖とは、確率変数の系列、・・・、、、・・・において、の確率分布が直前のにのみ依存するものである。すなわち、

が成り立つものである。マルコフ連鎖には、ある正則条件が満たされるとき、時系列として得られる確率変数の値、・・・、、、・・・において、その時間的順序関係を無視して、集合｛、・・・、、、・・・｝として考えたとき、を大きくしていくと　その集合は確率分布からのサンプルとみなせるものに近づくという性質がある（Gamerman and Lopes, “Markov Chain Monte Carlo, 2^nd ed.” 2006, p. 125; Robert and Casella, “Monte Carlo Statistical Methods” 1999, p. 237）。MCMCは、このマルコフ連鎖の性質を利用して、の推定を行うものである。例えば、M-Hアルゴリズム（Metropolis-Hastings algorithm）では、以下のようにしてからのサンプル値を得ている。M-Hアルゴリズム以外の方法を用いているソフトとしてStanがあるが、Stanについては別のサイトで説明している。

いま、乱数発生の容易なを条件とするの確率分布をとる。この確率分布を用いて、次のアルゴリズムAによってマルコフ連鎖を構成したとき、の値が０でない領域（サポートと呼ばれる）内の任意の点からサポート内の任意の領域に有限回の遷移で達することができるとする。このとき、アルゴリズムAの手順でを生成していくとき、は集合として漸近的にからのサンプルとみなすことができる。

アルゴリズムA

ステップ０

とおき、の値をのサポートからの任意の値とする。

ステップ１

に対して、の候補となる値を

ととる。

採択確率を次式

により設定する。

ステップ２

確率で、

確率で

とおく。

ステップ３

とおく。の値が目標数に達したならば終了するが、達していなときはステップ１に戻る。

MCMCは、事後確率以外の確率分布に対しても適用できるものであるが、簡単な例をウェブサイト＜MCMCプログラミング＞、＜MCMCの簡単な例＞で説明している。

候補値のサンプリングに用いる確率分布（提案分布とか生成分布などと呼ばれている）の選び方によっては、の値は０に近い、あるいは１に近い値になりやすくなる。の値が０に近くなりやすいときは、ステップ３におけるの更新はあまり行われないことになる。このとき、サンプルの数の割には異なった値が少なくなり効率が悪くなる。の値が１に近くなりやすいときは、更新が頻繁に行わることになるが、これはの値が大きい領域からあまり動いていない状態を表している可能性があり、事後確率のサポート内での動きが悪く効率の悪いサンプリングである危険がある。いずれにせよ、理論的には漸近定理によりサンプルの事後分布への収束は保障されているので、サンプル数を十分に多くとればサンプルによって事後分布が表されると予想されるが、の値が適切な範囲に収まるように確率分布を選ぶことができれば効率の良いサンプリングが期待できる。この選択は、パラメータの更新を、その１つ１つを順番に行えば、確率分布も対応して１つずつ設定することになるので容易である。１つずつ更新する方法として、Metropolis-within-Gibbsあるいはcomponentwise version of the Metropolis-Hastings algorithmと呼ばれているものを利用することができる。これは、必ずしも１つずつ更新するのではなく、パラメータをグループ分けしてグループ単位で更新する方法も使えるものであるが、ここでは提案分布の調整が容易である１つずつ更新する場合を考え、以下の手順で行う。