正規分布

標準正規分布に従う2つの独立な確率変数z1、z2の同時分布について考えよう。

z1~N(0,1) z2~N(0,1)

この二つの確率変数を独立と考えた場合の、同時確率分布を求めてみよう。独立であるので、2つの密度関数の積で表されて、

P(z1,z2)=p(z1)P(z2)

Z1もZ2も、下記の密度関数に従う。

normal.gif

同時分布はこの積となるから、確率要素で表示すれば、

normal2.gif

となる。

normalDist2.JPG

一般的な2変量正規分布

ベクトル表示できる。確率変数を X=(x1,x2)'とし、平均μ=(μ1,μ2)'、分散行列Σ={σij}とすれば N(μ,Σ)の同時確率密度関数はどのようになるであろうか。 確率要素で表示すれば、

dP=|Σ|^(-1/2)exp{-(x-μ)tΣ^(-1)(x-μ)/2}/(2π)^(2/2)dx1dx2

詳細に表示すれば、

normal-2zi.gif

となる。

Σ=(E(xi-μi)(xj-μj)) (nn行列:i,j=1,2)
 =(E(xixj)-μiμj)
  • n次元の同時分布の確率要素は
    dP=|Σ|^(-1/2)exp{-(x-μ)tΣ^(-1)(x-μ)/2}/(2π)^(n/2)dx1dx2...dxn
    である。
  • X1の周辺分布P(x1)は、dx2で積分すれば、平均μ1、分散σ1の確率密度となることがわかるでしょう。

条件付き確率

ベイズの定理より

P(x2|x1)=P(x1,x2)/P(x1)

P(x1)は、平均μ1、分散σ1の確率密度であるので、そしてその条件付期待値と分散は直ちに、

dp1.gif

条件付き確率はdp/dp1を計算すればよい。 dp/dp1=

dp-dp1.JPG

上式より条件付き確率P(x2|x1)の期待値と分散は次式で表わされることがわかる。

ConditionalExp.gif

最小二乗法(最小分散)との関係

X2を目的関数としてx1で回帰する場合、回帰式をX2=a+bx1 と置いて、誤差二乗和を最小にする。 当てはめる直線の切片aと傾きbは、で次のように得られる。

parameter.gif
  • 詳細は最小二乗法のページを参照のこと

もうひとつの見方を紹介しよう。最小分散を与えるx2を直接計算してみよう。

minimum-Variance.gif

上の第1項と第2項を見れば

a-b.gif

とすれば、最小となることがわかる。 これを整理すれば、先の回帰式のパラメータと同一であることが確認できる。

正規分布の条件付き確率の最尤推定

最尤推定は、確率密度関数の山のピークを求める方法である。 条件付き確率の最尤推定値は、先の確率要素からわかるように、容易にもとめられる。パラメータaとbで1階微分してゼロとなる値を求めればよい。

  • これも、同じ結果を得る。

正規分布のパラメータ推定問題の要点

  • 最小二乗推定量、条件付き期待値、条件付き確率の最尤推定量の3つの方法でえられるパラメータは同一である。

添付ファイル: filenormalDist2.JPG 389件 [詳細] filea-b.gif 377件 [詳細] fileminimum-Variance.gif 393件 [詳細] fileparameter.gif 374件 [詳細] fileConditionalExp.gif 388件 [詳細] filedp-dp1.JPG 442件 [詳細] filedp1.gif 377件 [詳細] filenormal-2zi.gif 409件 [詳細] filenormal2.gif 391件 [詳細] filenormal.gif 384件 [詳細] fileNormalDistribution.png 227件 [詳細]

トップ   差分 バックアップ リロード   一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2012-08-17 (金) 08:47:00 (2229d)