確率分布の期待値と分散を計算する

確率の勉強をしたので出力。

今回の目的

色々な分布の確率母関数と積率母関数から、期待値と分散を求める。

確率母関数

sを絶対値が1以下の変数とした時、確率母関数は、

G(s)=E(s^X)=\sum_{x=1}^{\infty} s^xp(x)

で定義される。

非負整数離散値を取る確率分布において使用される。

積率母関数

確率母関数において、s=e^θと置いたものが積率母関数。即ち、

φ(θ)=G(e^{θX})

で定義される。

実数連続値を取る確率分布において使用される。

モーメント

確率変数Xのk乗の期待値をk乗モーメントと呼ぶ。

1乗モーメントは期待値そのもの。

E(X^1)=E(X)

2乗モーメントは、分散を求める時に使うアレ。

E(X^2)=Var(X)+E(X)^2

\Rightarrow Var(X)=E(X^2)-E(X)^2

分散は1乗モーメントと2乗モーメントから求めることができる。

また、2の階乗モーメントは以下で定義できる。

E(X(X-1))

階乗モーメントは、2乗モーメントと1乗モーメントの差に分解できる。

E(X(X-1))=E(X^2-X)=E(X^2)-E(X)

したがって、分散は階乗モーメントと1乗モーメントからも、求めることができる。

Var(X)=E(X(X-1))+E(X)-E(X)^2

確率母関数と階乗モーメント

確率母関数から階乗モーメントを求めることができる。

確率母関数ってすごい！

具体的には、s=1を代入する。

G(1)は、0乗モーメントE(X^0)を表す。

（0の階乗モーメントと0乗モーメントは一致する）

1階微分への代入G'(1)は、1乗モーメントE(X)を表す。

G'(s)=\sum_{x=1}^{\infty} xs^{x-1}p(x)

\Rightarrow G'(1)=\sum_{x=1}^{\infty} xp(x)=E(X)

（1の階乗モーメントと、1乗モーメントは一致する）

2階微分への代入G''(1)は、2の階乗モーメントを表す。

G''(s)=\sum_{x-1}^{\infty} x(x-1)s^{x-2}p(x)

\Rightarrow G''(1)=\sum_{x=1}^{\infty} x(x-1)p(x)=E(X(X-1))

よって、確率母関数より期待値・分散が求められる。

期待値：E(X)=G'(1)

分散：Var(X)=G''(1)+G(1)-G(1)^2

積率母関数と冪乗モーメント

積率母関数から冪乗モーメントを求めることができる。

積率母関数ってすごい！

具体的には、θ=0を代入する。

（θ=0でs=e^0=1だから、確率母関数への操作と一致している）

φ(0)は、0乗モーメントE(X^0)を表す。

1階微分への代入φ'(0)は、1乗モーメントE(X)を表す。

φ'(θ)=\sum_{x=1}^{\infty} xe^{θx}p(x)

\Rightarrow φ'(0)=\sum_{x=1}^{\infty} xp(x)

2階微分への代入φ''(0)は、2乗モーメントE(X^2)を表す。

φ''(θ)=\sum_{x=1}^{\infty} x^2e^{θx}p(x)

\Rightarrow φ''(0)=\sum_{x=1}^{\infty} x^2p(x)=E(X^2)

よって、積率母関数より期待値・分散が求められる。

期待値：E(X)=φ'(0)

分散：Var(X)=φ''(0)-φ'(0)^2

色々な確率分布の期待値と分散を求める

それでは求めていこう。

2項分布

Bin(n,p)の確率関数は、

p(k)=\binom nk p^k(1-p)^{n-k}

確率母関数は、

G(s)=\sum_{x=1}^{n} s^x \binom nx p^x(1-p)^{n-x} =\sum_{x=1}^{n} \binom nx (sp)^x(1-p)^{n-x} =(sp+(1-p))^n

1乗モーメントは、

G'(s)=np(sp+(1-p))^{n-1}

\Rightarrow G'(1)=np

2の階乗モーメントは、

G''(s)=n(n-1)p^2(sp+(1-p))^{n-2}

\Rightarrow G''(1)=n(n-1)p^2

以上より、期待値・分散は、

E(X)=G'(1)=np

Var(X)=G''(1)+G'(1)-G'(1)^2=n(n-1)p^2+np-n^2p^2=np(1-p)

期待値はnp、分散はnp(1-p)

ポアソン分布

Po(λ)の確率関数は、

p(k)=\dfrac {λ^k}{k!} e^{-λ}

確率母関数は、

G(s)=\sum_{x=1}^{\infty} s^x\dfrac {λ^x}{x!} e^{-λ} =\sum_{x=1}^{\infty} \dfrac {(sλ)^x}{x!} e^{-λ} =e^{-λ}\sum_{x=1}^{\infty} \dfrac {(sλ)^x}{x!} =e^{-λ}*e^{sλ} =e^{λ(s-1)}

1乗モーメントは、

G'(s)=λe^{λ(s-1)}

\Rightarrow G'(1)=λ

2の階乗モーメントは、

G''(s)=λ^2e^{λ(s-1)}

\Rightarrow G''(1)=λ^2

以上より、期待値・分散は、

E(X)=G'(1)=λ

Var(X)=G''(1)+G'(1)-G'(1)^2=λ^2+λ-λ^2=λ

期待値はλ、分散はλ

負の2項分布

NB(r,p)の確率関数は、

p(k)=\binom {r+k-1}k (1-p)^kp^r

確率母関数は、

G(s)=\sum_{x=1}^{\infty} s^x\binom {r+x-1}x (1-p)^xp^r =\sum_{x=1}^{\infty} \binom {r+x-1}x (s(1-p))^xp^r =p^r\sum_{x=1}^{\infty} \binom {r+x-1}x (s(1-p))^x

=p^r*(1-s(1-p))^{-r} =(\dfrac {1-s(1-p)}p)^{-r} =(-\dfrac {1-p}p s+\dfrac 1p)^{-r}

1乗モーメントは、

G'(s)=r\dfrac {1-p}p (-\dfrac {1-p}p s+\dfrac 1p)^{-r-1}

\Rightarrow G'(1)=r\dfrac {1-p}p

2の階乗モーメントは、

G''(s)=r(r+1)\dfrac {(1-p)^2}{p^2} (-\dfrac {1-p}p s+\dfrac 1p)^{-r-2}

\Rightarrow G''(1)=r(r+1)\dfrac {(1-p)^2}{p^2}

以上より、期待値・分散は、

E(X)=G'(1)=r\dfrac {1-p}p

Var(X)=G''(1)+G'(1)-G'(1)^2=r(r+1)\dfrac {(1-p)^2}{p^2}+r\dfrac {1-p}p-r^2\dfrac {(1-p)^2}{p^2}

=r\dfrac {1-p}p (\dfrac{1-p}p +1) =r\dfrac {1-p}{p^2}

期待値はr\dfrac {1-p}p、分散はr\dfrac {1-p}{p^2}

正規分布

N(μ,σ^2)の確率密度関数は、

f(x)=\dfrac 1{\sqrt{2\pi}σ} \exp(-\dfrac{(x-μ)^2}{2σ^2})

積率母関数は、

φ(θ)=\int_{-\infty}^{\infty} e^{θx} \dfrac 1{\sqrt{2\pi}σ} \exp(-\dfrac{(x-μ)^2}{2σ^2}) dx

\dfrac {x-μ}σ \rightarrow yと変数変換すると、

φ(θ)=\int_{-\infty}^{\infty} e^{θ(σy-μ)} \dfrac 1{\sqrt{2\pi}} \exp(-\dfrac{y^2}{2}) dy

=e^{θμ}\int_{-\infty}^{\infty} \dfrac 1{\sqrt{2\pi}} \exp(-\dfrac{y^2}{2}+θσy) dy

=e^{θμ}\int_{-\infty}^{\infty} \dfrac 1{\sqrt{2\pi}} \exp(-\dfrac{(y-σθ)^2}{2}+\dfrac{σ^2θ^2}2) dy

=\exp(θμ+\dfrac{σ^2θ^2}2)\int_{-\infty}^{\infty} \dfrac 1{\sqrt{2\pi}} \exp(-\dfrac{(y-σθ)^2}{2}) dy=\exp(θμ+\dfrac{σ^2θ^2}2)

1乗モーメントは、

φ'(θ)=(μ+σ^2θ)\exp(θμ+\dfrac{σ^2θ^2}2)

\Rightarrow φ'(0)=μ

2乗モーメントは、

φ''(θ)=σ^2\exp(θμ+\dfrac{σ^2θ^2}2)+(μ+σ^2θ)^2\exp(θμ+\dfrac{σ^2θ^2}2)

=(σ^4θ^2+2σ^2μθ+μ^2+σ^2)\exp(θμ+\dfrac{σ^2θ^2}2)

\Rightarrow φ''(0)=μ^2+σ^2

以上より、期待値・分散は、

E(X)=φ'(0)=μ

Var(X)=φ''(0)-φ'(0)^2=μ^2+σ^2-μ^2=σ^2

期待値はμ、分散はσ^2

まとめ

我々がよく知っている結果と一致した。

こういうのスカッとするね。

確率母関数・積率母関数から期待値・分散を計算することができるということが実感できた。

後日、もう少し複雑な確率分布に関しても計算してみる。