学習メモ(主に統計学)

学習したことのメモを記載しています。

【統計学】正規分布の期待値と分散

統計学を学習していて色々な確率分布の期待値、分散を導出したので備忘録として記載していきます。

誤りがあればお知らせいただけると助かります。

 

正規分布

確率変数 Xが平均 \mu、分散 \sigma^2正規分布に従うとします。

このとき確率確率密度関数 f(x)

\begin{align}
f(x) = \dfrac{1}{\sqrt{2\pi}\sigma} \exp\{-\dfrac{(x-\mu)^2}{2\sigma^2}\} \qquad ({-\infty} < x < {\infty})
\end{align}
となる。


 f(x)確率密度関数であることを確かめる

\begin{align}
\int^{\infty}_{-\infty} f(x)dx &= \int^{\infty}_{-\infty} \dfrac{1}{\sqrt{2\pi}\sigma} \exp\{-\dfrac{(x-\mu)^2}{2\sigma^2}\}dx \tag{1} \\
\end{align}

ここで、 t=\dfrac{x-\mu}{\sigma}とおくと、 x=\sigma t + \muより dx=\sigma dtとなる。積分範囲は変わらないので (1)式に代入して、

\begin{align}
\int^{\infty}_{-\infty} f(x)dx &= \int^{\infty}_{-\infty} \dfrac{1}{\sqrt{2\pi}\sigma} \exp\{-\dfrac{t^2}{2}\}\cdot \sigma dt \\ &= \dfrac{1}{\sqrt{2\pi}} \int^{\infty}_{-\infty}  \exp\{-\dfrac{t^2}{2}\}dt \\ &= \dfrac{1}{\sqrt{2\pi}} \cdot \sqrt{2\pi} \\ &= 1
\end{align}

となるので、 f(x)確率密度関数である。

※3行目は以下のガウス積分の公式を使用しました。

(証明は省略しますが極座標変換を使えば証明できます。)

\begin{align}
\int^{\infty}_{-\infty} \exp\{-\dfrac{x^2}{2}\}dx &= \sqrt{2\pi} \\
\end{align}

 

期待値  E[X]

冒頭の定義より結果は \muになることがわかっていますが、期待値の定義通り計算します。

\begin{align}
E[X] &= \int^{\infty}_{-\infty} x\cdot f(x)dx \\ &= \int^{\infty}_{-\infty} x \cdot \dfrac{1}{\sqrt{2\pi}\sigma} \exp\{-\dfrac{(x-\mu)^2}{2\sigma^2}\}dx \tag{2} \\
\end{align}

ここで、先ほどと同様 t=\dfrac{x-\mu}{\sigma}とおくと、 x=\sigma t + \muより dx=\sigma dtとなる。積分範囲は変わらないので (2)式に代入して、

\begin{align}
E[X] &= \dfrac{1}{\sqrt{2\pi}\sigma} \int^{\infty}_{-\infty} (\sigma t + \mu) \cdot \exp\{-\dfrac{t^2}{2}\}\sigma \cdot dt \\ &= \dfrac{1}{\sqrt{2\pi}} \left( \sigma \int^{\infty}_{-\infty} t \exp\{-\dfrac{t^2}{2}\} dt + \mu \int^{\infty}_{-\infty} \exp\{-\dfrac{t^2}{2}\} dt\right) \\ &= \dfrac{1}{\sqrt{2\pi}} \left( \sigma \left[\exp\{-\dfrac{t^2}{2}\}\right]^{\infty}_{-\infty} + \mu \cdot \sqrt{2\pi}\right) \\ &= \dfrac{1}{\sqrt{2\pi}} \cdot \mu \cdot \sqrt{2\pi} \\ &= \mu \\
\end{align}

となる。

 

分散  V[X]

まず、 E[X^2]を求めます。

\begin{align}
E[X^2] &= \int^{\infty}_{-\infty} x^2 \cdot f(x)dx \\ &= \int^{\infty}_{-\infty} x^2 \cdot \dfrac{1}{\sqrt{2\pi}\sigma} \exp\{-\dfrac{(x-\mu)^2}{2\sigma^2}\}dx \tag{3} \\
\end{align}

ここで、先ほどと同様 t=\dfrac{x-\mu}{\sigma}とおくと、 x=\sigma t + \muより dx=\sigma dtとなる。積分範囲は変わらないので (3)式に代入して、

\begin{align}
E[X^2] &= \dfrac{1}{\sqrt{2\pi}\sigma} \int^{\infty}_{-\infty} (\sigma t + \mu)^2 \cdot \exp\{-\dfrac{t^2}{2}\}\sigma \cdot dt \\ &= \dfrac{1}{\sqrt{2\pi}} \int^{\infty}_{-\infty} (\sigma^2 t^2 + 2\sigma\mu t + \mu^2) \exp\{-\dfrac{t^2}{2}\} dt \\ &= \dfrac{1}{\sqrt{2\pi}} \left( \sigma^2  \int^{\infty}_{-\infty} t^2 \exp\{-\dfrac{t^2}{2}\} dt + 2\sigma \mu \int^{\infty}_{-\infty} t\exp\{-\dfrac{t^2}{2}\} dt + \mu^2  \int^{\infty}_{-\infty} \exp\{-\dfrac{t^2}{2}\}dt\right) \\ &= \dfrac{1}{\sqrt{2\pi}} \left( \sigma^2  \int^{\infty}_{-\infty} t \cdot \left(-\exp\{-\dfrac{t^2}{2}\}\right)^{\prime} dt + 2 \sigma \mu \left[-\exp\{-\dfrac{t^2}{2}\}\right]^{\infty}_{-\infty}+ \mu^2 \cdot {\sqrt{2\pi}} \right) \\ &= \dfrac{\sigma^2}{\sqrt{2\pi}} \left(\left[-t\exp\{-\dfrac{t^2}{2}\}\right]^{\infty}_{-\infty} + \int^{\infty}_{-\infty} \exp\{-\dfrac{t^2}{2}\} dt \right) + \mu^2  \\ &= \dfrac{\sigma^2}{\sqrt{2\pi}} (0 + {\sqrt{2\pi}}) + \mu^2 \\ &= \sigma^2 +\mu^2 \\
\end{align}

となる。

 

よって、分散 V[X]

\begin{align}
V[X] &= E[X^2] - {(E[X])}^2 \\
          &= \sigma^2 + \mu^2 - \mu^2 \\
          &= \sigma^2 \end{align}

となる。

 

参考文献:

【統計学】(連続)一様分布の期待値と分散

統計学を学習していて色々な確率分布の期待値、分散を導出したので備忘録として記載していきます。

誤りがあればお知らせいただけると助かります。

 

・(連続)一様分布

確率変数 X確率密度関数 f(x)

\begin{align}
f(x) = \left\{
\begin{array}{ll}
\dfrac{1}{b-a} & (a \leq x \leq b)\\
0 & (その他)
\end{array}
\right.
\end{align}
となる。


 f(x)確率密度関数であることを確かめる

\begin{align}
\int^{\infty}_{-\infty} f(x)dx &= \int^a_{-\infty} f(x)dx + \int^b_a f(x)dx + \int^{\infty}_b f(x)dx \\ &= \int^a_{-\infty} 0 \cdot dx + \int^b_a \dfrac{1}{b-a}dx + \int^{\infty}_b 0 \cdot dx \\ &= \dfrac{1}{b-a} \left[x\right]^b_a \\ &= \dfrac{1}{b-a} \cdot (b-a) \\ &= 1\\
\end{align}

となるので、 f(x)確率密度関数である。

 

期待値  E[X]

期待値の定義通り計算します。

\begin{align}
E[X] &= \int^{\infty}_{-\infty} x\cdot f(x)dx \\ &= \int^a_{-\infty} x \cdot f(x)dx + \int^b_a x \cdot f(x)dx + \int^{\infty}_b x \cdot f(x)dx \\ &= \int^a_{-\infty} x \cdot 0dx + \int^b_a x \cdot \dfrac{1}{b-a}dx + \int^{\infty}_b x \cdot 0 dx \\ &= \dfrac{1}{b-a} \left[\dfrac{1}{2}x^2\right]^b_a \\ &= \dfrac{1}{b-a} \cdot \dfrac{(b^2-a^2)}{2} \\ &= \dfrac{1}{b-a} \cdot \dfrac{(b+a)(b-a)}{2} \\ &= \dfrac{a+b}{2} \\
\end{align}

となります。

 

分散  V[X]

まず、 E[X^2]を求めます。

\begin{align}
E[X^2] &= \int^{\infty}_{-\infty} x^2\cdot f(x)dx \\ &= \int^a_{-\infty} x^2 \cdot f(x)dx + \int^b_a x^2 \cdot f(x)dx + \int^{\infty}_b x^2 \cdot f(x)dx \\ &= \int^a_{-\infty} x^2 \cdot 0dx + \int^b_a x^2 \cdot \dfrac{1}{b-a}dx + \int^{\infty}_b x^2 \cdot 0 dx \\ &= \dfrac{1}{b-a} \left[\dfrac{1}{3}x^3\right]^b_a \\ &= \dfrac{1}{b-a} \cdot \dfrac{(b^3-a^3)}{3} \\ &= \dfrac{1}{b-a} \cdot \dfrac{(b-a)(b^2+ba+a^2)}{3} \\ &= \dfrac{a^2+ab+b^2}{3} \\
\end{align}

となります。

 

よって、分散 V[X]

\begin{align}
V[X] &= E[X^2] - {(E[X])}^2 \\
          &=  \dfrac{a^2+ab+b^2}{3} - \dfrac{(a+b)^2}{4} \\
          &= \dfrac{4a^2+4ab+4b^2-3a^2-6ab-3b^2}{12} \\
          &= \dfrac{(b-a)^2}{12} \\ \end{align}

となる。

 

参考文献:

【統計学】超幾何分布の期待値と分散

統計学を学習していて色々な確率分布の期待値、分散を導出したので備忘録として記載していきます。

誤りがあればお知らせいただけると助かります。

 

・超幾何分布

 N個の球が入っている箱から K個の球を取り出す試行を考えます。一度取り出した球は元に戻さないでおきます。(非復元抽出)

 N個の内、 M個が赤球、 N-M個が白球とします。 K個の球を取り出したときに X個が赤玉だったとすると、 Xの確率分布は超幾何分布に従います。

取り出し方の総数: {}_{N} \mathrm{C}_K通り

赤玉の取り出し方: {}_{M} \mathrm{C}_x通り  (x=0,1,2,...,K)

白玉の取り出し方: {}_{N-M} \mathrm{C}_{M-x}通り

となるので、超幾何分布の確率関数 P

  P = \dfrac{{}_{M} \mathrm{C}_x \cdot {}_{N-M} \mathrm{C}_{K-x}}{{}_{N} \mathrm{C}_K} \quad (x = 0,1,2,...,K) \tag{1} 

となる。

 Pが確率関数であることを確かめる

まず、以下の式について考えます。

\begin{align}
(a+b)^N &= (a+b)^{M} \cdot (a+b)^{N-M}  \tag{2}\\
\end{align}

これは二項定理より、以下のように表すことができます。

\begin{align}
\sum_{K=0}^{N} {}_{N} \mathrm{C}_K a^Kb^{N-K} &= \sum_{l=0}^{M} {}_{M} \mathrm{C}_l a^lb^{M-l} \cdot \sum_{m=0}^{N-M} {}_{N-M} \mathrm{C}_m a^mb^{N-M-m}  \\
\end{align}

 

ここから、具体例を書いて考えたいと思います。

 N=5, M=2とします。

\begin{align}
左辺 = \sum_{K=0}^{5} {}_{5} \mathrm{C}_K a^Kb^{5-K} = {}_{5} \mathrm{C}_0 a^0b^{5-0} + {}_{5} \mathrm{C}_1 a^1b^{5-1} + {}_{5} \mathrm{C}_2 a^2b^{5-2} + {}_{5} \mathrm{C}_3 a^3b^{5-3} + {}_{5} \mathrm{C}_4 a^4b^{5-4} + {}_{5} \mathrm{C}_5 a^5b^{5-5} \\
\end{align}

\begin{align}
右辺 &= \sum_{l=0}^{2} {}_{2} \mathrm{C}_l a^lb^{2-l} \cdot \sum_{m=0}^{5-2} {}_{5-2} \mathrm{C}_m a^mb^{5-2-m} \\ &= ({}_{2} \mathrm{C}_0 a^0b^{2-0} + {}_{2} \mathrm{C}_1 a^1b^{2-1} + {}_{2} \mathrm{C}_2 a^2b^{2-2}) \times ({}_{5-2} \mathrm{C}_0 a^0b^{5-2-0} + {}_{5-2} \mathrm{C}_1 a^1b^{5-2-1} + {}_{5-2} \mathrm{C}_2 a^2b^{5-2-2} + {}_{5-2} \mathrm{C}_3 a^3b^{5-2-3} \\
\end{align}

ここで、左辺と右辺の a^2b^3の項を比較します。

\begin{align}
左辺 \Rightarrow {}_{5} \mathrm{C}_2 a^2b^3 \\
\end{align}

\begin{align}
右辺 \Rightarrow 1つ目 &= {}_{2} \mathrm{C}_0 a^0b^{2-0} \times {}_{5-2} \mathrm{C}_2 a^2b^{5-2-2} \\
\end{align}

\begin{align}
右辺 \Rightarrow 2つ目 &= {}_{2} \mathrm{C}_1 a^1b^{2-1} \times {}_{5-2} \mathrm{C}_1 a^1b^{5-2-1} \\
\end{align}

\begin{align}
右辺 \Rightarrow 3つ目 &= {}_{2} \mathrm{C}_2 a^2b^{2-2} \times {}_{5-2} \mathrm{C}_0 a^0b^{5-2-0} \\
\end{align}

例えば2つ目について x=1, K=2とおくと、

右辺  \Rightarrow 2つ目  = {}_{M} \mathrm{C}_x a^xb^{M-x} \cdot {}_{N-M} \mathrm{C}_{K-x} a^{K-x}b^{N-M-(K-x)} = {}_{M} \mathrm{C}_x \cdot {}_{N-M} \mathrm{C}_{K-x} a^Kb^{N-K}

と表すことができる。

1つ目、3つ目も同じなので、 a^Kb^{N-K}の項を考えると、 {}_{M} \mathrm{C}_x \cdot {}_{N-M} \mathrm{C}_{K-x} x=0 \sim K通りあるので、

 \begin{align}{}_{N} \mathrm{C}_K = \sum_{x=0}^{K} {}_{M} \mathrm{C}_x \cdot {}_{N-M} \mathrm{C}_{K-x}\end{align}
となる。

よって、

\begin{align}
\sum_{x=0}^{K} P &= \sum_{x=0}^{K} \dfrac{{}_{M} \mathrm{C}_x \cdot {}_{N-M} \mathrm{C}_{K-x}}{{}_{N} \mathrm{C}_{K}} \\ &= \dfrac {\sum_{x=0}^{K} {}_{M} \mathrm{C}_x \cdot {}_{N-M} \mathrm{C}_{K-x}}{\sum_{x=0}^{K} {}_{M} \mathrm{C}_x \cdot {}_{N-M} \mathrm{C}_{K-x}} \\ &= 1
\end{align}

となるので、 Pは確率関数である。

 

期待値  E[X]

期待値の定義通り計算します。

\begin{align}
E[X] &= \sum_{x=0}^{K} x \cdot P \\ &= \sum_{x=0}^{K} x \cdot \dfrac{{}_{M} \mathrm{C}_x \cdot {}_{N-M} \mathrm{C}_{K-x}}{{}_{N} \mathrm{C}_{K}} \\ &= \sum_{x=1}^{K} x \cdot \dfrac{\dfrac{M!}{x!(M-x)!} \cdot {}_{N-M} \mathrm{C}_{K-x}}{\dfrac{N!}{K!(N-K)!}} \\ &= \sum_{x=1}^{K} x \cdot \dfrac{\dfrac{M(M-1)!}{x(x-1)!\{(M-1)-(x-1)\}!} \cdot {}_{N-M} \mathrm{C}_{K-x}}{\dfrac{N(N-1)!}{K(K-1)!\{(N-1)-(K-1)\}!}} \\ &= \dfrac{KM}{N} \sum_{x=1}^{K} \cdot \dfrac{\dfrac{(M-1)!}{(x-1)!\{(M-1)-(x-1)\}!} \cdot {}_{N-1-(M-1)} \mathrm{C}_{K-1-(x-1)}}{\dfrac{(N-1)!}{(K-1)!\{(N-1)-(K-1)\}!}} \\ &= \dfrac{KM}{N} \sum_{x=1}^{K} \dfrac{{}_{M-1} \mathrm{C}_{x-1} \cdot {}_{N-1-(M-1)} \mathrm{C}_{K-1-(x-1)}}{{}_{N-1} \mathrm{C}_{K-1}} \\
\end{align}

和の中身は超幾何分布の確率関数なのでその総和は1になります。

よって、期待値は

\begin{align}
E[X] &=  \dfrac{KM}{N} \\
\end{align}

となります。

※冒頭の例について、球の総数を N-1、その内、赤球の数を M-1、白球の数を N-M = N-1-(M-1)とし、そこから K-1回球を取り出す場合を考えればよい。

 

分散  V[X]

まず、 E[X(X-1)]を求めます。

 

\begin{align}
E[X(X-1)] &= \sum_{x=0}^{K} x(x-1) \cdot P \\ &= \sum_{x=2}^{K} x(x-1) \cdot \dfrac{{}_{M} \mathrm{C}_x \cdot {}_{N-M} \mathrm{C}_{K-x}}{{}_{N} \mathrm{C}_{K}} \\ &= \sum_{x=2}^{K} x(x-1) \cdot \dfrac{\dfrac{M!}{x!(M-x)!} \cdot {}_{N-M} \mathrm{C}_{K-x}}{\dfrac{N!}{K!(N-K)!}} \\ &= \sum_{x=2}^{K} x(x-1) \cdot \dfrac{\dfrac{M(M-1)(M-2)!}{x(x-1)(x-2)!\{(M-2)-(x-2)\}!} \cdot {}_{N-M} \mathrm{C}_{K-x}}{\dfrac{N(N-1)(N-2)!}{K(K-1)(K-2)!\{(N-2)-(K-2)\}!}} \\ &= K(K-1)\dfrac{M(M-1)}{N(N-1)} \sum_{x=2}^{K}  \dfrac{\dfrac{(M-2)!}{(x-2)!\{(M-2)-(x-2)\}!} \cdot {}_{N-2-(M-2)} \mathrm{C}_{K-2-(x-2)}}{\dfrac{(N-2)!}{(K-2)!\{(N-2)-(K-2)\}!}} \\ &= K(K-1)\dfrac{M(M-1)}{N(N-1)} \sum_{x=2}^{K} \dfrac{{}_{M-2} \mathrm{C}_{x-2} \cdot {}_{N-2-(M-2)} \mathrm{C}_{K-2-(x-2)}}{{}_{N-2} \mathrm{C}_{K-2}} \\
\end{align}

和の中身は超幾何分布の確率関数なのでその総和は1になります。

よって、 E[X(X-1)]

\begin{align}
E[X(X-1)] &= K(K-1)\dfrac{M(M-1)}{N(N-1)}  \\
\end{align}

となる。

 

よって、分散 V[X]

\begin{align}
V[X] &= E[X(X-1)] + E[X]- {(E[X])}^2 \\
          &=  K(K-1)\dfrac{M(M-1)}{N(N-1)} + \dfrac{KM}{N} - \dfrac{K^2M^2}{N^2} \\
          &= \dfrac{NKM(K-1)(M-1) + NKM(N-1) - K^2M^2(N-1)}{N^2(N-1)} \\
          &= \dfrac{KM\{N(K-1)(M-1) + N(N-1) - KM(N-1)\}}{N^2(N-1)} \\
          &= \dfrac{KM\{N(KM-K-M+1) + N^2-N - NKM+KM)\}}{N^2(N-1)} \\ &= \dfrac{KM(NKM-NK-NM+N + N^2-N - NKM+KM)}{N^2(N-1)} \\ &= \dfrac{KM(N^2-NK - NM+KM)}{N^2(N-1)} \\ &= \dfrac{KM(N^2-(K+M)N+KM)}{N^2(N-1)} \\ &= \dfrac{KM(N-K)(N-M)}{N^2(N-1)} \\ &= \dfrac{N-K}{N-1} \cdot \dfrac{KM}{N^2} \cdot (N-M) \\ &= \dfrac{N-K}{N-1} \cdot K \cdot \dfrac{M}{N}(1-\dfrac{M}{N})\\ \end{align}

となる。

 

参考文献:

 

 

【統計学】負の二項分布の期待値と分散

統計学を学習していて色々な確率分布の期待値、分散を導出したので備忘録として記載していきます。

誤りがあればお知らせいただけると助かります。

 

・負の二項分布

成功確率 pのベルヌーイ試行について、 r回成功するまでに要した失敗回数 Xの確率分布が負の二項分布になります。

合計 r+x回の試行のうち、成功が r回で失敗が x回とする。最後は成功で終わるので r+x-1回中 x回の失敗を取り出せばよい。

よって、確率関数 P

  P = {}_{r+x-1} \mathrm{C}_x p^r q^x \quad (x = 0,1,2,...,) \tag{1} 

となる。 1-p=qと置いています。

 

 Pが確率関数であることを確かめる

まず f(q) = \dfrac{1}{1-q}マクローリン展開を考えます。

マクローリン展開の定義式は以下です。

\begin{align}
f(q) &= \sum_{x=0}^{\infty} f^{(x)}(0) \dfrac{q^x}{x!}  \tag{2}\\
\end{align}

 

 f(q)の両辺を q微分していくと、

\begin{align}
f^{\prime}(q) &= \dfrac{1}{(1-q)^2} \\
\end{align}

\begin{align}
f^{\prime\prime}(q) &= \dfrac{2}{(1-q)^3} \\
\end{align}

\begin{align}
f^{\prime\prime\prime}(q) &= \dfrac{6}{(1-q)^4} \\ \vdots
\end{align}

となるので、それぞれ q=0を代入すると (2)式は

\begin{align}
f(q) &= f(0) + f^{\prime}(0)\dfrac{q^1}{1!} + f^{\prime\prime}(0)\dfrac{q^2}{2!} + f^{\prime\prime\prime}(0)\dfrac{q^3}{3!} + \cdots \\ &= 1 + q + q^2 + q^3 + \cdots \\ &=\sum_{x=0}^{\infty}q^x\\
\end{align}

よって、

\begin{align}
\dfrac{1}{1-q} &=\sum_{x=0}^{\infty}q^x \tag{3} \\
\end{align}

と書ける。

 (3)式を両辺 q微分する。

\begin{align}
\dfrac{1}{(1-q)^2} &=\sum_{x=0}^{\infty} xq^{x-1} \\ &= \sum_{x=1}^{\infty} xq^{x-1} \\ &=\sum_{x=0}^{\infty} (x+1)q^{x} \\
\end{align}

※後のことを考えて q^xの形にしておく。

もう一回両辺 q微分する。

\begin{align}
\dfrac{2}{(1-q)^3} &=\sum_{x=0}^{\infty} (x+1)\cdot xq^{x-1} \\ &= \sum_{x=1}^{\infty} x(x+1)q^{x-1} \\ &=\sum_{x=0}^{\infty} (x+2)(x+1)q^{x} \\
\end{align}

よって、左辺をあえて書き換えると

\begin{align}
\dfrac{2!}{(1-q)^{(2+1)}} &=\sum_{x=0}^{\infty} (x+2)(x+1)q^{x} \\
\end{align}

となる。

更にもう一回両辺 q微分すると、(途中式は省略)

\begin{align}
\dfrac{6}{(1-q)^4} &=\sum_{x=0}^{\infty} (x+3)(x+2)(x+1)q^{x} \\
\end{align}

となる。

これも左辺を書き換えると

\begin{align}
\dfrac{3!}{(1-q)^{3+1}} &=\sum_{x=0}^{\infty} (x+3)(x+2)(x+1)q^{x} \\
\end{align}

となる。

よって、両辺を q微分し続けると、r-1回微分したときは以下のようになる。

\begin{align}
\dfrac{(r-1)!}{(1-q)^{(r-1)+1}} &=\sum_{x=0}^{\infty} (x+r-1) \cdots (x+1)q^{x} \\ 
\end{align}

左辺を1にするために整理すると、

\begin{align}
1 &=\sum_{x=0}^{\infty}\dfrac{(x+r-1) \cdots (x+1)}{(r-1)!} (1-q)^r q^{x} \\ &= \sum_{x=0}^{\infty}\dfrac{(x+r-1) \cdots (x+1) \cdot x \cdot (x-1) \cdot (x-2) \cdots}{x \cdot (x-1) \cdot (x-2) \cdots (r-1)!} p^r q^{x} \\ &= \sum_{x=0}^{\infty}\dfrac{(x+r-1)!}{x! (r-1)!} p^r q^{x} \\ &= \sum_{x=0}^{\infty} {}_{r+x-1} \mathrm{C}_x p^r q^x \\ &= \sum_{x=0}^{\infty} P \\
\end{align}

となるので、 Pは確率関数である。

※2行目から 1-q = pと置いています。

 

期待値  E[X]

確率母関数  G(s) を使って計算します。

 X:確率変数。その実現値  x は整数  x=0,1,2...とします。

 p(x) X=xとなる確率 P(X=x)

とします。

\begin{align}
G(s) &= E[s^X] \\
          &= \sum_{x=0}^{\infty} s^x p(x) \\ &= \sum_{x=0}^{\infty} s^{x} {}_{r+x-1} \mathrm{C}_x p^r q^x \\ &= \sum_{x=0}^{\infty} {}_{r+x-1} \mathrm{C}_x p^r (sq)^{x}
 \\ &= \dfrac{p^r}{(1-sq)^r} \sum_{x=0}^{\infty} {}_{r+x-1} \mathrm{C}_x (1-sq)^r (sq)^x \\ \end{align}

 1-sq = p_a sq = 1-p_a = q_aとおくと、右辺の和記号の中身は負の二項分布の確率関数となり、その和は1になるので

\begin{align}
G(s) &= \dfrac{p^r}{(1-sq)^r}  \\ \tag{4} \end{align}

となる。

両辺を s微分すると、

\begin{align}
G^{\prime}(s) &= \dfrac{p^r \cdot r(1-sq)^{r-1} \cdot q}{(1-sq)^{2r}} \\ &= \dfrac{rqp^r}{(1-sq)^{r+1}} \\ \end{align}

となるので、期待値は s=1 を代入して、

\begin{align}
E[X] &= G^{\prime}(1)\\ &= \dfrac{rqp^r}{(1-q)^{r+1}} \\ &= \dfrac{rqp^r}{p^{r+1}} \\ &= \dfrac{rq}{p} \\
\end{align}

となる。

 

分散  V[X]

まず、 (4)式の両辺を sで二階微分すると、

\begin{align}
G^{\prime\prime}(s) &= \dfrac{rqp^r \cdot (r+1)(1-qs)^r \cdot q}{(1-sq)^{2(r+1)}} \\ &= \dfrac{r(r+1)q^2p^r}{(1-qs)^{r+2}}
\end{align}

となるので、

\begin{align}
E[X(X-1)] &= G^{\prime\prime}(1) \\ &= \dfrac{r(r+1)q^2p^r}{(1-q)^{r+2}} \\ &= \dfrac{r(r+1)q^2p^r}{(p^{r+2}} \\ &= \dfrac{r(r+1)q^2}{p^2}
\end{align}

となる。

よって、分散 V[X]

\begin{align}
V[X] &= E[X(X-1)] + E[X]- {(E[X])}^2 \\
          &=  \dfrac{r(r+1)q^2}{p^2} + \dfrac{rq}{p} - \dfrac{r^2q^2}{p^2} \\
          &= \dfrac{r^2q^2+rq^2+rpq-r^2q^2}{p^2} \\
          &= \dfrac{rq(p+q)}{p^2} \\
          &= \dfrac{rq}{p^2} \\
\end{align}

となる。

 

参考文献:

 

 

【統計学】幾何分布の期待値と分散

統計学を学習していて色々な確率分布の期待値、分散を導出したので備忘録として記載していきます。

誤りがあればお知らせいただけると助かります。

 

・幾何分布

成功確率 pのベルヌーイ試行について、初めて成功するまでに要した失敗回数 Xの確率分布が幾何分布になります。

初めて成功するまで x + 1回かかったとすると、失敗回数は X = xなので確率関数Pは

  P = p(1-p)^x   (x = 0,1,2,...,)

となる。

 

 Pが確率関数であることを確かめる

 xについて総和をとると

\begin{align}
\sum_{x=0}^{\infty} P &= p \sum_{x=0}^{\infty} (1-p)^x  \\
          &= p \times \dfrac{1}{1-(1-p)} \\
          &= 1 \\
\end{align}

となるので、 Pは確率関数である。

二行目の変形は  0<1-p< 1 なので、以下の初項  a \neq 0 、公比  -1< r <1 の無限等比級数の和の公式を利用しました。

\begin{align}
\sum_{x=0}^{\infty} ar^x &= \dfrac{a}{1-r}  \\
\end{align}

※初項  a=1 、公比 1-p と置いて計算しました。

 

期待値  E[X]

以下の確率母関数  G(s) を使って計算します。

 X:確率変数でその実現値  x は整数  x=0,1,2...とします。

 p(t) X=tとなる確率 P(X=t)

として、 |s|\leq1とします。このとき、以下で表される確率母関数を使って期待値、分散を導出します。

\begin{align}
G(s) &= E[s^X] \\
          &= \sum_{t=0}^{\infty} s^t p(t) \tag{1}
\end{align}

 (1)式を両辺sで微分すると、

\begin{align}
G^{\prime}(s) &= \dfrac{d}{ds} \sum_{t=0}^{\infty} s^t p(t) \\ &= \sum_{t=0}^{\infty} \dfrac{d}{ds}s^t p(t)\\ &= \sum_{t=0}^{\infty} ts^{t-1} p(t)\\ \end{align}

となり、 s=1 を代入すると、

\begin{align}
G^{\prime}(1) &= \sum_{t=0}^{\infty} t\times1^{t-1}\times p(t)\\ &= \sum_{t=0}^{\infty} tp(t)\\ \end{align}

となりますが、これは期待値の定義そのものなので結局

\begin{align}
G^{\prime}(1) &= E[X]  \tag{2} \\ \end{align}

となります。また、 (1)式の両辺を sで二階微分して s=1を代入すると以下の関係式も導けます。

\begin{align}
G^{\prime\prime}(1) &= E[X(X-1)] \tag{3} \\ \end{align}

 

 (2)式と (3)式を使って期待値、分散を導出します。

 

まず、 (1)式に幾何分布の確率関数Pを代入すると、

\begin{align}
G(s) &= E[s^X] \\
          &= \sum_{t=0}^{\infty} s^t P\\ &= \sum_{t=0}^{\infty} s^t p(1-p)^t \\
\end{align}

ここで、 1-p = q とおきます。

\begin{align}
G(s) &= p \sum_{t=0}^{\infty} (sq)^t \\
          &= \dfrac{p}{1-qs}  (ただし、s < \dfrac{1}{q} とする。) \tag{4} \\
\end{align}

 (4)式を両辺sで微分すると、

\begin{align}
G^{\prime}(s) &= \dfrac{pq}{(1-qs)^2} \tag{5} \\
\end{align}

よって、期待値 E[X]

\begin{align}
E[X] &= G^{\prime}(1)\\ &= \dfrac{pq}{(1-q)^2} \\ &= \dfrac{pq}{p^2}\\ &= \dfrac{1-p}{p} \\
\end{align}

となる。

 

分散  V[X]

まず、 (5)式の両辺を s微分すると、

\begin{align}
G^{\prime\prime}(s) &= \dfrac{-pq \cdot 2(1-qs) \cdot (-q)}{(1-qs)^4} \\ &= \dfrac{2pq^2}{(1-qs)^3}
\end{align}

となるので、

\begin{align}
E[X(X-1)] &= G^{\prime\prime}(1) \\ &= \dfrac{2pq^2}{(1-q)^3} \\ &= \dfrac{2q^2}{p^2} \\ &= \dfrac{2(1-p)^2}{p^2} \\
\end{align}

となる。

よって、分散 V[X]

\begin{align}
V[X] &= E[X(X-1)] + E[X]- {(E[X])}^2 \\
          &= \dfrac{2(1-p)^2}{p^2} + \dfrac{1-p}{p} - \dfrac{(1-p)^2}{p^2} \\
          &= \dfrac{(1-p)^2}{p^2} + \dfrac{p(1-p)}{p^2} \\
          &= \dfrac{(1-p)\{(1-p)+p\}}{p^2} \\
          &= \dfrac{1-p}{p^2} \\
\end{align}

となる。

 

参考文献:

 

 

【統計学】ポアソン分布の期待値と分散

統計学を学習していて色々な確率分布の期待値、分散を導出したので備忘録として記載していきます。

誤りがあればお知らせいただけると助かります。

 

ポアソン分布

確率関数 P

  P= \frac{\lambda^x}{x!}e^{-\lambda}    (x = 0,1,2,...,)

です。パラメータ \lambda \lambda>0\とします。

 

 Pが確率関数であることを確かめる

以下の  e^{\lambda}テイラー展開を利用する。

 e^{\lambda} = \sum_{x=0}^{\infty}{}\frac{\lambda^x}{x!}

 P xについて総和をとると

\begin{align}
\sum_{x=0}^{\infty} P &= \sum_{x=0}^{\infty}{}\frac{\lambda^x}{x!}e^{-\lambda}  \\
          &= e^{-\lambda} \sum_{x=0}^{\infty}{}\frac{\lambda^x}{x!} \\
          &= e^{-\lambda} \times e^{\lambda} \\
          &= 1
\end{align}

となるので、 Pは確率関数である。

 

期待値  E[X]

\begin{align}
E[X] &= \sum_{x=0}^{\infty} x \times P  \\
          &= \sum_{x=1}^{\infty} x\times\frac{\lambda^x}{x!}e^{-\lambda}\\
          &= \lambda \times e^{-\lambda}\sum_{x=1}^{\infty} \frac{\lambda^{x-1}}{(x-1)!}\\
\end{align}

ここで、 x-1=tとおくと、

\begin{align}
E[X] &=  \lambda \times e^{-\lambda}\sum_{t=0}^{\infty} \frac{\lambda^t}{t!} \\
          &= \lambda \times e^{-\lambda}\times e^{\lambda}\\
          &= \lambda \\
\end{align}

分散  V[X]

まず、 E[X(X-1)] を求める。

\begin{align}
E[X(X-1)]&= \sum_{x=0}^{\infty} x(x-1) \times P  \\
          &= \sum_{x=2}^{\infty} x(x-1)\times\frac{\lambda^x}{x!}e^{-\lambda}\\
          &= \lambda^2 \times e^{-\lambda}\sum_{x=2}^{\infty} \times\frac{\lambda^{x-2}}{(x-2)!}\\
\end{align}

ここで、 x-2=sとおくと、

\begin{align}
E[X] &=  \lambda^2 \times e^{-\lambda}\sum_{s=0}^{\infty} \frac{\lambda^s}{s!} \\
          &= \lambda^2 \times e^{-\lambda}\times e^{\lambda}\\
          &= \lambda^2 \\
\end{align}

よって、分散 V[X]

\begin{align}
V[X] &= E[X(X-1)] + E[X] - {(E[X])}^2 \\
          &= \lambda^2 + \lambda - \lambda^2 \\
          &= \lambda \\
\end{align}

となる。

 

参考文献:

 

 

【統計学】二項分布の期待値と分散

統計学を学習していて色々な確率分布の期待値、分散を導出したので備忘録として記載していきます。

誤りがあればお知らせいただけると助かります。

 

・二項分布

ベルヌーイ試行の例としてコインを投げて確率 pで表、確率 1-pで裏が出る実験を考える。

N回の試行のうち、表が x回出る確率 P

  P= {}_N \mathrm{C}_x p^x(1-p)^{N-x}

となる。

 

 Pが確率関数であることを確かめる

以下の二項定理を利用する。

 \displaystyle (a+b)^N = \sum_{x=0}^{N} {}_N \mathrm{C}_x a^xb^{N-x}

 xについて総和をとると

\begin{align}
\sum_{x=0}^{N} P &= \sum_{x=0}^{N}{}_N \mathrm{C}_x p^x(1-p)^{N-x}  \\
          &= (p+1-p)^N  \\
          &= 1^N \\
          &= 1
\end{align}

となるので、 Pは確率関数である。

 

期待値  E[X]

離散型確率変数Xは表が出たときに 1、裏が出たときに 0をとるとします。

\begin{align}
E[X] &= \sum_{x=0}^{N} x \times P  \\
          &= \sum_{x=1}^{N} x\times {}_N \mathrm{C}_x p^x(1-p)^{N-x}\\
          &= \sum_{x=1}^{N} x\times \dfrac{N!}{x!(N-x)!} p^x(1-p)^{N-x}\\
          &= \sum_{x=1}^{N} x\times \dfrac{N(N-1)!}{x(x-1)!(N-1-(x-1))!} p^x(1-p)^{N-x}\\
          &= N \times \sum_{x=1}^{N}  \dfrac{(N-1)!}{(x-1)!(N-1-(x-1))!} p^x(1-p)^{N-x}\\
\end{align}

ここで、 x-1=tとおくと、

\begin{align}
E[X]  &= N \times \sum_{t=0}^{N-1} \dfrac{(N-1)!}{t!(N-1-t)!} p^{1+t}(1-p)^{N-(1+t)}\\
    &= N \times \sum_{t=0}^{N-1} {}_{N-1} \mathrm{C}_t p^{1+t}(1-p)^{N-(1+t)}\\
    &= Np \times \sum_{t=0}^{N-1} {}_{N-1} \mathrm{C}_t p^t(1-p)^{N-t-1}\\
      &= Np \times (p+1-p)^{N-1}\\
      &= Np \times 1^{N-1}\\
      &= Np \\
\end{align}

分散  V[X]

まず、 E[X(X-1)] を求める。

\begin{align}
E[X(X-1)]&= \sum_{x=0}^{N} x(x-1) \times P  \\
          &= \sum_{x=2}^{N} x(x-1)\times {}_N \mathrm{C}_x p^x(1-p)^{N-x}\\
          &= \sum_{x=2}^{N} x(x-1)\times \dfrac{N!}{x!(N-x)!} p^x(1-p)^{N-x}\\
          &= \sum_{x=2}^{N} x(x-1)\times \dfrac{N(N-1)(N-2)!}{x(x-1)(x-2)!(N-2-(x-2))!} p^x(1-p)^{N-x}\\
          &= N(N-1) \times \sum_{x=2}^{N}  \dfrac{(N-2)!}{(x-2)!(N-2-(x-2))!} p^x(1-p)^{N-x}\\
\end{align}

ここで、 x-2=sとおくと、

\begin{align}
E[X]  &= N(N-1) \times \sum_{s=0}^{N-2} \dfrac{(N-2)!}{s!(N-2-s)!} p^{2+s}(1-p)^{N-(2+s)}\\
    &= N(N-1) \times \sum_{s=0}^{N-2} {}_{N-2} \mathrm{C}_s p^{2+s}(1-p)^{N-(2+s)}\\
    &= N(N-1)p^2 \times \sum_{s=0}^{N-2} {}_{N-2} \mathrm{C}_s p^s(1-p)^{N-s-2}\\
      &= N(N-1)p^2 \times (p+1-p)^{N-2}\\
      &= N(N-1)p^2 \times 1^{N-2}\\
      &= N(N-1)p^2 \\
\end{align}

よって、分散 V[X]

\begin{align}
V[X] &= E[X(X-1)] + E[X] - {(E[X])}^2 \\
          &= N(N-1)p^2 + Np - (Np)^2 \\
          &= -Np^2 + Np \\
          &= Np(1-p) \\
\end{align}

となる。

 

参考文献: