「確率変数 \(X, Y, Z\) があり、これらが互いに独立であるとする。」
こういった記述は確率・統計分野では頻繁に見かけるけれども、独立の定義ってなんだろうと思ったら意外と出てこない。
・事象の独立
まずは事象が独立であるとは何なのかを考えてみよう。
(定義) 事象 \(A, B\) が独立 \(\stackrel{\mathrm{def}}{\Leftrightarrow} P(A\cap B)=P(A)P(B)\)
これは、書き換えると \(\frac{P(A\cap B)}{P(B)}=P(A)\)となる。左辺は「事象\(B\)が起きた時に事象\(A\)が起こる条件付確率」であるけれども、これが右辺の「事象 \(B\) の発生の如何に関わらず事象 \(A\) が起こる確率」と等しい、つまり「事象 \(B\) が事象 \(A\) に何の影響も及ぼさない」というのが、事象が独立であることの定義である。
・確率変数の独立
さて、先の事象の独立の定義において、事象 \(A, B\) を、「(連続な)確率変数 \(X, Y\) がある値 \(x, y\) をとること」とおいてみよう。そうすると、
確率変数 \(X, Y\) が独立 \(\stackrel{\mathrm{def}}{\Leftrightarrow} P(X=x\cap Y=y)=P(X=x)P(Y=y)\)
となる。確率密度関数を使って書けば、
$$f(x,y)=f_X(x)f_Y(y)$$
である。ただし、\(f_X(x)\)は確率変数 \(Y\) の値にかかわらず確率変数 \(X\) が値 \(x\) をとる確率を与える確率密度関数 (周辺確率密度関数) である。数式にすれば
$$f_X(x)=\int_{-\infty}^{\infty} f(x,y)\mathrm dy$$となる。
・問題
「互いに独立な確率変数 \(X, Y, Z\) があるとき、\(X+Y\)と\(Z\)が独立であることを示せ。」という問題を考える。
確率変数 \(X, Y, Z\)が互いに独立ということは、
$$f_X(x)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f(x,y,z)\mathrm dy\mathrm dz$$
(\(f_Y, f_Z\) も同様)として、同時確率密度関数 \(f\) が
$$f(x,y,z)=f_X(x)f_Y(y)f_Z(z)$$
と書けるということである。ここで、\(S=X+Y,\ T=X-Y\)とおき、ある関数 \(g\), \(g_{ST}\) と定数 \(k\) に関して
$$\begin{eqnarray}f(x,y,z)&=&kg(s,t,z)\quad\cdots(1)\\
f_X(x)f_Y(y)&=&kg_{ST}(s,t)\quad\cdots(2)\end{eqnarray}$$
が成り立つとすると、\(g(s,t,z)\) が確率密度関数であるためには、
$$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(s,t,z)\mathrm ds\mathrm dt\mathrm dz =1$$
でなくてはならない。変数変換をすると、
$$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(s,t,z)\mathrm ds\mathrm dt\mathrm dz = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\frac1kf(x,y,z)|J|\mathrm dx\mathrm dy\mathrm dz$$
ここで、\(J\)はヤコビアンであり、
$$\begin{eqnarray} J &=& \frac{\partial(s,t,z)}{\partial(x,y,z)}\\
&=& \mathrm{det} \left[\begin{array}{rrr}\frac{\partial s}{\partial x} &\frac{\partial s}{\partial y} &\frac{\partial s}{\partial z} \\
\frac{\partial t}{\partial x} &\frac{\partial t}{\partial y} &\frac{\partial t}{\partial z} &\\
\frac{\partial z }{\partial x} &\frac{\partial z}{\partial y} &\frac{\partial z }{\partial z} \end{array}\right]\\
&=& \mathrm{det} \left[\begin{array}{rrr}1&1&0\\1&-1&0\\0&0&1\end{array}\right]\\
&=& -2\end{eqnarray}$$
であるから、\(k=2\) である。
\(g_{ST}\) について同様に計算すると、$$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g_{ST}(s,t)\mathrm ds\mathrm dt = 1$$
となることが確認できるから、\(g_{ST}\)は確率密度関数である。
さて、(1)および(2)式から、\(g(s,t,z)=g_{ST}(s,t)f_Z(z)\)であることは容易にわかるから、あとは \(g_{ST}, f_Z\) が、\(g\)の周辺確率密度関数であることを示せばよい。これは単純で
$$\begin{eqnarray}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(s,t,z)\mathrm ds\mathrm dt &=& f_Z(z)\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g_{ST}(s,t)\mathrm ds\mathrm dt\\
&=&f_Z(z)\end{eqnarray}$$および$$\begin{eqnarray}\int_{-\infty}^{\infty}g(s,t,z)\mathrm dz &=& g_{ST}(s,t)\int_{-\infty}^{\infty}f_Z(z)\mathrm dz\\
&=&g_{ST}(s,t)\end{eqnarray}$$から明らかである。
よって、\(S\)と\(Z\)は独立である。ついでに\(T\)と\(Z\)も独立であることが示せた。
数学的にはガバガバかもしれない。誤りがあれば指摘をいただけると助かります。