F分布の定義や使い方の疑問に答えます

カイ二乗分布、t分布の解説記事を書いたので、次はF分布です。
カイ二乗分布や、t分布は一つの正規分布から作る事が出来ますが、F分布は一つの正規分布から作っても意味のあるものは出来ません。
その辺りの話も含めて、詳しく解説します。
参考文献が一応あります。東大出版会の例の本よりはお勧めです。

Bitly

カイ二乗分布とt分布
F分布とは
F分布とt分布
F分布の使い道
おまけ[F分布とベータ分布]
まとめ

カイ二乗分布とt分布

F分布を定義するのに、カイ二乗分布が必要です。
詳しい解説は記事があるので読んでみてください。

カイ二乗分布が自然に理解できる記事

カイ二乗分布についての解説記事です。ガンマ分布の一つとして定式化し、標準正規分布や、そ分散からカイ二乗分布が出てくることを計算付きで解説します。

ついでにt分布も知っているとF分布に親しみやすくなります。

カイ二乗分布とt分布の関係が理解できる記事

正規分布からカイ二乗分布が出てきて、標準正規分布の近似としてt分布が出現する事を計算付きで解説します。t分布の導出にカイ二乗分布(ガンマ分布)が使われる事も解説し、t分布が標準正規分布の近似になっている事を示します。最後にt検定の原理を解説します。

必要な結果だけ書いておきます。
カイ二乗分布は、ガンマ分布の特別な場合です。
$$\begin{eqnarray}
\chi _{n}^2 &=& {\rm Gam}(n/2 , 2 ) \\
{ \rm Gam } (x| \alpha , \beta ) &=& \frac{1}{\Gamma (\alpha )} \frac{1}{\beta} \left( \frac{x}{\beta} \right)^{\alpha -1 } e^{-x/ \beta }
\end{eqnarray}$$
また、標準正規分布に従う独立な確率変数からも得られます。
$$\begin{eqnarray}
Z_1 , \cdots , Z_n &\sim & \mathcal{N} (0,1 ) \\
Z^2&\sim& \chi _{1} ^2 \\
Z_1 ^2 + \cdots + Z_n ^2 &\sim &\chi _{n-1} ^2
\end{eqnarray}$$
正規分布は、標準正規分布に従うように変数変換できたことを思い出すと、正規分布があれば、カイ二乗分布が出て来ます。
$$\begin{eqnarray}
X_1 , \cdots , X_n &\sim & \mathcal{N} (\mu,\sigma ^2 ) \\
Z=(X-\mu)/\sigma &\sim& \mathcal{N} (0,1 ) \\
Z’ =( \sqrt{n} \bar{X} -\mu ) /\sigma &\sim& \mathcal{N} (0,1 )
\end{eqnarray}$$
また、カイ二乗分布を作るには標準正規分布が必要ですが、現実のデータは、正規分布っぽくなっていても、平均=0,分散=1となる事はほぼほぼありません。
標準正規分布を作るために、正確な平均と分散が必要ですが、現実のデータでは推定値を使うしかありません。分散を不偏分散で代用して標準正規分布を作ると、t分布が出て来ます。
$$\begin{eqnarray}
X_1 , \cdots , X_n &\sim & \mathcal{N} (\mu,\sigma ^2 ) \\
V^2 &=& \sum (X_i – \bar{X} )^2 \\
U&=&(n-1)\frac{V^2}{\sigma} \sim \chi _{n-1} ^2 \\
Z&=& \frac{ \sqrt{n} \bar{X} -\mu }{\sigma} \sim \mathcal{N}(0,1) \\
T &=& ( \sqrt{n} \bar{X} -\mu ) /V \\
&=& Z / \sqrt{ U(n-1) } \sim t_{n-1}
\end{eqnarray}$$

F分布とは

F分布は、二つの正規分布の分散の差を比べる為に使います。
単純に2つのデータを比べるという意味でも使いますが、特に大事なのは、回帰分析や分散分析で得られた回帰係数に意味があるか判断することです。
回帰分析や分散分析の記事はこちらをどうぞ。

回帰分析が分散分析を再現する話

大量の平均値を比べるには、t検定は危険をはらみます。平均値を比べて因子の効果を説明する手法として、変動の分解を元にした分散分析という手法があります。実は、回帰分析の特別な場合として捉える事を、分散分析と回帰分析と一緒に説明します。

分散分析の原理と計算方法

有用な統計手法の一つに、分散分析があります。例えば、適切な実験計画に基づいて実験をした時の結果の解析や、日々蓄積しているデータの変化点の分析などに使う事が出来ます。

使い方を話したところで、F分布の定義をします。

確率分布の表式を求めましょう。t分布の時と同様に、力づくで求まります。
$S,T $は独立なので、同時確率分布は以下のようになります。
$$\begin{eqnarray}
f(s,t) =\frac{1}{\Gamma (m/2 ) 2^{m/2} } s^{m/2 -1} e^{-s/2} \frac{1}{\Gamma (n/2 ) 2^{n/2} } s^{n/2 -1} e^{-t/2}
\end{eqnarray}$$
$Z=S/T , W=T$と置くことで変数変換します。¹
初めに、ヤコビアンを求めましょう。$ S=WZ, T=W $から、
$$\begin{eqnarray}
dt ds &=&\det
\left( \begin{array}{cc}
\frac{\partial s}{\partial z} & \frac{\partial s}{\partial w} \\
\frac{\partial t}{\partial z}& \frac{\partial t}{\partial w} \\
\end{array} \right)
dz dw \\
&=&
\det
\left( \begin{array}{cc}
w& z)\\
0 & 1\\
\end{array} \right)
dz dw \\
&=& w dz dw
\end{eqnarray}$$
となります。これを用いて、$f(s,t) $を書き換えると、
$$\begin{eqnarray}
f(s,t) =\frac{1}{\Gamma (m/2 ) \Gamma (n/2) 2^{(m+n)/2} } z^{m/2 -1} w^{(m+n)/2 -1 } e^{-(1+z)w/2}
\end{eqnarray}$$
これを$w $で積分して、$f(z) $を求めます。
$$\begin{eqnarray}
I(z) = \int_{0}^{\infty} w^{(m+n)/2 -1 } e^{-(1+z)w/2} dw
\end{eqnarray}$$
何となくガンマ関数に似ています。
$$\begin{eqnarray}
\Gamma (t) = \int_{0}^{\infty}y^{-t}e^{-y} dy
\end{eqnarray}$$
変数変換$x= (1+z)w/2 $して計算を進めます。
$$\begin{eqnarray}
I(z) &=& \left( \frac{2}{1+z} \right) ^{(m+n)/2} \int_{0}^{\infty} x^{(m+n)/2 -1 } e^{-x} dx \\
&=& \left( \frac{2}{1+z} \right) ^{ (m+n)/2} \Gamma ((m+n)/2 )
\end{eqnarray}$$
これを用いて、
$$\begin{eqnarray}
f(z) =\frac{\Gamma ((m+n)/2 )}{\Gamma (m/2 ) \Gamma (n/2)} \frac{z^{m/2 -1 }}{(1+z)^{(m+n)/2}}
\end{eqnarray}$$
最後に、$Y=(n/m)Z $と置けば、$\frac{dz}{dy} =m/n $なので、
$$\begin{eqnarray}
F_{m,n} =f(y) =\frac{\Gamma ((m+n)/2 )}{\Gamma (m/2 )\Gamma (n/2)} \frac{(m/n)^{m/2} y^{m/2 -1 }}{(1+(m/n)y )^{(m+n)/2}}
\end{eqnarray}$$

もう一度F分布の定義を書いておきます。

[F分布]
S,T を独立な、自由度m,n のカイ二乗分布に従う確率変数とする。
$$\begin{eqnarray}
S &\sim &\chi _{m} ^2 \\
T &\sim &\chi _{n} ^2
\end{eqnarray}$$
このとき、次の確率変数が従う分布を自由度m,n のF分布と呼び、$ F_{m,n} $で表す。
$$\begin{eqnarray}
\frac{S/m}{T/n} \sim F_{m,n}
\end{eqnarray}$$
$F_{m,n} $の表式は以下のようになる。
$$\begin{eqnarray}
F_{m,n} =f(y) =\frac{\Gamma ((m+n)/2 )}{\Gamma (m/2 )\Gamma (n/2)} \frac{(m/n)^{m/2} y^{m/2 -1 }}{(1+(m/n)y )^{(m+n)/2}}
\end{eqnarray}$$

自由度を適当に変えてF分布のグラフを描いてみます。

$F_{m,n} $と$F_{n,m} $には一応関係があります。定義から直ちに以下の事が言えます。

$X \sim F_{m,n} $ならば、 $ 1/X \sim F_{n,m} $

F分布とt分布

t分布とF分布には関係があります。t分布が標準正規分布に従う確率変数$Z $と、自由度mのカイ二乗分布に従う確率変数$U $から作られたこと、$Z^2 \sim \chi _1 ^2 $となる事を思い出すと、
$$\begin{eqnarray}
T^2 = Z^2 / (U/m) \sim \chi _1 ^2 /\chi _m ^2 =F_{1,m}
\end{eqnarray}$$
が成り立ちます。この意味で、t統計量とF統計量は同じものと言う人もいます。
また、$ t_m = F_{1,m } $という意味で、F分布はt分布の一般化になっています。

F分布の使い道

F分布は、2つの正規分布の分散を比べるのによく使われます。(等分散性の検定)
詳しい使い方は回帰分析や、分散分析の記事で解説しているので、問題設定と使い方だけ書いておきます。

[F検定で扱う問題]

$X_1 , \cdots , X_m \sim \mathcal{N} (\mu _1,\sigma _1 ^2 ), Y_1 , \cdots ,Y_n \sim \mathcal{N} (\mu _2 , \sigma _2 ^2 ) $がある時、$ \sigma _1 = \sigma _2 $か？

それぞれの分散の推定値は以下の通りです。
$$\begin{eqnarray}
\hat{\sigma _1 }^2 &=& \sum \frac{( X_i – \bar{X} )^2}{m-1} \\
\hat{\sigma _2 }^2 &=& \sum \frac{( Y_i – \bar{Y} )^2}{n-1}
\end{eqnarray}$$
仮に、$ \sigma _1 = \sigma _2 =\sigma $だとすると、
$$\begin{eqnarray}
\hat{\sigma _1 } ^2 / \hat{\sigma _2 }^2 = \frac{ \hat{\sigma _1 } ^2 / \sigma ^2}{ \hat{\sigma _2 }^2 / \sigma ^2} \sim \frac{ \chi _{m-1} ^2 /(m-1) }{\chi _{n-1} ^2 /(n-1) } \sim F_{m-1 , n-1}
\end{eqnarray}$$
となり、不偏分散の比がF分布に従います。²この時、有意水準$ \alpha $を決めて、仮説検定を実行することで、$ \sigma _1 = \sigma _2 $かを検定する事が出来ます。
F値の出し方的に、$ \sigma _1 \neq \sigma _2 $と結論付ければ、自動的に$ \sigma _1 > \sigma _2 $となります。³

おまけ[F分布とベータ分布]

F分布は、少し変数変換すると、ベータ分布として表す事が出来ます。この事を使って、平均や分散がそれなりに簡単に求まります。

S,T を独立な、自由度m,n のカイ二乗分布に従う確率変数とする。
$$\begin{eqnarray}
S &\sim &\chi _{m} ^2 \\
T &\sim &\chi _{n} ^2
\end{eqnarray}$$
$ Z=S/T , W=T $とし、$W=S/(S+T) = Z/(1+Z) $と置くと、⁴ $W $はベータ分布$ {\rm Beta } (m/2 , n/2 ) $に従う。
$$\begin{eqnarray}
W & \sim &{\rm Beta } (m/2 , n/2 ) \\
{\rm Beta }(x| m , n ) &=& \frac{1}{B(m,n)} x^{m-1} (1-x)^{n-1} \\
B(m,n) &=& \frac{\Gamma (m ) \Gamma (n)}{\Gamma (m+n) }
\end{eqnarray}$$

計算すれば分かるので、少し頑張ってみましょう。
$$\begin{eqnarray}
f(z) =\frac{\Gamma ((m+n)/2 )}{\Gamma (m/2 ) \Gamma (n/2)} \frac{z^{m/2 -1 }}{(1+z)^{(m+n)/2}}
\end{eqnarray}$$
を思い出すと、係数部分のベータ関数は既にあります。
$z=w/(1-w) , dz/dw = 1/(1-w)^2 $を代入しましょう。
$$\begin{eqnarray}
f(w) &=&\frac{\Gamma ((m+n)/2 )}{\Gamma (m/2 ) \Gamma (n/2)} w^{m/2 -1 } (1-w)^{n/2 -1} =
{\rm Beta }(w| m/2 , n/2 )
\end{eqnarray}$$
これでベータ分布が出てくることが分かりました。
次に $ y= (n/m)z $なので,
$$\begin{eqnarray}
y&=& \frac{ (n/m)w}{1-w} \\
f(y)dy &=& (n/m)f(w) dw
\end{eqnarray}$$
となります。この関係式を使うと、F分布の期待値たち(モーメント)は、以下のように計算出来ます。
$$\begin{eqnarray}
E[Y^l] = (n/m)^l \frac{ {\rm Beta }(m/2 +l , n/2-l )}{{\rm Beta }(m/2 , n/2 )}
\end{eqnarray}$$
もちろん、ベータ関数は、n,mの組み合わせ次第では発散しますが、今はあまり気にしないことにします。
ベータ関数達の計算が必要になりますが、計算はガンマ関数に関する公式を使います。
$$\begin{eqnarray}
\Gamma (a+1) = a \Gamma (a)
\end{eqnarray}$$
この公式を使うと、例えば
$$\begin{eqnarray}
\Gamma (m/2+1) / \Gamma(m/2) &=&m/2 \\
\Gamma (n/2 -1) / \Gamma(n/2) &=& \frac{1}{n/2 -1}
\end{eqnarray}$$
などと計算が出来ます。
これを踏まえて、F分布の平均値は、
$$\begin{eqnarray}
E[Y] &=& (n/m) \frac{ {\rm Beta }(w| m/2 +1 , n/2 -1 )}{{\rm Beta }(w| m/2 , n/2 )} \\
&=& (n/m ) \frac{m/2}{n/2 -1} \\
&=& \frac{n}{n-2}
\end{eqnarray}$$
同様にして、
$$\begin{eqnarray}
E[Y^2] &=& (n/m) \frac{ {\rm Beta }(w| m/2 +2 , n/2 -2 )}{{\rm Beta }(w| m/2 , n/2 )} \\
&=& (n/m)^2 \frac{(m+2)m}{(n-2)(n-4)}
\end{eqnarray}$$
が求まるので、分散は
$$\begin{eqnarray}
Var[Y]&=& E[Y^2] -(E[Y])^2
&=&\frac{2m^2 (m+n-2 )}{m (n-2)^2 (n-4)}
\end{eqnarray}$$
と求まります。

まとめ

カイ二乗分布やt分布の定義を復習した
F分布の定義をした
F分布の表式を求めた
F分布の使い方を解説した
F分布の平均値や分散を求めた

f(z) を求めて,w=(m/m)z と置けば、欲しい分布が得られます。
普通は、大きいと嬉しい方の分散を分子に持ってきます。
回帰分析だと、係数がもつ影響力を分散の言葉に変換し、分散が大きければ効果のある係数だと判断します。
Zを係数変換した, Y=(m/m)Zが F分布に従っていました。