カイ二乗分布が自然に理解できる記事

機械学習を先に学んでしまうと、カイ二乗分布が良く出てくる理由が分からないかもしれません。そこで、機械学習(ベイズ統計)では良く使うガンマ分布の一つとして定式化しておいて、カイ二乗分布の大事さ、特に標準正規分布との関係を見ていきます。
参考文献は一応2冊あります。

統計学入門 (基礎統計学Ⅰ) | 東京大学教養学部統計学教室 |本 | 通販 | Amazon

Amazonで東京大学教養学部統計学教室の統計学入門 (基礎統計学Ⅰ)。アマゾンならポイント還元本が多数。東京大学教養学部統計学教室作品ほか、お急ぎ便対象商品は当日お届けも可能。また統計学入門 (基礎統計学Ⅰ)もアマゾン配送商品なら通常配送無料。

amzn.to

https://amzn.to/2WjGIbY

amzn.to

モーメント母関数と特性関数

初めに、話をスムーズにするためにモーメント母関数と特性関数を定義しておきます。
Xが確率変数で、どの確率分布を考えているか明らかな時、$X$の期待値を$E[X]$で表します。モーメント母関数とは、次の量を指します。
$$\begin{array}{r}{M}_X(t)=E[\exp (Xt)]\end{array}$$
モーメント母関数の名前の由来は、モーメント母関数から全ての次数のモーメントが得られる事から来ています。¹
例えば、正規分布$\mathcal{N}(\mu ,{\sigma }^2)$のモーメント母関数は、
$$\begin{array}{r}{M}_X(t)=\exp (\mu t+{\sigma }^2{t}^2/2)\end{array}$$
です。一般に、モーメント母関数は存在するとは限りませんが、以下で定義する、特性関数はいつも存在します。
$$\begin{array}{r}{\varphi }_X(t)=E[\exp (iXt)]\end{array}$$
フーリエ変換、逆変換の関係から、特性関数と確率分布は1対1に対応します。また、存在すれば、特性関数とモーメント母関数の間には以下の関係があるので、モーメント母関数からも確率分布は確定します。
$$\begin{array}{r}{\varphi }_X(t)=M_X(it)\end{array}$$
このことから、確率分布の性質を議論する上で、楽が出来る事があります。例えば、正規分布では
$$\begin{array}{r}\mathcal{N}({\mu }_1,{\sigma }_1^2)+\mathcal{N}({\mu }_2,{\sigma }_2^2)=\mathcal{N}({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)\end{array}$$
が成り立ちますが、モーメント母関数を使うと楽になります。
独立な確率変数を$X\sim \mathcal{N}({\mu }_1,{\sigma }_1^2),Y\sim \mathcal{N}({\mu }_2,{\sigma }_2^2)$として、
$Z=X+Y\sim \mathcal{N}({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$が成り立つ事を確かめます。
$$\begin{array}{rcl}{M}_Z(t)& =& E[\exp (Zt)]\\ & =& E[\exp (Xt)]E[\exp (Yt)]\\ & =& \exp ({\mu }_{1}t+{\sigma }_1^2{t}^2/2)\exp ({\mu }_{2}t+{\sigma }_2^2{t}^2/2)\\ & =& \exp (({\mu }_1+{\mu }_2)t+({\sigma }_1^2+{\sigma }_2^2)t^2/2)\end{array}$$
これは、正規分布 $\mathcal{N}({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$ のモーメント母関数です。

ガンマ分布とカイ二乗分布

ガンマ分布とカイ二乗分布について簡単な性質を計算してみます。ガンマ分布は、以下のような分布でした。色々な計算をまとめた記事があるので、計算はそちらを見てください。
$$\begin{array}{r}\mathrm{G}\mathrm{a}\mathrm{m}(x|\alpha ,\beta )=\frac{1}{\mathrm{\Gamma }(\alpha )}\frac{1}{\beta }{\left(\frac{x}{\beta }\right)}^{\alpha -1}{e}^{-x/\beta }\end{array}$$

ガンマ分布のモーメントと母関数や、期待値、分散を書いておきます。
$$\begin{array}{rcl}{M}_x(t)& =& (1-\beta t{)}^{-\alpha }\\ E[X]& =& \alpha \beta \\ Var[X]& =& \alpha {\beta }^2\end{array}$$
モーメント母関数の形から分かるように、独立なガンマ分布にも、ある種の再生性があります。
$$\begin{array}{r}\mathrm{G}\mathrm{a}\mathrm{m}({\alpha }_1,\beta )+\mathrm{G}\mathrm{a}\mathrm{m}({\alpha }_2,\beta )=\mathrm{G}\mathrm{a}\mathrm{m}({\alpha }_1+{\alpha }_2,\beta )\end{array}$$
一応計算しておきましょう。$X\sim \mathrm{G}\mathrm{a}\mathrm{m}({\alpha }_1,\beta ),Y\sim \mathrm{G}\mathrm{a}\mathrm{m}({\alpha }_2,\beta )$で、XとYは独立とします。
$$\begin{array}{rcl}E[\exp ((X+Y)t)]& =& E[\exp (Xt)]E[\exp (Yt)]\\ & =& (1-\beta t{)}^{-{\alpha }_1}(1-\beta t{)}^{-{\alpha }_2}\\ & =& (1-\beta t{)}^{-({\alpha }_1+{\alpha }_2)}\end{array}$$
最後の式は、
$\mathrm{G}\mathrm{a}\mathrm{m}({\alpha }_1+{\alpha }_2,\beta )$のモーメント母関数なので、欲しい結論が得られました。

ガンマ分布の特別な場合をカイ二乗分布と呼びます。

カイ二乗分布の確率分布や、モーメント母関数などを表すと、以下のようになります。
$$\begin{array}{rcl}{\chi }_n^2 & =& \frac{1}{\mathrm{\Gamma }(n/2)}\frac{1}{2}{\left(\frac{x}{2}\right)}^{n/2-1}{e}^{-x/2}\\ M_x(t)& =& (1-2t{)}^{-n/2}\\ E[X]& =& n\\ Var[X]& =& 2n\end{array}$$
ガンマ分布なので、カイ二乗分布の間でも再生性があります。
$$\begin{array}{r}{\chi }_n^2+{\chi }_m^2={\chi }_{n+m}^2\end{array}$$
わざわざ名前が付いている分布なので、大事な分布なのですが、そのことを見ていきます。

標準正規分布とカイ二乗分布

カイ二乗分布が登場するシチュエーションを見てみます。

標準正規分布があれば、カイ二乗分布があるのです。一応計算しておきます。
モーメント母関数を計算して、${\chi }_1^2$が出てくることを確かめます。
$$\begin{array}{rcl}{M}_{Z^2}(t)& =& E[e^{z^{2}t}]\\ & =& \frac{1}{\sqrt{2\pi }}\int dz{e}^{z^{2}t}{e}^{-z^2/2}dz\\ & =& \frac{1}{\sqrt{2\pi }}\int dz\exp (-\frac{1-2t}{2}{z}^2)dz\\ & =& \frac{1}{\sqrt{2\pi }}\frac{1}{\sqrt{1-2t}}\int dz\exp (\frac{-x^2}{2})dx\\ & =& (1-2t{)}^{-1/2}\end{array}$$
途中で、$x=(1-2t)z$と変数変換しました。
最後の式は${\chi }_1^2$のモーメント母関数なので、$Z^2$が自由度1のカイ二乗分布に従う事が分かりました。
上の主張と、自由度の足し算が出来るということから、次の事が分かります。

実際に標準正規分布からのサンプルを二乗して足したものをヒストグラムに描いてみると、カイ二乗分布とほぼ一致することが確かめられます。

np.random.seed(0)
z=np.zeros([10,100])
for i in range(10):
    z[i]=np.random.randn(100)
chi_ = np.sum(z**2, axis=0)

chi = np.random.chisquare(10,100)

sns.distplot(chi_,label="10個の標準正規分布から")
sns.distplot(chi,label="自由度10カイ二乗分布から")
plt.title("分布の比較")
plt.legend()
plt.savefig("chi_from_norms.png")

さらに大事な事として、正規分布からサンプリングして、不偏分散を考えるとカイ二乗分布が出てくるという話があります。

不偏分散とカイ二乗分布

上の主張のキモは、自由度がnでなくて、n-1 になるという事です。
$\sum _{i=1}^n(Z_i-\overline{Z}{)}^2=\sum Z_i^2-n{\overline{Z}}^2$であり、$Z_i,\sqrt{n}\overline{Z}$は標準正規分布に従いますが、$n{\overline{Z}}^2$が$Z_i^2$達の自由度を奪っています。これは証明が面倒なので、大体の流れだけを書いておきます。
正確な証明は、参考文献を読んでください。

実際に、統計量
$$\begin{array}{r}(n-1)Var(X)/{\sigma }^2\end{array}$$
を作ってヒストグラムにしてみると、カイ二乗分布とほぼ一致することが確認できます。

#データの準備 10種類の正規分布から100組のデータを集める
sample=10
size=100
sig=2
mu=1
x=np.zeros((size,sample))
for i in range(sample):
    np.random.seed(i)  
    x[:,i]=np.random.normal(loc=mu,scale=sig,size=size)
#統計量の計算とカイ二乗分布の準備
chi_=[]
for j in range(size):
    v=np.sum( (x[j,:] - np.mean(x[j,:]))**2)/(sample-1)
    V = (sample-1)*v/sig**2
    chi_.append(V)

chi = np.random.chisquare(9,100)
#グラフを描く
sns.distplot(chi_,label="10個の正規分布から")
sns.distplot(chi,label="自由度9カイ二乗分布から")
plt.title("分布の比較")
plt.legend()
plt.savefig("chi_from_norms2.png")

このような背景があるので、色々な場所でカイ二乗分布が出てくるわけです。
しかし、いきなり正規分布が得られている事は少ないので、近似的に正規分布が得られて、その結果カイ二乗分布が出てくる、という状況の方が多いかもしれません。
そのような状況の記事は別に書きたいと思います。

多変量正規分布とカイ二乗分布

標準正規分布に従う確率変数$X_1,\cdots ,X_n\sim \mathcal{N}(0,1)$があるとき、自由度nのカイ二乗分布が出て来ました。
$$\begin{array}{r}\sum _{i=1}^n{X}_i^n\sim {\chi }_n^2\end{array}$$
これらを、確率変数からなるベクトルだと思うと、以下のように書き直すことが出来ます。
$$\begin{array}{rcl}X& =& (X_1,\cdots ,X_n)\\ X^{T}X& =& \sum _{i=1}^n{X}_i^n\sim {\chi }_n^2\end{array}$$
多変量正規分布の話では、確率変数ベクトルの成分の共分散が0なら、成分は独立です。
つまり、$X\sim \mathcal{N}(0,I_n)$なら、
$$\begin{array}{rcl}{X}_i& \sim & \mathcal{N}(0,1)\\ X^{T}X& =& \sum _{i=1}^n{X}_i^2\sim {\chi }_n^2\end{array}$$
という事です。
一変数の場合のように、標準多変量正規分布からカイ二乗分布が出て来ます。

これを証明するには、以下の事実を使います。⁵
$$\begin{array}{rcl}X& \sim & \mathcal{N}(\mu ,\mathrm{\Sigma })\\ AX+b& \sim & \mathcal{N}(A\mu +b,A\mathrm{\Sigma }{A}^T)\end{array}$$
上の事実を認めると、
$$\begin{array}{rcl}X-\mu & \sim & \mathcal{N}(0,\mathrm{\Sigma })\end{array}$$
です。なので、$X\sim \mathcal{N}(0,\mathrm{\Sigma })$ に対して、
$$\begin{array}{rcl}A\mathrm{\Sigma }{A}^T& =& I\\ X^T{A}^{T}AX& =& X^T{\mathrm{\Sigma }}^{-1}X\end{array}$$
となるような$A$が存在する事を示せば、$AX\sim \mathcal{N}(0,A\mathrm{\Sigma }{A}^T)=\mathcal{N}(0,I)$となり、主張が示せます。
正規分布に使われる共分散行列が、正定値かつ対称としましょう。⁶
そうすると、$\mathrm{\Sigma }$は直交行列で対角化できます。
$$\begin{array}{rcl}H\mathrm{\Sigma }{H}^T& =& \mathrm{\Lambda }\\ H^{T}H& =& I\end{array}$$
ただし、$\mathrm{\Lambda }=diag[{\lambda }_1,\cdots ,{\lambda }_n$は固有値が対角に並んだ行列です。${\mathrm{\Lambda }}_{\ast }=diag[1/\sqrt{{\lambda }_1},\cdots ,1/\sqrt{{\lambda }_n}]$とおいて、$A=H{\mathrm{\Lambda }}_{\ast }$としましょう。
$$\begin{array}{r}A\mathrm{\Sigma }{A}^T={\mathrm{\Lambda }}_{\ast }^2\mathrm{\Lambda }=I\end{array}$$
であり、$\mathrm{\Sigma }=H^T\mathrm{\Lambda }H$なので、$A^{T}A={\mathrm{\Sigma }}^{-1}$が分かります。この事から
$$\begin{array}{rcl}{X}^T{A}^{T}AX& =& X^T{\mathrm{\Sigma }}^{-1}X\end{array}$$
となります。これで、主張が示せました。
python で主張を確かめてみます。

#データの生成
np.random.seed(2)
sig=np.random.randint(1,10,5)
Sigma = np.dot(sig.reshape(-1,1), sig.reshape(1,-1)) + 1*np.eye(5)
mu =np.ones(5)
y=np.random.multivariate_normal(mean=mu ,cov=Sigma, size=100)
#
Y=np.array([])
for i in range(len(y)):
    chi_ = (y-mu)[i].reshape(-1,5)@ np.linalg.inv(Sigma)@(y-mu)[i].reshape(5,-1)
    Y=np.append(Y,chi_ )

chi = np.random.chisquare(5,100)
#グラフを描く
sns.distplot(Y,label="5次元正規分布から")
sns.distplot(chi,label="自由度5カイ二乗分布から")
plt.title("分布の比較")
plt.legend()
plt.savefig("chi_from_norm.png")

上の主張
$$\begin{array}{r}(X-\mu {)}^T{\mathrm{\Sigma }}^{-1}(X-\mu )\sim {\chi }_n^2\end{array}$$
は、変量正規分布を標準化するとカイ二乗分布が出てくるという意味ですが、一方で正規分布の肩に載っている量がカイ二乗分布になるという事でもあります。
$(X-\mu {)}^T{\mathrm{\Sigma }}^{-1}(X-\mu )$は、$X$が正規分布$\mathcal{N}(\mu ,\mathrm{\Sigma })$からの距離と捉える事も出来ます。⁷
この量を使って、異常検知のシステムを作る事が出来ます。
このことは別の記事で解説します。

まとめ

• 計算するためにモーメント母関数などを定義した
• ガンマ分布の一つとしてカイ二乗分布を定義した
• 標準正規分布からカイ二乗分布を作った
• 分散からカイ二乗分布を作った
• 多変量正規分布からカイ二乗分布を作った。

1. $E[X],E[X^2],\cdots ,$を、1次,2次$,\cdots$のモーメントと呼びますが、モーメント母関数を$X=0$ でn階微分すれば、n次モーメントが得られます。
2. $(n-1)Var(X)/{\sigma }^2\sim {\chi }_{n-1}^2$という事です。
3. Z=HY かつ、$H^{T}H=I$となるHを作ります。Helmert 行列というらしいです。
4. nは、ベクトルの成分の数です。
5. 多変量正規分布の記事で証明してます。
6. 正定値は、全ての固有値が0より大きいという事です。
7. マハラノビス距離と呼ばれます。