GLMM(一般化線形混合モデル)の解説

GLMM(一般線形混合モデル)についての解説をします。あまり聞かない単語ではありますが、ベイズモデルを使わない人にとっては有用かもしれません。ベイズモデルでいう所の隠れ変数を導入した回帰モデルの事をGLMM(一般線形混合モデル)と呼びます。

参考文献が一応あります。¹

Bitly

Bitly

GLMMとは
1. GLMとは
2. GLMM
まとめ

GLMMとは

GLMMについての説明をします。一言で言うと、GLMMは隠れ変数を用いたGLMです。GLMの説明から始めます。

GLMとは

GLMとは、線形回帰$y=ax$をやめて、yが確率分布に従うとしたモデルです。²
つまり、特徴量Xから確率変数$q(w\cdot x ) $³を作り、$ y \sim p(q|w,x ) $というモデルを考えます。その後、$w $を最尤推定で求め、$ y $が従う確率分布を決定する事で予測を行います。
利点としては、線形回帰を考えると、yは連続的な値を取りますが、例えばベルヌーイ分布に従うとすることで、離散的な値を取るようにすることが出来ます。
2値分類のモデルでよく使われるモデルは以下のようなものです。
$$\begin{eqnarray}
y &\sim & { \rm Bern } (q(w) ) \\
q(w) &=& \frac{1}{1 + \exp(-w \cdot x ) }
\end{eqnarray}$$
これは、ロジスティック回帰と呼ばれるモデルです。

GLMM

GLMを実務に使う事を考えましょう。自分が良く関わる分野のデータを貰い、何か値を予測してくれと頼まれたと仮定します。
データを眺めてみると、重要と思われる特徴量が抜けている事に気付いてしまいました。データを取り直す事は出来ないので、何か工夫をする必要があります。
そこで、GLMと同じ条件の下で、必要な特徴量$\gamma $を、隠れ変数という形でモデルに組み込むことを考えます。⁴
$$\begin{eqnarray}
y_i \sim p(y_i |w\cdot x_i ,\gamma _i ,) \\
\gamma _i \sim p(\gamma _i | s )
\end{eqnarray}$$
基本的に回帰分析なので、パラメーター$ \gamma $がデータ毎に決まってしまうと別のデータの予測に使う事が出来ません。こういう時は、パラメーター$\gamma $は積分で消してしまうようです。つまり、尤度を考える時は、以下の量を考えます。
$$\begin{eqnarray}
L_i = \int p(y_i |w,\gamma _i ,x_i ) p(\gamma _i |s) d\gamma _i
\end{eqnarray}$$
この尤度を使い、最尤法からパラメーター$s , w $を求めるのが、GLMMです。手順を以下に示します。