理論的な話は置いておいて、どんな事が出来るのかを淡々と綴っていくシリーズです。
ロジスティック回帰の理論的な話については、記事がいくつかあります。
ロジスティック回帰の概要
離散的な量y1 と、それと関係がありそうな量\( x = (x_1 , \cdots , x_m ) \)2 があるとき、ロジスティック回帰が使われます。
ロジスティック回帰分析では、m列(行)ベクトル\(w \)を使って、各データの成分\(x_i \)に対して
\begin{eqnarray}
t_i = \frac{ exp(-w \cdot x_i )}{\sum_{i=1}^{m} exp(-w \cdot x_i )}
\end{eqnarray}
を計算し、最も値の大きい\(i \)を予測値とします。
例を出しておきます。
yが男、女しか値を取らない時は、例えば 男→1, 女→2と読み替えて、\(t_1 , t_2 \)を計算します。
\(t_1 = 0. ,t_2 = 0.7 \)と計算されれば、予測値は2→女となります 。
問題となるのは、wはどうやって求めるかということや、\(t_i \)の意味ですが、それらについては最初に挙げた記事に書いてるので興味のある人は読んでください。
ロジスティック回帰の精度指標
ロジスティック回帰の精度指標は、クロスエントロピー3が良く使われます。この指標は、0に近ければ近い程精度が良い事を示します。
ロジスティック回帰の補足
ロジスティック回帰には、色々種類があります。この記事で取り上げている式は、
\begin{eqnarray}
t_i = \frac{ exp(-w \cdot x_i )}{\sum_{i=1}^{m} exp(-w \cdot x_i )}
\end{eqnarray}
というものです。この式は、見方を変えると、
\begin{eqnarray}
t_i =F(w\cdot x_i )
\end{eqnarray}
と見る事が出来ます。今書いた式の、Fを適当な確率分布に変える事で、ロジスティック回帰と同じような手法を作る事が出来ます。
何としてもロジスティック回帰のようなものを使いたい場合は、プロビットモデル、などとググると色々情報が出て来ます。