基底と線形独立性の解説 | マサムネの部屋

線形空間を知るためには、線形空間の元がどんなものか調べる必要があります。線形空間には、必ず0がありますが、他にも存在が保証される特別な元の組があります。それが基底です。基底のイメージがわく例を見て、何が嬉しいか確認したのち、定義や例を紹介します。
線形空間の記事は以下をどうぞ。

線形空間(ベクトル空間)の解説

線形空間(ベクトル空間)についての解説記事です。線形代数が出来るうれしさを紹介した後、線形空間の定義、線形空間の例を紹介します。機械学習への応用についても少し触れています。

Why 基底 ?
線形従属と線形独立
基底の定義
基底の例
まとめ

Why 基底 ?

例えば、線形空間 $R$ ¹を考えましょう。 $R$ の元 $x \neq 0$ は、 $1$ を使って $\begin{array}{r} x = x \times 1 \end{array}$
と一意に書く事が出来ます。 $1$ でなくて、 $3$ を使っても、
$\begin{array}{r} x = \frac{x}{3} \times 3 \end{array}$
と一意に書く事ができます。 $R$ では、 $0$ 以外の元 $a$ を1つ固定すれば、どんな元でも
$\begin{array}{r} x = \frac{x}{a} \times a \end{array}$
と表示する事が出来ます。
しかし、 $R^{2}$ では同じことは起きません。
$v = (1, 1)$ だけでは、 $R^{2}$ の元を表す事は出来ません。例えば、 $x = (1, 2)$ は無理です。
一方、 $u = (1, 0), v = (1, 1)$ を考えれば、任意の $R^{2}$ の元を表す事が出来ます。例えば、
$\begin{array}{r} (1, 2) = - u + 2 v \end{array}$
と言った具合です。上の表し方は一通りしかないことに注意しましょう。ここで、 $w = (0, 1)$ も使うとどうなるでしょう。
$\begin{array}{r} (1, 2) = u + 2 w = - u + 2 v = v + w \end{array}$
などと、色々な表し方が可能になります。大量に元を取って来てしまうと、どんな元でも表せる一方で、色々な表し方が生まれてしまいます。
元の組で、任意の元を一通りの方法で表す事が出来る時、元の組を基底と呼びます。
$R^{2}$ の場合は、 ${u, v}, {u, w}, {v, w}$ などが基底で、 $R$ の場合は、 $0$ 以外の全ての1つの元が基底になります。大事なのは、基底と呼べる元の組は沢山ありますが、基底に使われる元の数は等しいという事です。
そして、ひとたび線形空間である事が分かれば、基底が存在するという事です。

線形従属と線形独立

基底の話をするには、線形従属と線形独立の定義をする必要があります。

$V$ を $K$ 線形空間とします。 $v_{1}, \dots, v_{n}$ が線形従属であるとは、
$\begin{array}{r} \sum a_{i} v_{i} = 0 \end{array}$
を満たす $a_{i} (\neq 0) \in K$ が存在することです。
線形従属でない時、 $v_{1}, \dots, v_{n}$ は線形独立であるといいます。

$K = R, V = R^{2}$ で今定義した概念の意味を考えてみましょう。
$v_{1} = (1, 0), v_{2} = (2, 0)$ とします。この時、 $a_{1} = 1, a_{2} = - 1 / 2$ とすれば
$\begin{array}{r} a_{1} v_{1} + a_{2} v_{2} = 0 \end{array}$
なので、 $v_{1}, v_{2}$ は線形従属です。 $R^{2}$ に $v_{1}, v_{2}$ をプロットしてみると、 $v_{1}, v_{2}$ は共にx軸上あります。 $< v_{1} >= {a v | a \in R}$ ²を考えてみると、これはx軸全体です。 $R v_{1}$ は、 $0 \in K$ から、 $v_{1}$ を伸ばせるだけ伸ばした直線とみなすことが出来ます。 $v_{1}$ が作る直線と、 $v_{2}$ が作る直線が一致するとき、 $v_{1}, v_{2}$ は一次従属であると言っています。

初めの章で登場した例 $u = (1, 0), v = (1, 1), w = (0, 1)$ を考えてみましょう。これらは線形従属である事が分かります。実際
$\begin{array}{r} u - v + w = 0 \end{array}$
だからです。一方で、 ${u, v}, {u, w}, {v, w}$ はそれぞれ線形独立です。 $u, v, w$ が線形従属である、というのは
$\begin{array}{r} w \in< u, v > \end{array}$
などが成り立つという事です。 $u$ や $v$ が張る平面に $w$ が含まれるとき、 $u, v, w$ は線形従属になります。
$v_{1}, \dots, v_{n}$ が線形従属である、とは $v_{i_{n}} \in< v_{i_{1}}, \dots, v_{i_{n - 1}} >$ ³となる組 $i_{1}, \dots, i_{n}$ があること、と言い換える事が出来ます。
その逆で、線形独立性は
任意の組 $i_{1}, \dots, i_{n}$ に対して、
$\begin{array}{r} v_{i_{n}} \notin< v_{i_{1}}, \dots, v_{i_{n - 1}} > \end{array}$
が成り立つ事、と言い換える事が出来ます。

基底の定義

$R^{2}$ の例を続けます。 $v_{1} = (1, 0)$ と $v_{2} = (0, 1)$ が張る線形空間
$\begin{array}{r} < v_{1}, v_{2} >= {a v_{1} + b v_{2} | a, b \in R} = R^{2} \end{array}$
となります。
線形独立な元が張る線形空間が、元の線形空間 $V$ に一致するとき、その元たちを基底と呼びます。また、基底に使われた元の個数を線形空間の次元と呼びます。線形空間には必ず基底が存在する事が知られています。
基底は1種類ではありません。 $R^{2}$ の例で考えると、 $w_{1} = (1, 1), w_{2} = (0, 1)$ も基底ですし、基底を定数倍しても基底です。しかし、線形空間の次元は変化しません。これを証明するのは大変なので、参考書を読んでください。⁴

線形空間の基底が有限個の時、有限次元線形空間と言い、有限個でない時無限次元線形空間と言います。この意味で、カーネルの空間は無限次元です。

カーネルの正体

カーネル法では、カーネルという魔法の道具と、カーネルトリックという技でモデルの表現力を劇的に上げる事が出来ます。しかし、カーネルとは一体何なのでしょうか。その疑問を正定値性、再生核ヒルベルト空間という概念で解決します

理解を深める為に、以下を考えてみてください

$R^{n}$ での線形独立と線形従属の意味を考えてください。
$R^{3}$ の基底を2種類考えてください。ただし、定数倍は同じ基底と思います。
$R^{3}$ において、線形独立だが、基底にならない元の組をの例を挙げてください。その時に、基底にするために必要な元も与えて、基底を完成させてください。
${v_{1}, \dots, v_{n}}$ が一次独立であることと、任意のiに対して、 $v_{i}$ と ${v_{1}, \dots, v_{i - 1}, v_{i + 1}, \dots, v_{n}}$ が一次独立であることは同値であることを示してください。

基底の例

[多項式全体の線形空間]
$P^{n} = {\sum_{0}^{n} a_{i} x^{i} | a_{i} \in R}$ をn次多項式全体からなる集合とします。
ただし、 $x^{0} = 1$ 。
$P^{n}$ で、 $f (x) = \sum a_{i} x^{i}, g (x) = \sum b_{i} x^{i}$ とする時、 $(f + g) (x) = \sum (a_{i} + b_{i}) x^{i}$ とすると、 $R$ 線形空間になります。
この線形空間の基底として、 ${1, x, x^{2}, \dots, x^{n}}$ が取れます。 $P^{n}$ はn+1次元線形空間です。

[関数からなる線形空間]
$[- π, π]$ 上の2乗可積分関数全体を $L^{2}$ で表します。
$\begin{array}{r} {1, \cos π t, \sin π t, \cos 2 π t, \sin 2 π t, \dots} \end{array}$
は基底になります。(フーリエ変換を思い出してください。)
関数全体からなる線形空間は無限次元線形空間の例でよく出てきます。滑らかな関数は、テイラー展開できるわけですが、一般には無限個の項が必要です。多項式の例と合わせて考えると、無限次元になることは納得できるでしょう。

[行列からなる線形空間]
n次正方行列全体 $M_{n} (R)$ は線形空間になります。基底として、以下のものが取れます。
$\begin{array}{r} {e_{i j}}_{i, j = 1, \dots, n} \end{array}$
ただし、 $e_{i j}$ は $(i, j)$ 成分だけが1でそれ以外は0の行列。
なので、正方行列全体の次元は $n^{2}$ です。

[双対空間]
$V$ を有限次元 $K$ 線形空間とします。
$\begin{array}{r} V^{*} = {f : V \to K | f は線形写像} \end{array}$
を $V$ の双対空間と言います。
$V$ の基底を $v_{1}, \dots, v_{n}$ とします。 $f_{v_{1}}, \dots, f_{v_{n}}$ を以下で定義すると、 $V^{*}$ の基底になります。
$\begin{array}{r} f_{v_{i}} (v_{j}) = δ_{i j} \end{array}$
ただし、 $δ_{i j}$ は $i = j$ の時1、それ以外は0を取る関数 ⁵ です。

数学で大事なのは双対空間とか関数の空間ですが、機械学習系だと $R^{n}$ が⁶大事です。

まとめ

基底の嬉しさを紹介した
線形空間における線形従属と線形独立の定義をした。
基底の定義をした。
基底の例を挙げた。

係数体は $R$ とします。
$v_{1}$ が張る線形空間と呼びます。
$< v_{i_{1}}, \dots, v_{i_{n - 1}} >= {\sum a_{j} v_{i_{j}} | a_{j} \in R}$
内積線形空間だと、簡単に基底が作れます。参考書(第2刷)の命題5.2.5を $< v >$ などに繰り返し適用すれば良いです。もっと具体的には、グラムシュミットの直交化法として知られています。
クロネッカーのデルタ関数と呼ばれます。
内積込みでヒルベルト空間として大事です。