Python R 勾配の更新に関する問題
シグモイド関数を活性化関数に使うと勾配消失問題が起こると巷で言われているので確かめてみます。勾配消失の解決策として、シグモイドでなくて、relu関数を使うと良いと言われますが、本当か検証します。
また、勾配爆発問題が起こる状況を再現し、解決策を解説します。
機械学習
Python R 機械学習 ニューラルネットワークの話
本当にお話程度の事しか書かないとは思いませんでした。おすすめの本のリンクを貼っておきます。
マサムネも読んでいる定番です。数学の人には細部が書いてなかったり当たり前の事を長々と書いていたりで物足りないかもしれませ...
機械学習 誤差逆伝搬法
誤差逆伝搬法の解説記事です。連鎖律と微分の定義を知ってれば当たり前だね～と納得できます。知らなくても何とかなります。
機械学習 計算グラフと関数の合成
機械学習を勉強する上で、計算グラフの概念を知っているとモデルの理解が楽になります。多クラス分類の問題を例に、微分の計算練習をしながら計算グラフを理解しましょう。
機械学習 微分と勾配
機械学習では誤差関数の勾配を頼りに最適なパラメーターを探します。その時にしている偏微分の計算の仕方と勾配のイメージを解説します。