勾配消失問題

機械学習

2019年のまとめ

2019年のまとめと、来年の抱負記事です。今年最も読まれた記事や、もっと読まれても良い記事を残してます。
Python R

勾配の更新に関する問題

シグモイド関数を活性化関数に使うと勾配消失問題が起こると巷で言われているので確かめてみます。勾配消失の解決策として、シグモイドでなくて、relu関数を使うと良いと言われますが、本当か検証します。 また、勾配爆発問題が起こる状況を再現し、解決策を解説します。
タイトルとURLをコピーしました