勾配消失問題

シグモイド関数を活性化関数に使うと勾配消失問題が起こると巷で言われているので確かめてみます。勾配消失の解決策として、シグモイドでなくて、relu関数を使うと良いと言われますが、本当か検証します。 また、勾配爆発問題が起こる状況を再現し、解決策を解説します。