Python R ゼロから作るRNN2
PTBコーパスから言語モデルを作る記事です。分散表現を作り、RNNに通して全結合で予測するという単純なモデルです。単語の分散表現が得られるので、意味のあるものになっているか、コサイン類似度を使って試してみます。
RNN
Python R Python R ゼロから作るRNN1
RNNをnumpy だけで実装していきます。ゼロから作るDeep Learning 2に載っているコードを解説しながら作っていきます。
機械学習 RNNによる文章自動生成
RNNモデルを使って文章の自動生成が出来るのは有名な話ですが、独特な語り口の作家なら、その作家が書いたと分かるような文章を生成できるはずです。太宰治の人間失格を教師として走れメロスを描いてもらいます。
機械学習 リカレントニューラルネットワーク(RNN)
ニューラルネットワークモデルの一つに、リカレントニューラルネットワーク(RNN)と呼ばれるものがあります。自己相関の高いデータに対して有用なモデルです。RNN, LSTM, GRUの解説をして、映画レビューの分類問題で3つのモデルの特徴を掴みます。
Python R 勾配の更新に関する問題
シグモイド関数を活性化関数に使うと勾配消失問題が起こると巷で言われているので確かめてみます。勾配消失の解決策として、シグモイドでなくて、relu関数を使うと良いと言われますが、本当か検証します。
また、勾配爆発問題が起こる状況を再現し、解決策を解説します。