Python R ゼロから作るRNN2
PTBコーパスから言語モデルを作る記事です。分散表現を作り、RNNに通して全結合で予測するという単純なモデルです。単語の分散表現が得られるので、意味のあるものになっているか、コサイン類似度を使って試してみます。
Python R Python R ゼロから作るRNN1
RNNをnumpy だけで実装していきます。ゼロから作るDeep Learning 2に載っているコードを解説しながら作っていきます。
ベイズ統計学 ベイズ推定と最尤推定の比較
データが何かの分布に従うと仮定したら、パラメーターを求める為に何か計算をします。その時の手法として、最尤推定とベイズ推定があります。実例を通して、それぞれの手法の良し悪しを書いてみます。
ベイズ統計学 EMアルゴリズムの一般化と計算例
EMアルゴリズムを色々な確率分布に対して使えるようにします。正規分布とベルヌーイ分布の場合で、EMアルゴリズムを実装するための計算をします。
Python R EMアルゴリズムのpythonによる実装と一般化
EMアルゴリズムのまとめをして、python 上で実装します。最後に、EMアルゴリズムの一般化について触れます。
機械学習 EMアルゴリズム
扱うデータが複数の分布を持っていそうな時、分布の混合割合と、パラメーターを推定する方法があります。それはEMアルゴリズムと呼ばれています。EMアルゴリズムの原理について解説します。
ベイズ統計学 エントロピーからKLダイバージェンスを理解する
エントロピーの定義から始めて、KLダイバージェンスの意味を理解するのが目標です。エントロピーがデータの分布の違いを検知できる事を説明し、KLダイバージェンスが確率分布同士の距離を測る道具になっていることを解説します。最後に応用について少しだけ説明します。
Python R 自然言語処理入門の入門
自然言語処理の入門記事です。文字をどうやってコンピューターに認識させているか解説します。簡単なモデルで、不思議の国のアリスの文を再現させてみます。
機械学習 RNNによる文章自動生成
RNNモデルを使って文章の自動生成が出来るのは有名な話ですが、独特な語り口の作家なら、その作家が書いたと分かるような文章を生成できるはずです。太宰治の人間失格を教師として走れメロスを描いてもらいます。
機械学習 リカレントニューラルネットワーク(RNN)
ニューラルネットワークモデルの一つに、リカレントニューラルネットワーク(RNN)と呼ばれるものがあります。自己相関の高いデータに対して有用なモデルです。RNN, LSTM, GRUの解説をして、映画レビューの分類問題で3つのモデルの特徴を掴みます。