KLダイバージェンス

ベイズ統計学

変分推論入門

ベイズ統計学に、変分推論という技があります。この技はEMアルゴリズムを知っていると分かりやすくなります。原理を解説し、ポアソン混合モデルに対して変分推論を適用します。 変分推論 未知の確率分布\(p\)があるとしましょう。この...
Python R

EMアルゴリズムのpythonによる実装と一般化

EMアルゴリズムのまとめをして、python 上で実装します。最後に、EMアルゴリズムの一般化について触れます。
ベイズ統計学

エントロピーからKLダイバージェンスを理解する

エントロピーの定義から始めて、KLダイバージェンスの意味を理解するのが目標です。エントロピーがデータの分布の違いを検知できる事を説明し、KLダイバージェンスが確率分布同士の距離を測る道具になっていることを解説します。最後に応用について少しだけ説明します。
タイトルとURLをコピーしました