KLダイバージェンス

エントロピーの定義から始めて、KLダイバージェンスの意味を理解するのが目標です。エントロピーがデータの分布の違いを検知できる事を説明し、KLダイバージェンスが確率分布同士の距離を測る道具になっていることを解説します。最後に応用について少しだけ説明します。