ブレグマンダイバージェンスによる変分推論の幾何的収束解析

本論文では、変分推論（VI）の収束解析に新たな理論的枠組みを提案します。従来の方法では、証拠下限（ELBO）の最適化が非凸性や滑らかさの欠如により困難でしたが、著者らは分布の指数族構造を利用して、この問題にアプローチします。具体的には、負のELBOをログ分配関数に関するブレグマンダイバージェンスとして表現し、最適化の地形を幾何学的に分析します。このブレグマン表現は、弱い単調性を持ち、収束解析に十分な構造を提供することを示しています。また、パラメータ空間における光線沿いの目的関数の上限を導出することで、フィッシャー情報行列のスペクトル特性に基づく性質を確立しています。この幾何的枠組みの下、勾配降下法の非漸近的収束速度を示します。