スパースオートエンコーダはトピックモデルである

本稿では、スパースオートエンコーダ（SAE）がトピックモデルとして自然に理解できることを提案しています。リテラル・ディクレ配分法を埋め込み空間に拡張し、SAEの目的をこのモデルの下での最大事後推定器として導出しました。この視点は、SAEの特徴が可変の方向ではなく、主題の構成要素であることを示唆しています。さらに、SAE-TMというトピックモデリングフレームワークを導入し、再利用可能なトピック原子を学習するSAEを訓練したり、下流データ上での単語分布として解釈したり、再訓練なしで任意の数のトピックに統合したりします。SAE-TMは、テキストおよび画像データセットにおいて強力な基準よりもより一貫性のあるトピックを生成し、多様性を維持します。本研究は、SAEを大規模な主題分析の有効なツールとして位置付け、特に日本の浮世絵を通じた時間経過に伴うトピックの変化を分析しています。