arXiv cs.LG

隠れマルコフモデルを模倣するRNNのメカニズム的解釈

Mechanistic Interpretability of RNNs emulating Hidden Markov Models

http://arxiv.org/abs/2510.25674v1


本論文では、リカレントニューラルネットワーク(RNN)が隠れマルコフモデル(HMM)の特性を再現できることを示し、そのメカニズムを解明します。従来の研究は、比較的単純な入力駆動型の挙動に焦点を当てており、自然環境における豊かで自発的、さらには確率的な挙動を生成するためのメカニズムはあまり知られていません。本研究では、HMMが自然な挙動を離散的な潜在状態に分割していることを考慮し、RNNが学習中にストカスティックレゾナンスの領域に移行することで、確率的な計算が可能になることを示します。トレーニングされたRNNは、高度に構造化された接続性を持ち、「キックニューロン」がダイナミクスの異なる領域間の遷移を開始します。このメカニズムは、様々なHMMアーキテクチャにおいて一般化することが確認され、RNNが複雑な離散的潜在ダイナミクスを模倣できる原理を示唆しています。