arXiv cs.LG

線形予測コーディングネットワークの層コホモロジー

Sheaf Cohomology of Linear Predictive Coding Networks

http://arxiv.org/abs/2511.11092v1


本稿では、予測コーディング(PC)ネットワークにおける層コホモロジーを考察しています。PCは、全体の逆伝播を局所的な最適化に置き換える手法であり、線形PCネットワークは細胞シーブとして自然な形式化が可能です。シーブのコバウンダリーマップを用いることで、アクティベーションからエッジごとの予測誤差への関係を示し、PC推論がシーブラプラシアンの下での拡散であることを明らかにします。この体制は、推論によって除去できない irreducible な誤差パターンを特徴づけます。また、フィードバックループが内部矛盾を引き起こす再帰的トポロジーを分析し、監視とは無関係な予測誤差が発生する場合についても考察します。ホッジ分解を使用して、これらの矛盾が学習の停滞を引き起こす条件を特定しています。シーブの形式は、問題のあるネットワーク構成を識別するための診断ツール及び再帰PCネットワークのための効果的な重み初期化の設計原則を提供します。