arXiv cs.LG

SHaRe-SSM: 長いシーケンスにおけるターゲット変数モデリングのための振動スパイキング神経ネットワーク

SHaRe-SSM: An Oscillatory Spiking Neural Network for Target Variable Modeling in Long Sequences

http://arxiv.org/abs/2510.14386v1


SHaRe-SSMは、長いシーケンスにおけるターゲット変数のモデリング(分類と回帰を含む)を目的としたスパイキングハーモニック共鳴・発火状態空間モデルです。このモデルは、トランスフォーマーのシーケンス長に対する二次依存性を克服するために、強力な代替手段として進化した状態空間モデル(SSM)に基づいています。SHaRe-SSMは、リソース制約のあるアプリケーションに最適で、平均してトランスフォーマーや一次のSSMよりも高い性能を発揮する一方、乗算操作を回避します。18kのシーケンスにおいて、提案するブロックは従来の二次ANNベースのSSMよりも73倍少ないエネルギーを消費しながら、その性能を維持します。また、パラレルスキャンを用いることで、長距離シーケンスに対する学習可能性を確保する方法も提案しています。さらに、共鳴・発火ニューロンを使用したカーネルベースのスパイキング回帰器を初めて提案し、50kのシーケンスにおいても優れた性能を示しています。