この記事では、多変量時系列モデリングにおけるアテンションメカニズムの効率性を向上させる新しい線形アテンション手法を提案しています。従来のアテンションは、計算量の二次的複雑性が原因で長いシーケンスに対してスケーラビリティに制約がありました。本研究は、エントロピーが確率単体上で厳密に凹関数であることに基づき、確率ランキングが一致し似たエントロピー値を持つ分布が構造的に類似していることを示しました。この洞察を基に、エントロピーを線形計算で近似するアルゴリズムを開発し、エントロピー等式に基づく線形アテンションメカニズムを実現しました。実験結果から、我々の手法は、メモリ使用量と計算時間を大幅に削減しながら、競争力のある予測性能を達成できることが確認されました。