近似損失なしのモデル圧縮がDNA大規模言語モデルにおける長いコンテキスト推論を可能にする

この記事では、DNA大規模言語モデル（LLM）の期待される長距離推論効率を向上させるために、近似損失なしのモデル圧縮手法FOCUSが提案されています。FOCUSは、既存のk-mer表現と学習可能な階層圧縮を統合し、自己注意のコンテキストを効果的に圧縮するモジュールです。この手法により、従来の計算コストを大幅に削減し、推論ウィンドウを約100倍延長できることが示されています。FOCUSは、1kbのコンテキストをわずか10個の要約トークンに圧縮し、ほぼ損失のない精度を実現します。これにより、DNAシーケンスの解析が実用的に向上し、遺伝学における大規模データ処理の効率が高まると期待されます。