本記事では、長いコンテキストを用いるリトリーバル強化生成（RAG）における計算コストを削減するための手法として、ソフトコンテキスト圧縮を提案しています。具体的には、入力シーケンスを短い連続的な表現に変換するための軽量でシンプルな平均プーリングアプローチを開発しました。この手法は、広く使用されている圧縮トークンアーキテクチャよりも一貫して高いパフォーマンスを示し、同じ圧縮器が複数の圧縮比を出力できるようにトレーニングすることを研究しています。異なるドメインのQAデータセットを用いた広範な実験を通じて、平均プーリングアプローチが最も優れた性能を達成し、複数の圧縮比でトレーニングを行っても比較的小さな性能低下に留まることが示されました。最終的には、さまざまなアーキテクチャとトレーニング手法におけるトレードオフの複雑さが浮き彫りとなり、圧縮手法の奥深い景観が明らかになりました。