大規模言語モデル（LLM）は、長文コンテキストの処理において計算能力とメモリの制約を受けている。本稿では、コスト効率を重視した新しいメモリ増強アーキテクチャ「BudgetMem」を提案する。BudgetMemは、すべてを記憶するのではなく、厳密な予算制約に基づいて重要な情報のみを選択して記憶するポリシーを学習する。具体的には、特徴に基づく顕著性スコアリングを活用し、BM25スパース検索と組み合わせたゲーティングメカニズムを用いることで、効率的な情報アクセスを実現する。700件の質問応答ペアに対する実験の結果、BudgetMemは長文において1.0%のF1スコアの悪化を示す一方で、基準となるRAGシステムに比べて72.4%のメモリ節約を達成した。この研究は、限られたリソースで高度な言語理解を実現するための実用的なアプローチを提供する。