「継続学習の問題」では、モデルが経験から常に学び続けるための基本的な課題を考察しています。それは、モデルのパラメータを更新し続けながらも、破損させない方法です。著者はメモリ層をこの目的に適したアーキテクチャとして提案し、最近の研究では、メモリ層の微調整がLoRAよりも効果的に忘却を防ぎながら学習することが示されています。具体的に、TriviaQAの事実を学習する際、完全な微調整ではパフォーマンスが89%低下するのに対し、メモリ層ではわずか11%の低下で済みます。この記事では、一般化と統合という2つのサブ問題も取り上げ、効果的な学習方法や既存の知識との統合の重要性について議論しています。最終的には、自然な経験からの学びを支えるシステムの実現には、より洗練された自己監督の仕組みが必要であると結論付けています。