本論文では、Instruction-Knowledge-Aware Continual Adaptation（IKnow）というフレームワークを提案しています。IKnowは、大規模言語モデル（LLM）が新しいドメインに適応できるよう、ラベルなしのテストデータのみを使用して連続的に事前学習を行います。従来の自己教師あり学習法を指示調整済みモデルに適用すると、その指示に従う能力や意味表現が劣化することが知られています。IKnowは外部リソースに依存する代わりに、テキスト内に埋め込まれたドメイン知識を活用し、より深い意味レベルでその知識をエンコードすることを目指します。このアプローチにより、安全上の理由で基本モデルの重みが使用できない場合や信頼できる外部データが得られない状況においても、効果的なドメイン適応が可能となります。