arXiv cs.AI

強化学習のための継続的知識適応

Continual Knowledge Adaptation for Reinforcement Learning

http://arxiv.org/abs/2510.19314v1


強化学習は、エージェントが環境との相互作用を通じて最適な行動を学ぶ手法ですが、現実の環境は非定常であり、新しいタスクや変化する条件に絶えず適応する必要があります。従来の継続的強化学習手法は、カタストロフィックフォゲッティング(記憶の喪失)や知識の非効率的利用といった課題に直面しています。これに対処するために、本論文では「強化学習のための継続的知識適応(CKA-RL)」を提案します。CKA-RLは、タスク固有の知識ベクトルプールを維持し、歴史的知識を動的に活用してエージェントを新しいタスクに適応させます。これにより、重要なモデルパラメータを保ちながらカタストロフィックフォゲッティングを緩和し、タスク間の効率的な知識転送を実現します。また、アダプティブ知識マージング機構を導入し、類似の知識ベクトルを統合することでスケーラビリティの課題に対処し、メモリ要件を削減しつつ重要な知識を保持します。実験により、提案手法は最先端の方法を上回り、全体的なパフォーマンスで4.20%、前方転送で8.02%の向上を達成しました。