本記事では、大規模言語モデル（LLMs）における知識の編集手法について検討しています。従来の知識編集は主に多層パーセプトロン（MLP）モジュールに焦点を当てており、注意モジュール（Attn）の役割が軽視されています。しかし、実験結果から、Attnモジュールも事実知識の保存と取得において重要であることが明らかとなりました。本研究では、IntAttn-Editという新しい手法を提案し、MLPとAttnの両方を同時に更新するアプローチを採用しています。この手法は、各モジュールの知識保存への寄与に応じて更新量を調整する知識バランシング戦略を用いています。実験により、IntAttn-Editは従来の手法よりも高い編集成功率と知識の保存能力を実現し、多様な設定でも最適なパフォーマンスを維持できることが示されました。