arXiv cs.AI

消してはいけない: トークンタイムステップ割り当てによる拡散言語モデルの編集の保存

Don't Let It Fade: Preserving Edits in Diffusion Language Models via Token Timestep Allocation

http://arxiv.org/abs/2510.26200v1


拡散言語モデル(DLMs)は、微細な洗練を可能にしますが、その実用的な制御は脆弱です。本論文では、更新忘却と呼ばれる中心的な失敗モードを特定し、正式に特徴づけています。これは、均一で文脈に無関係な更新がトークンレベルの変動を引き起こし、以前の意味的編集を消去して洗練のプロセスを妨げ、流暢さと一貫性を低下させる現象です。本研究では、トークンのタイムステップを明示的に制御するToken Timestep Allocation(TTA)を提案し、重要なトークンを早期に固定し、不確実なトークンを引き続き洗練します。TTAは、固定ポリシーまたはタスク信号による適応ポリシーとして実装でき、幅広い洗練戦略をサポートします。実験結果から、TTAは制御性と流暢さを改善し、感情制御では精度が20%以上向上し、困惑度がほぼ半減しました。この結果は、更新忘却を軽減し、安定した制御可能なテキスト生成を実現するための重要な手段であることを示しています。