この記事では、FIRM（Federated In-client Regularized Multi-objective alignment）という新しいアルゴリズムを提案しています。このアルゴリズムは、大規模言語モデル（LLMs）の訓練における複数の対立する目的を効率的に調整し、クライアント間の不一致の軽減と通信効率を向上させます。従来のフェデレーテッド・マルチオブジェクティブ最適化（FMOO）の手法は、複数の勾配データをサーバーに送信する必要があるため、通信のボトルネックが生じていましたが、FIRMでは各クライアントがローカルで正則化された多目的最適化問題を解決し、単一の適応パラメータセットのみを送信することで、通信効率を保ちつつこの問題を解決します。実験的に、FIRMは訓練の動的安定性を向上させ、クライアント間の不一致を減少させ、報酬のトレードオフを改善することが示されています。また、目的に対する好みを組み込む方法も提案しており、これにより多タイプのトレードオフがスムーズに適応できることが実証されています。