arXiv cs.LG

分割クライアントアプローチによる第二次最適化

A Split-Client Approach to Second-Order Optimization

http://arxiv.org/abs/2510.15714v1


この論文では、第二次最適化のための分割クライアントフレームワークを提案しています。第二次法則は速い収束を約束するものの、ヘッセ行列の計算や分解が勾配よりもはるかに高コストなため、実用的にはあまり使われていません。提案されたフレームワークでは、拘束された遅延や不正確なヘッセ行列の更新を考慮しつつ、勾配と曲率を異なるクライアントで非同期に計算します。この方法は、強い収束保証を保持し、ヘッセ行列の計算と分解に必要な相対的時間を表す auに基づいて、計算時間の改善を実現します。高次元の問題においてはこの改善が著しく、実験結果も理論を裏付けるものとなっています。非同期曲率は従来の技術よりも一貫して優れた性能を示し、第二次精度も維持されています。