arXiv cs.AI

モデルアーキテクチャ発見のためのAlphaGoの瞬間

AlphaGo Moment for Model Architecture Discovery

http://arxiv.org/abs/2507.18074v1


AIシステムは急速に能力を向上させていますが、AI研究の進展は人間の認知能力に制約されており、開発ボトルネックが生じています。本記事では、AIが自らのアーキテクチャ革新を行う完全自律型システム「ASI-Arch」を紹介します。このシステムは、従来の神経アーキテクチャ探索(NAS)を超え、自動最適化から自動革新へとパラダイムシフトを実現しました。ASI-Archは、独自に新しいアーキテクチャ概念を仮説し、それを実行可能なコードとして実装、訓練し、実験を通じて検証するという、アーキテクチャ発見の領域においてエンドツーエンドの科学研究を実施しました。1,773回の自律実験を通じて、最先端の線形注意アーキテクチャ106件を発見。その結果、人間が見逃した革新的なデザイン原則が明らかになりました。さらに、科学的発見のスケーリング法則を初めて示すことで、研究進展が人間の制約から計算可能なプロセスに変わることを証明しました。自律研究能力と新たな設計パターンの詳細な分析が行われ、自己加速型AIシステムの青写真が示されました。