ホロノーム

ホロノームは、トランスフォーマーの学習における正規化の重要性を考慮した新しい手法です。従来のDynamic Tanh（DyT）を利用したレイヤー正規化の代替としてのTanhの効果を確認したものの、Tanhには直交性や線形性、歪みといった問題が存在し、信頼性に欠けるという課題がありました。そこで提案されたホロノーム（hn）は、残差接続と非線形性を持ち、正規化の文脈でTanhの代替として適しています。ホロノームは、全てのベクトルを開いた単位球にマッピングする適切なメトリックであり、アクティベーションの爆発を防ぎ、深いトランスフォーマーモデルの安定性を向上させます。ホロノームは0と1の間で定義され、$1 - ext{Holonorm}$はその補数としてモデル評価の理解を助ける役割を果たします。