arXiv cs.AI

DVAGen: 動的語彙拡張生成

DVAGen: Dynamic Vocabulary Augmented Generation

http://arxiv.org/abs/2510.17115v1


DVAGenは、従来の固定語彙の言語モデルが新しい単語や語彙外の単語に対して一般化するのが難しいという問題を解決するために、動的語彙を強化した言語モデルのための統一フレームワークを提供します。この新しいフレームワークは、カスタマイズの容易さを考慮してパイプラインをモジュール化し、オープンソースの大型言語モデル(LLM)とシームレスに統合されており、初めてCLIやWebUIツールを用いてリアルタイムの結果検査が可能です。DVAGenは、動的語彙法の効果を検証し、バッチ推論をサポートすることで推論のスループットを大幅に向上させることを示しています。これは、従来の動的な語彙アプローチが直面していたいくつかの課題を克服するものです。