arXiv cs.AI

GReF: 順序付きマルチトークン予測による効率的な再ランク付けのための統一生成フレームワーク

GReF: A Unified Generative Framework for Efficient Reranking via Ordered Multi-token Prediction

http://arxiv.org/abs/2510.25220v1


本論文では、マルチステージの推薦システムにおける再ランク付けの重要性と、その最適なシーケンス検索の課題を論じる。従来の二段階(生成器-評価器)のアプローチでは、生成器が複数のシーケンスを生成し、評価器がその中から最良のものを選ぶが、これにはエンドツーエンドの学習が難しく、推論効率が低いという問題がある。このため、著者たちはGReFという統一された生成効率的再ランク付けフレームワークを提案。具体的には、双方向エンコーダーと動的自回帰デコーダーを用いたGen-Rerankerを導入し、アイテムの露出順で事前学習。評価器を不要にし、トレーニング時にシーケンスの評価を統合する手法としてRerank-DPOを提唱している。また、高速な自回帰推論を実現するため、順序付きマルチトークン予測(OMTP)を導入し、実際の動画アプリKuaishouでの展開に成功している。