ReBaPL: 反発的ベイズプロンプト学習

本研究では、従来のプロンプトチューニング手法が持つ過学習や分布外一般化の欠点を克服するために、反発的ベイズプロンプト学習（ReBaPL）という新たな手法を提案しています。従来のベイズプロンプト学習を改良し、プロンプトの最適化をベイズ推論問題として扱うことで、ロバスト性を向上させます。この手法は、確率空間の異なるプロンプトに基づく表現から得られるポテンシャル関数に基づいた反発力を導入し、探索の多様性を高めつつ、単一のモードへの過剰適合を防ぎます。探索と既存モードの精緻化を交互に行うサイクリックなステップサイズスケジュールと確率的勾配ハミルトンモンテカルロ（SGHMC）アルゴリズムを統合し、プロンプトの後部分布をより包括的に把握することを可能にします。Benchmarkデータセットでの実験により、ReBaPLの効果を確認し、従来の手法に対して優れた性能を示しています。