選択型分類器は、モデルが不確かと判断した入力に対して判断を控えることにより、信頼性を向上させる手法です。しかし、実際には完璧な順序を持つオラクルのパフォーマンスを実現するアプローチは少なく、この研究では「選択型分類ギャップ」と呼ばれるこの問題を定式化しています。このギャップは、ベイズノイズ、近似誤差、ランク誤差、統計ノイズ、実装やシフトによるスラックの5つの要因から成り立っています。特に、後処理のキャリブレーションが選択型分類器を強化すると一般に考えられているにもかかわらず、実際にはモデルのスコアランキングをほとんど変えないことが明らかです。したがって、ギャップを埋めるためには、予測を効果的に再順序付けできるスコアリングメカニズムが必要です。研究では、合成データおよび実世界の視覚と言語ベンチマークにおいて、各エラー要素を特定し、設計の指針を提供する結果が得られました。これにより、選択型分類器の理想的なオラクルの挙動に近づけるための量的エラー予算が得られました。