この記事では、自然言語の人間による説明（合理的理由）が、モデルがラベルを正しい理由で学習しているか、データセット特有のショートカットに依存しているかを評価する手段となることを述べています。十分さは合理的理由の情報量を推定する一般的な指標ですが、モデルの性能への影響を把握するには限界があります。著者らは、十分さをトークン分類と注意正則化の二つのモデルパラダイムと関連付けることでこの限界を克服しようとしています。調査の結果、非常に有益な合理的理由が正確な分類に寄与しない可能性が高いことや、合理的理由の情報をモデルに組み込むことで交差ドメインの分類性能が向上するが、タスクやモデルタイプによって結果が不安定であることが示されました。また、十分さとトークン分類には関係がないことも発見されました。これらの結果は合理的理由の複雑さを示し、この情報を体系的に捉える能力を持つ指標のさらなる調査が必要であることを示唆しています。