arXiv cs.AI

質問票と大規模言語モデル:質問と回答を理解するための構造的スキルのベンチマークと実証研究

Questionnaire meets LLM: A Benchmark and Empirical Study of Structural Skills for Understanding Questions and Responses

http://arxiv.org/abs/2510.26238v1


本研究は、質問票データを大規模言語モデル(LLM)が処理する能力に焦点を当てています。多くの人々が日常的に行う調査は、貴重な洞察を得られるものの、そのスケールと構造がLLMにとっての課題となっています。従来の調査分析ツールは人間向けに設計されており、LLMとの統合を難しくしています。本稿では、QASU(質問票分析と構造理解)というベンチマークを提案し、答えの参照や回答者数、多段推論など6つの構造的スキルを評価します。実験では、効果的なフォーマットとプロンプトの組み合わせを選ぶことで、最大8.8%の精度向上が確認され、自重による構造的ヒントを加えることでさらに3-4%の向上が見られました。このベンチマークは、LLMを用いた質問票分析の研究と実践の進展に寄与することを目指しています。