arXiv cs.AI

SELECTを超えて: 実世界のテキストからSQLへの翻訳のための包括的な分類ガイド付きベンチマーク

Beyond SELECT: A Comprehensive Taxonomy-Guided Benchmark for Real-World Text-to-SQL Translation

http://arxiv.org/abs/2511.13590v1


テキストからSQLへのデータセットは、モデルのトレーニングと評価に不可欠ですが、既存のデータセットはカバレッジが制限されており、現実世界のアプリケーションの多様性を捉えきれないことが多いです。この記事では、コアの意図、ステートメントタイプ、構文構造、主要なアクションを含む次元に基づいた新しい分類法を提案し、既存の公共テキストからSQLへのデータセット(SpiderやBirdなど)を評価して、その限界を明らかにしています。さらに、この分類法を用いてSQL-Synthという新しいデータセットを合成するパイプラインを紹介し、これにより現実世界のテキストからSQLへの多様性と複雑さを反映したデータセットを作成できることを示しています。分析と実験の結果、SQL-Synthは既存のベンチマークに比べてより多様性とカバレッジを持ち、既存の大規模言語モデル(LLM)のパフォーマンスを改善するためにはファインチューニングが有効であることが判明しました。この提案された分類法はデータセットの分析やトレーニングデータの構築に重要な影響を持つ可能性があります。