この記事では、著者がRAG（Retrieval-Augmented Generation）技術を使用して500万以上の文書を処理する中での経験を共有しています。最初はYouTubeのチュートリアルを参考にし、LangchainとLlamaindexを用いてプロトタイプを迅速に構築しましたが、実際のデータでのパフォーマンスは期待外れでした。その後数ヶ月かけてシステムをリファインし、ROIの観点で重要な要素を特定。特に、クエリ生成や再ランキングが重要であることを発見しました。また、チャンク戦略やメタデータの活用も成績向上に寄与しました。最終的に、得られた知見を元にオープンソースプロジェクトを立ち上げ、知識を共有しています。