この記事では、AI製品開発における評価（eval）の重要性について述べています。RaindropはAIエージェントのパフォーマンスをモニタリングするために評価を利用し、毎月数十億のラベルを生成しています。特に、A/Bテストについての最近の議論に対して反論し、評価が迅速な実験に不可欠であるという主張に異議を唱えています。著者は、評価がAI製品の最適化には不十分であり、実際のパフォーマンスを測定することがより重要であるとしています。この記事は、評価の定義の曖昧さを指摘し、何が真実を伝えるのかを重視する姿勢を示しています。さらに、AI業界での最近の動向も背景にしつつ、A/Bテストだけではカバーできない現実の複雑さに対処する必要性を強調しています。