ヴィンテージ大型言語モデル

本記事では、過去のデータに基づいて訓練された大型言語モデル（LLM）について説明されています。これらを「ヴィンテージLLM」と呼び、例えば2019年までのデータで訓練されたものや、1900年、さらには紀元後200年まで遡るものがあります。ヴィンテージLLMの課題には、十分な訓練データの確保と、データの汚染を避けることが含まれます。例えば1900年までのモデルでは、1900年以降の情報が混入しないように注意が必要です。さらに、画像などの多モーダルデータの利用についても言及され、古代ローマ時代などではデジタル画像が存在しない中でも、当時人々が目にしていたものを反映した画像を使用可能としています。科学的な発明や予測におけるLLMの応用についても触れ、ヴィンテージLLMを用いて過去の状況を予測する実験の重要性が強調されています。特に、パンデミックや最近の経済事象を予測する能力が試されることが期待されます。