教育におけるAI活用において、生徒の知識をモデル化することは重要な課題であり、個別学習に大きな影響を及ぼす。知識トレーシング（KT）は、生徒の過去の相互作用に基づいて教育的質問に対する彼らの反応を予測することを目的としている。従来のKTモデルは、正答率やスキルタグ、タイムスタンプなどのメタデータを用いているが、質問のテキストを重要な教育的洞察の源として見落としている。この問題を解決するために、次トークン知識トレーシング（NTKT）が提案され、KTを次トークン予測タスクとして再定義し、プリトレインされた大規模言語モデル（LLM）を利用する。NTKTは生徒の履歴と質問の内容をテキストのシーケンスとして表現し、LLMが行動と文言のパターンを学習できるようにする。実験の結果、最先端の神経KTモデルよりも性能が大幅に向上し、コールドスタートの質問やユーザーへの一般化が改善された。これにより、KTにおける質問内容の重要性が浮き彫りになり、LLMのプリトレインされた表現を活用する利点が示されている。