HackerNews

再帰言語モデル (RLMs)

Recursive Language Models (RLMs)

https://alexzhang13.github.io/blog/2025/rlm/


再帰言語モデル(RLMs)は、無限の長さの入力コンテキストを分解し、再帰的に処理するための推論戦略を提案しています。このアプローチでは、言語モデルが自己または他の大規模言語モデル(LLM)を再帰的に呼び出すことで、長いコンテキストの処理を可能にし、「コンテキスト劣化」問題を軽減します。具体的には、PythonのREPL環境を使用してユーザーのプロンプトを変数として保存し、GPT-5やGPT-5-miniによるモデルの性能を評価しています。実験では、RLMを用いたGPT-5-miniが複雑な長コンテキストのベンチマークでGPT-5を上回り、問い合わせあたりのコストも低いことが示されています。さらに、RLMsは10万以上のトークンを使用しても性能が低下しないことが観察され、再帰的な推論を行うRLMsが今後の模範的な推論スケーリングの一歩となることが期待されています。