HackerNews

Show HN: バター – LLMのための行動キャッシュ

Show HN: Butter – A Behavior Cache for LLMs

https://www.butter.dev/


バターは、大規模言語モデル(LLM)の応答におけるパターンを特定し、直に応答を提供することでコストを削減するキャッシュシステムです。この仕組みにより、AIシステムは過去の行動を一貫して再現することも可能です。バターはChat Completions APIエンドポイントとして機能し、LangChainやMastraなどの人気ツールに簡単に統合できます。特に、自律エージェントがデータ入力やリサーチといったバックオフィス業務を行う際に役立ちます。料金は、トークン使用料の5%ですが、現在は無料で利用可能です。