HackerNews

JavaScriptなしでLLMクローラーをブロックする

Blocking LLM crawlers without JavaScript

https://www.owl.is/blogg/blocking-crawlers-without-javascript/


この記事では、JavaScriptを使わずに大規模言語モデル(LLM)のクローラーからウェブサイトを保護する方法について説明しています。特に、自動化されたボットやクローラーがサイトにアクセスするのを防ぐ技術的手法が議論されており、ユーザーが実際の人間であることを確認するためのメカニズムが提案されています。こうした対策は、ウェブサイトのセキュリティ向上や、サーバーの負荷軽減に寄与することが期待されています。