HackerNews

スクレイパーボットとの戦い

Messing with Scraper Bots

https://herman.bearblog.dev/messing-with-bots/


この記事では、スクレイパーボットによるウェブサイトへの攻撃やデータ収集に対抗する方法について述べています。著者は、悪意のあるボットによる攻撃を防ぐために、マルコフ連鎖を利用して無限の偽データを生成する手法を導入しました。この手法により、ボットが消費するデータを無限に供給することで、実際のウェブサーバーへの負荷を減らす狙いがあります。具体的には、著者は数百のPHPファイルを元にして生成されたデータを提供し、ボットのリソースを無駄に使わせることを目指しています。しかし、ボットの効率によっては効果が薄れる可能性があり、著者はその点についても懸念を抱いています。この方法は、悪意のあるボットへの効果的な対抗手段となる可能性があります。