HackerNews

AIスクレイパーが要求したコメント付きスクリプト

AI scrapers request commented scripts

https://cryptography.dog/blog/AI-scrapers-request-commented-scripts/


この記事では、著者がサーバーログの異常を確認している際に、数件の404エラー(「見つかりません」)を発見したことが紹介されています。特定のJavaScriptファイルに対するリクエストがあり、調査の結果、そのファイルは実際にはサーバーに存在せず、HTMLでコメントアウトされていたことが判明しました。しかし、悪意のあるボットによるリクエストが確認され、正規のブラウザを装った多くのリクエストも見受けられました。著者はこれらのボットが非同意でコンテンツを収集しようとしていると推測し、ボットの行動が人間とは異なることを利用して、簡単に識別できると述べています。また、悪意のあるシステムを妨害する方法についても言及しています。