arXiv cs.LG

LogPurge:ルール強化フィルタリングによる異常検知のためのログデータ浄化

LogPurge: Log Data Purification for Anomaly Detection via Rule-Enhanced Filtering

http://arxiv.org/abs/2511.14062v1


本論文では、ログ異常検知のための新しいフレームワーク「LogPurge」を提案しています。ログ異常検知は、システムの障害を特定しセキュリティ侵害を防ぐ上で重要であり、通常は大量のログデータ内の不規則なパターンを検出することに依存しています。従来の手法は、クリーンなログデータを確保するために多大な人手によるラベリングが必要であり、自動清浄化手法はログの特性を十分に反映できていません。LogPurgeは、通常のログシーケンスのサブセットを自動的に選定し、異常検知モデルを訓練するためのコストを考慮した浄化フレームワークです。まず、大規模言語モデルを使用して異常パターンを除去し、次に分割統治戦略を用いて残された汚染領域を扱います。実験において、平均98.74%の異常を除去し、82.39%の正常サンプルを保持することに成功しました。この方法は、最新の教師なしログサンプル選択アルゴリズムと比較しても大幅な改善を示しています。