Pythonで学ぶ時系列異常検知
- ダウンロード商品¥ 3,000










スコアを出す問題と、線を引く問題は、別である。 時系列の異常検知アルゴリズムを、統計の道具と機械学習の道具の両方から一つずつ解剖した記録です。A5判・556ページ。 移動中央値から始めて、季節分解、自己回帰残差、変化点検知、Matrix Profile、主成分分析、Isolation Forest、極値理論まで。それぞれについて、何を「異常」と定義したのかを日本語で言い切り、numpyで20〜40行のスクラッチ実装を書き、合成データに当てて図を出し、最後にその仮定がいつ壊れるかを書きました。 最初に、いちばん大事なことを書いておきます。この本は「これを使えば異常が見つかる」本ではありません。教師なしの異常検知に一般解はありません。あるアルゴリズムが何を「異常」と定義したかと、あなたのデータの異常がその定義に合致するかは、まったく別の問題です。だから本書は、手法の性能を並べるのではなく、その手法が何を問うたのかを正確に知るための本です。 ■ 本書の骨格 異常検知を「変換 → スコア → 閾値 → 集約」の4段として説明します。この4段を全アルゴリズムに一貫して当てはめるのが本書の構成です。 そして本書がいちばん言いたいのは、この4段のうち「スコアを出す」問題(多くは機械学習)と「線を引く」問題(多くは統計)は別物だということです。この2つを混ぜて考えているかぎり、アラートは鳴りすぎるか鳴らなすぎるかのどちらかになります。 ■ 各手法を、必ずこの6つで書く 1. 原理 — 何を「異常」と定義したのかを日本語で 2. 数式 — 最小限 3. スクラッチ実装 — numpy(+scipy)だけで20〜40行。動くこと 4. 実測 — 合成データや公開データに当てて、数字か図を出す 5. 実務 — ライブラリ版で同じ結果になることを見せる 6. 破れ目 — この手法の仮定がいつ壊れるか。必ず書く 6番目を全手法について書いたことが、この本の一番の特徴です。 ■ 目次(全10章+付録3) 第0章 準備 第1章 異常検知という問題設定 第2章 統計的アプローチと機械学習的アプローチ 第3章 単変量時系列のアルゴリズム 第4章 形と変化を捉えるアルゴリズム 第5章 多変量と機械学習系のアルゴリズム 第6章 どこに線を引くか — 閾値 第7章 評価 第8章 運用 第9章 実務への応用 付録A アルゴリズム早見表 付録B hazure リファレンス 付録C 数学の補足 ■ 第6章と第7章について この2章が本書の山です。 第6章「どこに線を引くか」は、閾値だけで1章を使います。3シグマ、分位点、MAD、そして極値理論とPOT(Peaks Over Threshold)。「観測されたことのない大きさの異常に、どうやって線を引くか」という問いに、一般化パレート分布で答えるところまで行きます。 第7章「評価」は、点ベースの適合率・再現率がなぜ嘘をつくかを扱います。運用上の満点が点ベースではほぼ0点になり、何もしていない検知器が点ベースでは満点を取る。同じ検知結果でも、点で数えるか区間で数えるかで結論が変わります。「精度93%の異常検知器」という文が本書に一度も出てこないのは、そのためです。 ■ こんな人に向いています ・Pythonが書ける実務エンジニア。統計は高校数学+α、機械学習は「聞いたことはある」程度で読めます ・監視・障害検知の担当で、アラートが鳴りすぎる/鳴らなすぎるのを何とかしたい ・ライブラリを呼んではいるが、そのアルゴリズムが何を仮定しているかを知らないまま使っている ・異常検知の手法を、数式だけでなく動くコードで理解したい ■ こんな人には向いていません ・「これを入れれば異常が見つかる」道具が欲しい人 — 本書は提供しません ・深層学習ベースの異常検知だけを学びたい人 — 本書の中心ではありません ・ラベル付きデータでの教師あり分類が目的の人 — 本書は教師なしを扱います ■ サンプルコードについて 本書で「これは hazure の XxxScorer に相当します」と対応づけたクラスは、すべて実在します。hazure はMITライセンスで公開しており、商用・非商用を問わず自由に利用・改変・再配布できます。本商品には同梱していません。 https://github.com/ykus4/hazure アルゴリズムの一次情報は同リポジトリの docs/algorithms/ にあり、本書の記述はそちらを下敷きにしています。本書の図はすべて scripts/figures.py から再生成できます(手順は0-4節)。 ■ 商品の内容 ・book.pdf — 本文PDF(A5判・556ページ・表紙込み) ・book.epub — EPUB版(おまけ。コードブロックと数式は崩れます。PDFを正としてお読みください) DRMはかかっていません。購入者の方には、正誤表と改訂版を無償で配布します。 ■ 免責事項 本書は教育・研究目的の技術解説書です。掲載した手法が、読者の特定の環境で機能することを保証するものではありません。掲載したコードと実測値は、本書で用いた合成データおよび公開ベンチマークに対するものであり、他のデータで同じ挙動になることを示すものではありません。 異常検知システムの誤検知および検知漏れは、運用上の損失につながる可能性があります。本書およびサンプルコードの利用によって生じたいかなる損害についても、著者は責任を負いません。本番環境への適用は、必ず自己の責任と検証のもとで行ってください。 デジタル商品の性質上、購入後の返品・返金はお受けできません。ご了承ください。









