6.4 AI 驅動的異常偵測與業務自癒系統
學完本節,你能夠:
- 說明固定門檻告警為什麼會同時「漏報」和「誤報」,以及動態基線如何改善。
- 用一段 Python 程式,以「過去同時段的平均 ± 標準差」判斷今天的訂單數是否異常。
- 區分三種業務自癒機制(備援切換、斷路器、優雅降級),並劃出「AI 可以自動做」與「必須人核准」的界線。
壹、開場情境:凌晨兩點的結帳失敗
📌 以下為教學情境(依實務改編)。
黑色星期五凌晨 2 點(台灣時間),歐洲正值晚間購物高峰。某家外貿電商串接的歐洲收單銀行回應突然從 0.2 秒變成 8 秒,大量德國買家卡在付款頁。
公司當時的做法是傳統人工流程:
| 時間 | 發生什麼事 |
|---|---|
| 02:00 | 結帳成功率開始下滑;但伺服器 CPU 正常,沒有任何告警 |
| 02:25 | 客服信箱湧入「無法付款」的信件,夜班客服打電話叫醒工程師 |
| 02:50 | 工程師登入、翻日誌,懷疑是自家資料庫 |
| 03:30 | 確認是收單銀行的問題,請示主管後,手動把歐洲訂單改走備用金流 |
從出事到恢復花了 90 分鐘。如果當時每小時有 800 筆歐洲訂單,成功率掉到一半,就有約 600 筆訂單沒成交,其中不少買家直接去了競爭對手的網站。
這裡有兩個問題:發現得太慢(第 6.3 節說過,技術指標全綠不代表生意正常),以及處理得太慢(每一步都要等人)。本節分別用異常偵測與業務自癒回答。
貳、概念一:為什麼固定門檻不夠用
最常見的告警是固定門檻,例如「每小時訂單少於 100 筆就告警」。但業務量有明顯的週期(下表時間皆為台灣時間):
| 時段 | 平常的訂單數 | 今天 | 固定門檻「< 100 告警」 | 實際狀況 |
|---|---|---|---|---|
| 週二 14:00(台灣下午、歐洲開工前) | 約 815 | 310 | 不告警(310 > 100) | 🚨 少了六成,漏報 |
| 週日 04:00(台灣週日清晨) | 約 12 | 12 | 每週都告警 | ✅ 完全正常,誤報 |
| 週日 04:00 | 約 12 | 140 | 不告警 | 🚨 暴增十倍,可能是盜刷或機器人,漏報 |
誤報太多會造成告警疲乏(Alert Fatigue):大家習慣忽略告警,真正的異常也就跟著被忽略。
動態基線的想法是:不要拿今天跟一個固定數字比,而是跟「過去同一個星期幾、同一個小時」比。偏離得越多,越可能是異常。偏離的程度用標準差衡量:標準差代表「平常的波動有多大」,偏離超過 3 個標準差,就很少是正常波動。
偏離程度 = (今天的數值 − 過去平均) ÷ 過去的標準差
偏離程度的絕對值 > 3 → 異常
AIOps(用 AI 協助維運)產品中的異常偵測,核心就是這個想法的進階版:用更長的歷史、同時考慮週期、節日與趨勢,並一次監看成千上萬個指標。
參、動手算:十幾行 Python 的動態基線
from statistics import mean, stdev
K = 3 # 超過幾個標準差算異常(經理人可調整)
# 過去 4 週「同一個星期、同一個小時」的訂單數
history = {
"週二 14:00": [820, 790, 845, 805],
"週日 04:00": [12, 15, 10, 13],
}
# 今天實際觀察到的訂單數
today = {"週二 14:00": 310, "週日 04:00": 140}
for slot, past in history.items():
m, s = mean(past), stdev(past)
z = (today[slot] - m) / s # 偏離基線幾個標準差
status = "🚨 異常" if abs(z) > K else "✅ 正常"
print(f"{slot}:基線 {m:.1f}±{s:.1f},今天 {today[slot]},偏離 {z:+.1f} 個標準差 → {status}")
執行結果:
週二 14:00:基線 815.0±23.5,今天 310,偏離 -21.5 個標準差 → 🚨 異常
週日 04:00:基線 12.5±2.1,今天 140,偏離 +61.2 個標準差 → 🚨 異常
兩個固定門檻漏掉的狀況,都被抓到了;而週日凌晨正常的 12 筆,不會再每週誤報。
⚠️ 教學簡化:這裡只用 4 週資料,標準差估得很粗。實務上會用更長的歷史,並處理節日(例如黑色星期五本來就會暴增,不該被當成異常)。
從「出事了」到「可能是哪裡」
找到異常只是第一步。接著要問原因,這叫根因分析(Root Cause Analysis, RCA)。AI 輔助的做法是:把同一時間一起變化的指標排在一起,讓人快速縮小範圍。以開場情境為例:
| 指標 | 02:00 前 | 02:00 後 | 有沒有一起變? |
|---|---|---|---|
| 德國結帳成功率 | 98% | 45% | 🚨 |
| 德國收單銀行回應時間 | 0.2 秒 | 8 秒 | 🚨 |
| 日本結帳成功率 | 97% | 97% | — |
| 我方伺服器 CPU | 40% | 35% | — |
只有德國、只有某一家銀行一起變化,問題就不在自家系統。要注意:相關不等於因果,AI 給的是「最可能的方向」,最後判斷仍需要人確認。
肆、概念二:業務自癒——讓系統自己先止血
業務自癒(Self-Healing) 指的是:事先寫好規則,讓系統偵測到特定異常時自動採取預先核准的動作,不必等人。三種常見機制:
| 機制 | 怎麼運作 | 外貿情境例子 | 本書相關章節 |
|---|---|---|---|
| 備援切換 (Failover) | 主要供應者失效時,自動改用備用供應者 | 主要收單銀行連續逾時 → 該地區訂單改走備用金流 | 本節 |
| 斷路器 (Circuit Breaker) | 連續失敗達一定次數就「跳脫」,暫停呼叫,冷卻後再試探 | 物流 API 一直失敗 → 停止重試,改為人工排程並通知 | 第 9.4 節 |
| 優雅降級 (Graceful Degradation) | 資源不足時,先關掉非核心功能,保住核心功能 | 流量暴增 → 暫停個人化推薦與報表匯出,保住結帳 | 本節 |
(動態基線)"] --> B{"在預先核准的
自癒規則內?"} B -->|是| C["自動執行
切換/跳脫/降級"] B -->|否| D["通知值班人員
附上可能根因"] C --> E["記錄動作並通知
事後人工檢討"] D --> E
優雅降級需要事先決定什麼是核心功能。這是商業判斷,不是技術判斷:
| 功能 | 帶來營收? | 降級順序 |
|---|---|---|
| 結帳與付款 | 直接 | 最後才動(盡全力保住) |
| 商品頁與購物車 | 直接 | 保留 |
| 個人化推薦 | 間接 | 第 2 個關 |
| 買家評價照片上傳、報表匯出 | 幾乎沒有 | 第 1 個關 |
伍、判斷看看:AI 可以自己做到哪裡?
自動化越快,出錯時擴散也越快(第 6.1 節)。所以自癒規則一定要劃界線:
| 自癒動作 | AI 自動執行? | 理由 |
|---|---|---|
| ① 某地區付款逾時 → 改走事先簽約、測試過的備用金流 | ✅ 可以 | 動作可逆、範圍小,事後通知即可 |
| ② 流量過載 → 暫停推薦功能 | ✅ 可以 | 不影響金流與帳務,恢復容易 |
| ③ 物流商延遲 → 自動改用另一家,運費每件多 NT$ 300 | ⚠️ 設上限 | 每日額外運費低於上限可自動,超過要主管核准 |
| ④ 偵測到疑似盜刷 → 自動退款給所有可疑訂單 | 🛑 不可以 | 牽涉資金流出且不可逆,必須人工核准 |
| ⑤ 依異常自動修改商品售價 | 🛑 不可以 | 直接影響毛利(第 1.1 節),屬於定價權限 |
判斷原則:可逆、金額小、事先核准過的動作才自動;牽涉資金流出、不可逆、或改變商業規則的,一律留給人。 這也是第 9 章內部控制的核心精神。
陸、回到情境
如果有本節的機制,開場的凌晨會變成這樣:
| 時間 | 發生什麼事 |
|---|---|
| 02:00 | 德國結帳成功率偏離基線超過 3 個標準差,系統告警 |
| 02:01 | 自動關聯指標:只有一家收單銀行回應變慢 |
| 02:02 | 符合預先核准的規則 ①,自動切換備用金流,同時通知值班工程師 |
| 早上 | 工程師與主管檢視紀錄,聯絡銀行,決定何時切回 |
但仍有這套機制做不到的事:
| 限制 | 後果 | 在哪一節處理 |
|---|---|---|
| 動態基線需要足夠的歷史資料 | 新產品、新市場剛上線時容易誤判 | 先用寬鬆的固定門檻,累積資料後再換 |
| 備用供應商本身也可能出事 | 切過去也失敗 | 備援要定期演練;斷路器(第 9.4 節)避免無限重試 |
| 自癒規則寫錯,錯誤會被自動放大 | 例如誤把正常流量判為異常而降級 | 第 6.1 節的發布流程同樣適用於自癒規則 |
| 誰有權修改自癒規則與金額上限 | 權限不清就等於沒有控制 | 第 9 章權限隔離與內部控制 |
本節小結
- 固定門檻會同時漏報與誤報;動態基線拿今天和「過去同一時段」比較。
- 偏離程度 =(今天 − 平均)÷ 標準差,超過 3 視為異常;AIOps 產品是這個想法的進階版。
- AI 協助根因分析,是把一起變化的指標排在一起;相關不等於因果,最後要人確認。
- 業務自癒三機制:備援切換、斷路器、優雅降級;只有可逆、金額小、事先核准的動作才自動執行。
柒、練習
- 改數字(5 分鐘):週二 14:00 今天的訂單數是 760。用程式碼算一算,
K = 3時判斷結果是什麼?改成K = 2呢?(答案:偏離 −2.3 個標準差;K=3 為正常,K=2 為異常。)K 調小有什麼好處和壞處? - 加功能(20 分鐘):請 AI 修改程式,改成讀取一份 CSV(欄位:日期、星期、小時、訂單數),自動對「今天的每一個小時」計算基線並列出所有異常時段。Prompt 請照第 1.1 節的結構寫:欄位 → 規則 → 例外(例如歷史不足 4 週、標準差為 0)→ 輸出要求。
- 管理反思(討論):金融業主管擔心「讓 AI 自動切換金流,等於讓機器動用公司的錢」。請參考第伍段的表格,替你們公司寫出 3 條自癒授權規則(什麼情況、可以做什麼、金額或範圍上限、事後要通知誰),並說明你如何向這位主管解釋這套規則的風險控制。