9.4 糾正機制(Correct):商業熔斷器與優雅降級
學完本節,你能夠:
- 區分四種出錯處理方式——失敗即停止、有限重試、斷路器、優雅降級——並說明各自解決什麼問題。
- 讀懂斷路器的三種狀態(閉合、斷開、半開),並用模擬結果預測它在連續故障時的行為。
- 為報價流程設計一套降級方案:服務可以變慢、變少,但資料不能造假。
壹、開場情境:一個晚上收到 12 封告警信
📌 以下為教學情境(依實務改編)。
第 1.3 節的報價表會連網抓匯率,抓不到就停止並告警。為了讓業務早上打開就有最新報價,公司用觸發器(第 4.2 節)讓它每 10 分鐘自動執行一次。
某天晚上,匯率 API 的服務商故障了兩個小時:
| 時間 | 發生什麼事 |
|---|---|
| 20:00–22:00 | 每 10 分鐘抓一次、每次都失敗、每次都寄一封告警信給主管 |
| 22:00 | 主管信箱裡躺著 12 封內容一樣的告警,他早就把通知關掉了 |
| 22:10 | API 恢復,但回傳的匯率比前一次低了 3.5%,系統照常寫入 D 欄並執行 checkQuotes() |
| 隔天早上 | 業務看到一半產品亮紅燈,不知道是匯率真的大跌,還是資料出錯 |
1.3 的 fail-safe 做對了一件事:沒有用假匯率繼續報價。但它只處理「這一次」失敗,沒有處理「一直失敗」和「恢復後的資料怪怪的」。
本節要解決的問題: 外部服務一定會壞。壞的時候,系統怎麼停止無效的嘗試、只通知一次、恢復時自己確認,而且讓業務知道該怎麼辦?
貳、為什麼會這樣:四種出錯處理方式
| 方式 | 處理的問題 | 本系統的做法 | 只用它的缺點 |
|---|---|---|---|
| 失敗即停止 Fail-safe(9.2) | 單次失敗時不做錯的決策 | 抓不到匯率就不寫 D 欄、不報價 | 連續失敗時,每次都重試、每次都告警 |
| 有限重試 Retry | 偶發的短暫錯誤 | 失敗後隔幾秒再試,最多 2 次 | 服務真的掛了時,重試只是在加重負擔 |
| 斷路器 Circuit Breaker | 持續性的故障 | 連續失敗 3 次就「跳脫」,冷卻期內不再呼叫 | 需要設定門檻與冷卻時間,訂錯了會太敏感或太遲鈍 |
| 優雅降級 Graceful Degradation | 故障期間,使用者看到什麼、能做什麼 | 報價表顯示「匯率暫停更新」,大單改由人工依銀行牌告處理 | 降級方案本身也要事先規劃與演練 |
斷路器:從配電箱到股市
斷路器的概念來自配電箱:電流異常時自動跳脫,保護整棟建築,修好後再手動推回去。金融市場也有類似的設計:美國股市在標普 500 指數單日下跌 7%(第一級)或 13%(第二級)時暫停交易 15 分鐘(須在美東時間 15:25 前觸發才暫停 15 分鐘),下跌 20%(第三級)則當日停止交易。目的都一樣——在異常狀況下先停下來,避免連鎖反應,再由人判斷。
軟體裡的斷路器有三種狀態:
正常呼叫 API" as Closed state "斷開 Open
不呼叫 API,通知主管一次" as Open state "半開 Half-Open
試探呼叫一次" as Half [*] --> Closed Closed --> Open: 連續失敗 3 次 Open --> Half: 冷卻 30 分鐘後 Half --> Closed: 試探成功 Half --> Open: 試探失敗,重新冷卻
除了「API 呼叫失敗」,還有一種情況也該讓系統停下來:API 成功了,但資料不合理。EUR/TWD 匯率一天變動超過 3% 非常少見;真的發生時,可能是市場劇烈波動,也可能是資料源出錯。不論哪一種,都值得先停下自動報價、讓人看一眼。
參、把規則寫下來:糾正規格表
| 老闆說的話 | 需要追問的問題 | 寫成規格 |
|---|---|---|
| 「API 壞了要告訴我」 | 每次失敗都要通知嗎? | 連續失敗 3 次才跳脫並通知一次;單次失敗只停止本次報價 |
| 「壞了就一直試,直到好為止」 | 試的頻率? | 跳脫後冷卻 30 分鐘不呼叫;冷卻結束只試探一次 |
| 「匯率變太多要注意」 | 多少算太多?跟什麼比? | 與上一次採用的匯率相比變動 > 3%:不寫入、不報價,等人工確認 |
| 「壞掉的時候業務怎麼辦?」 | 能不能用舊匯率先報? | 不能用舊匯率或保底匯率自動報價;報價表顯示「匯率暫停更新」,緊急報價由主管依銀行牌告人工處理 |
| 「客戶等不了怎麼辦?」 | 對客戶說什麼? | 回覆「已收到詢價,將於恢復後 X 小時內提供正式報價」,不提供未經檢查的價格 |
最後兩列是本節最重要的觀念:降級的是服務,不是資料的真實性。 服務可以變慢(等人工)、變少(暫停自動報價),但不能用假的匯率假裝一切正常。
肆、讓 AI 做出來:一個可以模擬的斷路器
FAIL_THRESHOLD = 3 # 連續失敗幾次就跳脫
COOLDOWN_MIN = 30 # 跳脫後冷卻幾分鐘才試探
MAX_RATE_MOVE = 0.03 # 新匯率與上一次採用值差距超過 3%,暫停自動報價
class RateBreaker:
def __init__(self, last_rate):
self.state = "閉合"
self.fails = 0
self.opened_at = None
self.last_rate = last_rate # 上一次採用的匯率
def call(self, now, fetch):
"""now:分鐘;fetch:呼叫外部 API 的函式,失敗回傳 None"""
if self.state == "斷開":
if now - self.opened_at < COOLDOWN_MIN:
return "略過(不打 API)"
self.state = "半開" # 冷卻結束,試探一次
rate = fetch(now)
if rate is None:
self.fails += 1
if self.state == "半開":
self.state, self.opened_at = "斷開", now
return "試探失敗 → 重新跳脫,再冷卻"
if self.fails >= FAIL_THRESHOLD:
self.state, self.opened_at = "斷開", now
return f"連續第 {self.fails} 次失敗 → 跳脫,通知主管"
return f"失敗(連續第 {self.fails} 次),停止本次報價"
move = (rate - self.last_rate) / self.last_rate
if abs(move) > MAX_RATE_MOVE:
return f"取得 {rate},變動 {move:+.1%} 超過門檻,暫停自動報價待人工確認"
note = "試探成功,恢復閉合;" if self.state == "半開" else ""
self.state, self.fails, self.last_rate = "閉合", 0, rate
return f"{note}取得 {rate} → 呼叫 checkQuotes()"
模擬情境:每 10 分鐘呼叫一次;API 在第 20~75 分鐘故障;第 120 分鐘恢復後回傳 30.4(前一次為 31.5)。實際執行結果:
| 分鐘 | 呼叫前狀態 | 結果 | 呼叫後狀態 |
|---|---|---|---|
| 0、10 | 閉合 | 取得 31.5 → 呼叫 checkQuotes() | 閉合 |
| 20 | 閉合 | 失敗(連續第 1 次),停止本次報價 | 閉合 |
| 30 | 閉合 | 失敗(連續第 2 次),停止本次報價 | 閉合 |
| 40 | 閉合 | 連續第 3 次失敗 → 跳脫,通知主管 | 斷開 |
| 50、60 | 斷開 | 略過(不打 API) | 斷開 |
| 70 | 斷開 | 試探失敗 → 重新跳脫,再冷卻 | 斷開 |
| 80、90 | 斷開 | 略過(不打 API) | 斷開 |
| 100 | 斷開 | 試探成功,恢復閉合;取得 31.5 → 呼叫 checkQuotes() | 閉合 |
| 110 | 閉合 | 取得 31.5 → 呼叫 checkQuotes() | 閉合 |
| 120 | 閉合 | 取得 30.4,變動 −3.5% 超過門檻,暫停自動報價待人工確認 | 閉合 |
比較一下:在第 20~75 分鐘的故障期間,沒有斷路器的版本會呼叫 6 次 API、寄出 6 封告警;有斷路器的版本只呼叫 4 次,主管只在第 40 分鐘收到 1 封。故障拉長到開場的兩小時,差距會更明顯。
🔍 驗收重點 - 三個門檻(3 次、30 分鐘、3%)是商業決策,放在最上方常數,與
MIN_MARGIN同樣的道理。 - 任何一條「失敗」路徑都沒有呼叫checkQuotes(),也沒有寫入任何匯率。 - 匯率異常時不更新last_rate,避免一個錯誤值變成下一次比較的基準。 - 在 Google Apps Script 上實作時,每次觸發器執行都是全新的開始,斷路器狀態(失敗次數、跳脫時間、上次匯率)必須存起來,例如存在PropertiesService或一個隱藏分頁。這一點要明確寫進給 AI 的 Prompt。
Agent 的兩層糾正
當出錯的是 AI Agent 自己的任務(例如查庫存的工具回傳「台北倉庫存不足」),糾正分兩層:
| 層次 | 做法 | 上限 |
|---|---|---|
| 第一層:自我修正 | 工具回傳結構化的錯誤原因(第 8.1 節),Agent 在 ReAct 迴圈(第 8.4 節)中換個做法,例如改查台中倉 | 重試 2 次;不得自行改變價格或承諾 |
| 第二層:交給人 | 超過上限仍無解 → 停止、保留目前進度、開工單交給負責人,並附上已嘗試過的步驟 | 對客戶只說「已收到、處理中」 |
伍、跑跑看、壞給你看
用上面的模擬程式,改一個參數就重跑一次:
| 實驗 | 操作 | 預期結果 | 想想看 |
|---|---|---|---|
| ① 更敏感 | FAIL_THRESHOLD = 1 |
第 20 分鐘第一次失敗就跳脫;第 80 分鐘試探成功恢復 | 網路偶爾抖一下就通知主管,好嗎? |
| ② 冷卻更長 | COOLDOWN_MIN = 60 |
第 40 分鐘跳脫後,下一次試探在第 100 分鐘,且直接成功 | API 第 80 分鐘就恢復了,系統卻多停了 20 分鐘。這個代價值得嗎? |
| ③ 放寬匯率門檻 | MAX_RATE_MOVE = 0.05 |
第 120 分鐘的 30.4 被接受,並呼叫 checkQuotes() |
如果 30.4 是資料源錯誤呢?門檻該由誰訂? |
| ④ 單位錯誤 | 讓第 120 分鐘回傳 3.15 | 變動 −90.0%,暫停待人工確認 | 沒有這條檢查,A 款毛利率會被算成多少?(答案是負數,所有產品都會亮紅燈) |
陸、回到情境
開場的那個晚上,現在會變成:前兩次失敗安靜地停止;第三次失敗時跳脫並寄出一封告警;冷卻期間不再呼叫 API;恢復後先試探;匯率異常時暫停並請人確認。報價表上顯示「匯率暫停更新」,業務知道今天的大單要找主管,而不是猜測紅燈是真是假。
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 門檻是拍腦袋訂的 | 太敏感會干擾工作,太遲鈍會漏掉問題 | 第 10 章:用實際紀錄評估並調整 |
| 只有一個匯率來源 | 來源掛了就只能等 | 可接第二個來源互相比對;但兩者都要通過同樣的檢查 |
| 降級後的人工流程沒人演練過 | 真的出事時手忙腳亂 | 定期演練;把降級步驟寫進 SOP |
| 抓匯率、檢查、核准、寄出是分散的步驟 | 中途斷掉時不知道做到哪裡 | 9.5 用流程圖管理狀態 |
本節小結
- 失敗即停止處理「這一次」;斷路器處理「一直失敗」;優雅降級處理「失敗期間大家怎麼辦」。
- 斷路器三狀態:閉合(正常)→ 連續失敗 → 斷開(不呼叫、通知一次)→ 冷卻後 半開(試探)→ 成功則閉合、失敗再斷開。
- 「成功但不合理」的資料(匯率單次變動 > 3%)也是一種失敗,同樣要停下來給人看。
- 降級的是服務,不是資料的真實性:可以變慢、變少,不能用假數字假裝正常。
柒、練習
- 改數字(5 分鐘):把
FAIL_THRESHOLD改成 5、API 故障時間改成第 20~120 分鐘,預測主管會在第幾分鐘收到告警?共收到幾封?再實際跑一次驗證。 - 加功能(20 分鐘):主管希望斷路器跳脫時,報價表 F 欄全部改顯示「⚠️ 匯率暫停更新,請洽主管」。請寫出規格表的一列,並把它加進給 AI 的 Prompt(提示:要說明狀態存在哪裡、恢復後由誰把 F 欄改回來)。
- 管理反思(討論):
📌 以下為教學情境。某公司的簡訊驗證服務故障,系統不斷自動重試,兩小時內對同一位客戶發出 800 則簡訊,產生大量費用並引發客訴。
若設定「連續失敗 5 次即跳脫」,最多會發出幾則?再從客戶流失與品牌形象的角度討論:「直接跳出錯誤訊息」與「先告知已收到、由後台處理」各有什麼代價?