9.4 糾正機制(Correct):商業熔斷器與優雅降級

學完本節,你能夠:

  1. 區分四種出錯處理方式——失敗即停止、有限重試、斷路器、優雅降級——並說明各自解決什麼問題。
  2. 讀懂斷路器的三種狀態(閉合、斷開、半開),並用模擬結果預測它在連續故障時的行為。
  3. 為報價流程設計一套降級方案:服務可以變慢、變少,但資料不能造假。

壹、開場情境:一個晚上收到 12 封告警信

📌 以下為教學情境(依實務改編)。

第 1.3 節的報價表會連網抓匯率,抓不到就停止並告警。為了讓業務早上打開就有最新報價,公司用觸發器(第 4.2 節)讓它每 10 分鐘自動執行一次。

某天晚上,匯率 API 的服務商故障了兩個小時:

時間 發生什麼事
20:00–22:00 每 10 分鐘抓一次、每次都失敗、每次都寄一封告警信給主管
22:00 主管信箱裡躺著 12 封內容一樣的告警,他早就把通知關掉了
22:10 API 恢復,但回傳的匯率比前一次低了 3.5%,系統照常寫入 D 欄並執行 checkQuotes()
隔天早上 業務看到一半產品亮紅燈,不知道是匯率真的大跌,還是資料出錯

1.3 的 fail-safe 做對了一件事:沒有用假匯率繼續報價。但它只處理「這一次」失敗,沒有處理「一直失敗」和「恢復後的資料怪怪的」。

本節要解決的問題: 外部服務一定會壞。壞的時候,系統怎麼停止無效的嘗試、只通知一次、恢復時自己確認,而且讓業務知道該怎麼辦?


貳、為什麼會這樣:四種出錯處理方式

方式 處理的問題 本系統的做法 只用它的缺點
失敗即停止 Fail-safe(9.2) 單次失敗時不做錯的決策 抓不到匯率就不寫 D 欄、不報價 連續失敗時,每次都重試、每次都告警
有限重試 Retry 偶發的短暫錯誤 失敗後隔幾秒再試,最多 2 次 服務真的掛了時,重試只是在加重負擔
斷路器 Circuit Breaker 持續性的故障 連續失敗 3 次就「跳脫」,冷卻期內不再呼叫 需要設定門檻與冷卻時間,訂錯了會太敏感或太遲鈍
優雅降級 Graceful Degradation 故障期間,使用者看到什麼、能做什麼 報價表顯示「匯率暫停更新」,大單改由人工依銀行牌告處理 降級方案本身也要事先規劃與演練

斷路器:從配電箱到股市

斷路器的概念來自配電箱:電流異常時自動跳脫,保護整棟建築,修好後再手動推回去。金融市場也有類似的設計:美國股市在標普 500 指數單日下跌 7%(第一級)或 13%(第二級)時暫停交易 15 分鐘(須在美東時間 15:25 前觸發才暫停 15 分鐘),下跌 20%(第三級)則當日停止交易。目的都一樣——在異常狀況下先停下來,避免連鎖反應,再由人判斷。

軟體裡的斷路器有三種狀態:

stateDiagram-v2 state "閉合 Closed
正常呼叫 API" as Closed state "斷開 Open
不呼叫 API,通知主管一次" as Open state "半開 Half-Open
試探呼叫一次" as Half [*] --> Closed Closed --> Open: 連續失敗 3 次 Open --> Half: 冷卻 30 分鐘後 Half --> Closed: 試探成功 Half --> Open: 試探失敗,重新冷卻

除了「API 呼叫失敗」,還有一種情況也該讓系統停下來:API 成功了,但資料不合理。EUR/TWD 匯率一天變動超過 3% 非常少見;真的發生時,可能是市場劇烈波動,也可能是資料源出錯。不論哪一種,都值得先停下自動報價、讓人看一眼。


參、把規則寫下來:糾正規格表

老闆說的話 需要追問的問題 寫成規格
「API 壞了要告訴我」 每次失敗都要通知嗎? 連續失敗 3 次才跳脫並通知一次;單次失敗只停止本次報價
「壞了就一直試,直到好為止」 試的頻率? 跳脫後冷卻 30 分鐘不呼叫;冷卻結束只試探一次
「匯率變太多要注意」 多少算太多?跟什麼比? 與上一次採用的匯率相比變動 > 3%:不寫入、不報價,等人工確認
「壞掉的時候業務怎麼辦?」 能不能用舊匯率先報? 不能用舊匯率或保底匯率自動報價;報價表顯示「匯率暫停更新」,緊急報價由主管依銀行牌告人工處理
「客戶等不了怎麼辦?」 對客戶說什麼? 回覆「已收到詢價,將於恢復後 X 小時內提供正式報價」,不提供未經檢查的價格

最後兩列是本節最重要的觀念:降級的是服務,不是資料的真實性。 服務可以變慢(等人工)、變少(暫停自動報價),但不能用假的匯率假裝一切正常。


肆、讓 AI 做出來:一個可以模擬的斷路器

FAIL_THRESHOLD = 3     # 連續失敗幾次就跳脫
COOLDOWN_MIN = 30      # 跳脫後冷卻幾分鐘才試探
MAX_RATE_MOVE = 0.03   # 新匯率與上一次採用值差距超過 3%,暫停自動報價

class RateBreaker:
    def __init__(self, last_rate):
        self.state = "閉合"
        self.fails = 0
        self.opened_at = None
        self.last_rate = last_rate        # 上一次採用的匯率

    def call(self, now, fetch):
        """now:分鐘;fetch:呼叫外部 API 的函式,失敗回傳 None"""
        if self.state == "斷開":
            if now - self.opened_at < COOLDOWN_MIN:
                return "略過(不打 API)"
            self.state = "半開"                    # 冷卻結束,試探一次
        rate = fetch(now)
        if rate is None:
            self.fails += 1
            if self.state == "半開":
                self.state, self.opened_at = "斷開", now
                return "試探失敗 → 重新跳脫,再冷卻"
            if self.fails >= FAIL_THRESHOLD:
                self.state, self.opened_at = "斷開", now
                return f"連續第 {self.fails} 次失敗 → 跳脫,通知主管"
            return f"失敗(連續第 {self.fails} 次),停止本次報價"
        move = (rate - self.last_rate) / self.last_rate
        if abs(move) > MAX_RATE_MOVE:
            return f"取得 {rate},變動 {move:+.1%} 超過門檻,暫停自動報價待人工確認"
        note = "試探成功,恢復閉合;" if self.state == "半開" else ""
        self.state, self.fails, self.last_rate = "閉合", 0, rate
        return f"{note}取得 {rate} → 呼叫 checkQuotes()"

模擬情境:每 10 分鐘呼叫一次;API 在第 20~75 分鐘故障;第 120 分鐘恢復後回傳 30.4(前一次為 31.5)。實際執行結果:

分鐘 呼叫前狀態 結果 呼叫後狀態
0、10 閉合 取得 31.5 → 呼叫 checkQuotes() 閉合
20 閉合 失敗(連續第 1 次),停止本次報價 閉合
30 閉合 失敗(連續第 2 次),停止本次報價 閉合
40 閉合 連續第 3 次失敗 → 跳脫,通知主管 斷開
50、60 斷開 略過(不打 API) 斷開
70 斷開 試探失敗 → 重新跳脫,再冷卻 斷開
80、90 斷開 略過(不打 API) 斷開
100 斷開 試探成功,恢復閉合;取得 31.5 → 呼叫 checkQuotes() 閉合
110 閉合 取得 31.5 → 呼叫 checkQuotes() 閉合
120 閉合 取得 30.4,變動 −3.5% 超過門檻,暫停自動報價待人工確認 閉合

比較一下:在第 20~75 分鐘的故障期間,沒有斷路器的版本會呼叫 6 次 API、寄出 6 封告警;有斷路器的版本只呼叫 4 次,主管只在第 40 分鐘收到 1 封。故障拉長到開場的兩小時,差距會更明顯。

🔍 驗收重點 - 三個門檻(3 次、30 分鐘、3%)是商業決策,放在最上方常數,與 MIN_MARGIN 同樣的道理。 - 任何一條「失敗」路徑都沒有呼叫 checkQuotes(),也沒有寫入任何匯率。 - 匯率異常時不更新 last_rate,避免一個錯誤值變成下一次比較的基準。 - 在 Google Apps Script 上實作時,每次觸發器執行都是全新的開始,斷路器狀態(失敗次數、跳脫時間、上次匯率)必須存起來,例如存在 PropertiesService 或一個隱藏分頁。這一點要明確寫進給 AI 的 Prompt。

Agent 的兩層糾正

當出錯的是 AI Agent 自己的任務(例如查庫存的工具回傳「台北倉庫存不足」),糾正分兩層:

層次 做法 上限
第一層:自我修正 工具回傳結構化的錯誤原因(第 8.1 節),Agent 在 ReAct 迴圈(第 8.4 節)中換個做法,例如改查台中倉 重試 2 次;不得自行改變價格或承諾
第二層:交給人 超過上限仍無解 → 停止、保留目前進度、開工單交給負責人,並附上已嘗試過的步驟 對客戶只說「已收到、處理中」

伍、跑跑看、壞給你看

用上面的模擬程式,改一個參數就重跑一次:

實驗 操作 預期結果 想想看
① 更敏感 FAIL_THRESHOLD = 1 第 20 分鐘第一次失敗就跳脫;第 80 分鐘試探成功恢復 網路偶爾抖一下就通知主管,好嗎?
② 冷卻更長 COOLDOWN_MIN = 60 第 40 分鐘跳脫後,下一次試探在第 100 分鐘,且直接成功 API 第 80 分鐘就恢復了,系統卻多停了 20 分鐘。這個代價值得嗎?
③ 放寬匯率門檻 MAX_RATE_MOVE = 0.05 第 120 分鐘的 30.4 被接受,並呼叫 checkQuotes() 如果 30.4 是資料源錯誤呢?門檻該由誰訂?
④ 單位錯誤 讓第 120 分鐘回傳 3.15 變動 −90.0%,暫停待人工確認 沒有這條檢查,A 款毛利率會被算成多少?(答案是負數,所有產品都會亮紅燈)

陸、回到情境

開場的那個晚上,現在會變成:前兩次失敗安靜地停止;第三次失敗時跳脫並寄出一封告警;冷卻期間不再呼叫 API;恢復後先試探;匯率異常時暫停並請人確認。報價表上顯示「匯率暫停更新」,業務知道今天的大單要找主管,而不是猜測紅燈是真是假。

限制 後果 在哪一節解決
門檻是拍腦袋訂的 太敏感會干擾工作,太遲鈍會漏掉問題 第 10 章:用實際紀錄評估並調整
只有一個匯率來源 來源掛了就只能等 可接第二個來源互相比對;但兩者都要通過同樣的檢查
降級後的人工流程沒人演練過 真的出事時手忙腳亂 定期演練;把降級步驟寫進 SOP
抓匯率、檢查、核准、寄出是分散的步驟 中途斷掉時不知道做到哪裡 9.5 用流程圖管理狀態

本節小結

  1. 失敗即停止處理「這一次」;斷路器處理「一直失敗」;優雅降級處理「失敗期間大家怎麼辦」。
  2. 斷路器三狀態:閉合(正常)→ 連續失敗 → 斷開(不呼叫、通知一次)→ 冷卻後 半開(試探)→ 成功則閉合、失敗再斷開。
  3. 「成功但不合理」的資料(匯率單次變動 > 3%)也是一種失敗,同樣要停下來給人看。
  4. 降級的是服務,不是資料的真實性:可以變慢、變少,不能用假數字假裝正常。

柒、練習

  1. 改數字(5 分鐘):把 FAIL_THRESHOLD 改成 5、API 故障時間改成第 20~120 分鐘,預測主管會在第幾分鐘收到告警?共收到幾封?再實際跑一次驗證。
  2. 加功能(20 分鐘):主管希望斷路器跳脫時,報價表 F 欄全部改顯示「⚠️ 匯率暫停更新,請洽主管」。請寫出規格表的一列,並把它加進給 AI 的 Prompt(提示:要說明狀態存在哪裡、恢復後由誰把 F 欄改回來)。
  3. 管理反思(討論):

    📌 以下為教學情境。某公司的簡訊驗證服務故障,系統不斷自動重試,兩小時內對同一位客戶發出 800 則簡訊,產生大量費用並引發客訴。

若設定「連續失敗 5 次即跳脫」,最多會發出幾則?再從客戶流失與品牌形象的角度討論:「直接跳出錯誤訊息」與「先告知已收到、由後台處理」各有什麼代價?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。