5.6 持續驗證與法規合規自動監控
學完本節,你能夠:
- 解釋什麼是回歸錯誤(regression),以及為什麼每次修改都要把全部舊測試重跑一次。
- 把一次真實發生的錯誤,寫成一個永久的回歸測試。
- 設計一個每天自動比對管制名單的合規檢查流程,並說明它的極限。
壹、開場情境:一次「加速」,讓管制名單失效兩週
📌 以下為教學情境(依貿易合規實務改編,公司與名單名稱皆為虛構)。
一家機械零件出口商在出貨前,會用一支小程式把客戶名稱和管制名單比對(例如美國財政部外國資產管制辦公室 OFAC 公布的 SDN 名單,列出受制裁、禁止往來的個人與機構)。比對前,程式會先把名稱「正規化」:統一大寫、去掉標點、合併多餘空白。
某次為了讓比對跑得更快,同事請 AI 改寫程式,新版省掉了正規化步驟。原有的兩個測試(「完全相同的名稱要攔下」「正常客戶不攔」)都通過,就上線了。
兩週後,往來銀行來電詢問一筆匯款:收款方 Acme Trading Co.,與名單上的 ACME TRADING CO 是同一家公司。只差了大小寫和一個句點,系統就放行了。
這就是回歸錯誤:為了改善 A(速度),不小心弄壞了原本正常的 B(比對)。
本節要解決的問題: 怎麼確保每次修改都不會悄悄弄壞以前做對的事?法規和名單一直在變,又怎麼讓系統跟上?
貳、為什麼會這樣:舊功能沒有人在看
1. 回歸測試:把過去所有的測試集合起來
本章每一節都寫了測試。把它們放在同一個資料夾,就是這個小系統的回歸測試套件:
| 來源 | 測試檔 | 數量 | 保護的規則 |
|---|---|---|---|
| 5.1 | test_quote.py |
4 | 報價毛利底線、建議報價 |
| 5.2 | test_lc.py |
6 | 信用狀日期不符點 |
| 5.3 | test_modules.py、test_rates.py |
3 + 4 | 模組介面約定、匯率 API 失敗要停下 |
| 5.4 | test_shipping.py |
13 | 運費計費與極端輸入 |
| 5.5 | test_judge.py |
6 | AI 回信放行/攔截規則 |
| 5.6 | test_screening.py |
4 | 管制名單比對(本節) |
| 合計 | 40 |
在資料夾中執行 python -m pytest -q,不到一秒就全部跑完。
2. 三條紀律
| 紀律 | 做法 | 為什麼 |
|---|---|---|
| 每次修改都全部重跑 | 改一個字也跑全部 40 個 | 你不知道這次修改會影響哪裡,開場的「加速」就是例子 |
| 有紅燈就不上線 | 任何一個失敗都要先處理 | 「這個應該沒關係」正是回歸錯誤的來源 |
| 每個錯誤都變成測試 | 修好之後,把出事的那筆資料寫成測試 | 同一個錯誤不會犯第二次 |
把「每次修改自動跑測試、失敗就擋下」交給系統執行,就是持續整合(CI),第 6.1 節會實作。
3. 規則本身也會變
回歸測試保護的是「程式符合目前的規則」。但合規的難處在於規則本身一直在變:
| 變動 | 例子 | 系統要跟著做什麼 |
|---|---|---|
| 管制名單更新 | OFAC 名單不定期更新,常常一週數次 | 每天下載最新名單,重新比對客戶與在途訂單 |
| 門檻或稅則改變 | 美國 800 美元以下小額進口免稅(de minimis),自 2025 年 8 月 29 日起對所有國家暫停適用 | 修改規則常數、更新測試預期值 |
| 出口管制品項 | 我國對戰略性高科技貨品(SHTC)也有出口管制規定 | 商品主檔加上管制分類,出貨前檢查 |
參、把規則寫下來:名單比對規格
| 業務說法 | 需要追問 | 寫成規格 |
|---|---|---|
| 「客戶在名單上就不能出貨」 | 怎樣算「同一個名稱」? | 比對前先正規化:全形轉半形、轉大寫、標點換成空白、合併多餘空白 |
| 「每天更新名單」 | 下載失敗怎麼辦? | 停止新訂單的放行並告警;不可以沿用舊名單假裝沒事 |
| 「比中了就擋」 | 擋了之後誰決定? | 凍結該客戶的出貨,通知法務人工確認;系統不自動解除 |
| (沒人提) | 拼錯一個字、用簡稱呢? | 本節的精確比對抓不到;實務需要模糊比對與人工複核(見第陸段) |
肆、讓 AI 做出來
1. 給 AI 的 Prompt
請寫 Python 函式 screen(customers, watchlist),回傳出現在管制名單上的客戶(保留原始名稱)。
【規則】
比對前,客戶名稱與名單都要經過 normalize():
1. 全形字轉半形(例如 ACME → ACME)
2. 全部轉大寫
3. 標點符號換成空白
4. 連續空白合併為一個,去掉頭尾空白
【測試】請寫 pytest 測試,名單用虛構名稱 "ACME TRADING CO"、"Blue Harbor Shipping LLC":
- 完全相同的名稱 → 攔下
- 正常客戶 "Formosa Bike Ltd." → 不攔
- "Acme Trading Co."(大小寫、句點不同)→ 攔下
- "ACME Trading Co"(全形、多空白)→ 攔下
2. 程式碼(已人工驗收)
screening.py:
import re
import unicodedata
def normalize(name):
"""名稱正規化:全形轉半形、轉大寫、去標點、合併空白。"""
name = unicodedata.normalize("NFKC", name).upper()
name = re.sub(r"[^\w\s]", " ", name) # 標點換成空白
return " ".join(name.split())
def screen(customers, watchlist):
"""回傳出現在管制名單上的客戶(原始名稱)。"""
blocked = {normalize(n) for n in watchlist}
return [c for c in customers if normalize(c) in blocked]
test_screening.py:
from screening import screen
WATCHLIST = ["ACME TRADING CO", "Blue Harbor Shipping LLC"] # 虛構名單
def test_完全相同的名稱_要攔下():
assert screen(["ACME TRADING CO"], WATCHLIST) == ["ACME TRADING CO"]
def test_正常客戶_不攔():
assert screen(["Formosa Bike Ltd."], WATCHLIST) == []
# ↓ 2026/9 事故後新增的回歸測試:大小寫與標點不同,曾經被放行
def test_大小寫與標點不同_也要攔下():
assert screen(["Acme Trading Co."], WATCHLIST) == ["Acme Trading Co."]
def test_多餘空白與全形字_也要攔下():
assert screen(["ACME Trading Co"], WATCHLIST) == ["ACME Trading Co"]
🔍 驗收重點 - 後兩個測試上方的註解寫明了「為什麼有這個測試」。半年後有人想刪掉它時,看得到它保護的是哪一次事故。 - 名單用的是虛構名稱。真實名單請從官方網站下載,不要讓 AI 憑記憶產生。
3. 每天自動檢查的流程
下載最新名單"] -->|下載失敗| X["停止放行新訂單
通知合規人員"] A --> B["比對全部客戶
與在途訂單"] B -->|有命中| C["凍結出貨
法務人工確認"] B -->|無命中| D["留存比對紀錄
(日期、名單版本)"]
定時執行可以用 GAS 的時間觸發器或 n8n 等工具(第 4.2 節)。留存紀錄的目的是日後被查核時,能證明「哪一天、用哪一版名單、比對過哪些客戶」。
伍、跑跑看、壞給你看
先把本章所有程式與測試檔放在同一個資料夾,執行 python -m pytest -q,確認 40 passed。
| 實驗 | 操作 | 預期結果 | 想想看 |
|---|---|---|---|
| ① 重現「加速版」 | 把 screen() 改成直接比對原始名稱(blocked = set(watchlist)、c in blocked) |
2 failed, 38 passed:兩個回歸測試失敗 |
另外 38 個測試全過。只跑「這次有改的那支程式」夠嗎? |
| ② 回到事故前 | 保持實驗①的修改,刪掉兩個回歸測試 | 38 passed |
這就是開場事故發生時的狀態:測試全綠,系統卻是錯的 |
| ③ 拼錯一個字 | 比對 ACME TRADNG CO、Acme Trading Company、ACME-TRADING CO |
只有 ACME-TRADING CO 被攔下 |
精確比對的極限在哪裡?攔得太寬(誤擋正常客戶)又有什麼代價? |
| ④ 規則改了 | 把 5.1 的 MIN_MARGIN 改成 0.18 後重跑全部測試 |
2 failed, 38 passed,失敗的都在 test_quote.py |
失敗的是「該改的預期值」還是「真的 bug」?由誰判斷? |
陸、回到情境
如果事故前就有「大小寫與標點不同也要攔下」這個測試,「加速版」在上線前就會亮紅燈。現在它被永久保留在回歸測試套件裡,任何人、任何 AI 之後再改這支程式,都必須通過它。
但要清楚這套做法的極限:
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 精確比對抓不到拼錯、簡稱、別名、音譯 | 仍可能漏掉名單上的對象 | 實務使用模糊比對(OFAC 官網的查詢工具也提供)+ 人工複核;第 13.4 節貿易管制 |
| 測試要有人記得跑 | 忙的時候就跳過 | 6.1 CI:每次修改自動執行 |
| 規則變了,測試不會自己知道 | 測試全綠,但守的是舊規則 | 指定專人追蹤法規公告,規則變更時同步修改常數與測試 |
| 名單比對只是合規的一部分 | 最終受益人、轉運、品項管制都沒查 | 第 13.4 節 |
本節小結
- 回歸錯誤是「改好 A、弄壞 B」;對策是每次修改都把全部舊測試重跑一次。
- 每個發生過的錯誤都寫成測試,並註明它保護的是哪一次事故。
- 合規規則本身會變:名單要每天更新、抓不到就停下,規則改了測試也要跟著改。
- 自動比對負責「不漏看」,判斷與解除凍結仍由人負責。
柒、練習
- 改數字(5 分鐘):在
WATCHLIST加入虛構名稱"Northwind Metals GmbH",再新增一個測試:客戶名稱"northwind metals gmbh."應被攔下。執行全部測試,總數變成多少? - 加功能(20 分鐘):公司決定把常見公司字尾(
CO、LTD、LLC、GMBH)在比對前移除,讓Acme Trading Company與ACME TRADING CO都變成ACME TRADING。請先寫測試,再請 AI 修改normalize()。注意:還要再加COMPANY才抓得到嗎?這樣改會不會讓兩家不同的公司被誤判為同一家? - 管理反思(討論):美國暫停 800 美元小額免稅之後,一家對美出貨的電商需要調整哪些系統規則與測試?請列出「誰負責發現法規變動」「誰決定新規則」「誰確認測試已更新」三個角色,並說明為什麼這三件事不能都交給 AI。