5.4 AI 自動生成商業極端測試案例
學完本節,你能夠:
- 說明為什麼人自己設計的測試案例,總是偏向「正常情況」。
- 列出四類常見的極端案例(數值、門檻邊界、格式與文字、時間),並針對一條商業規則各舉一例。
- 指揮 AI 先產生極端測試、再寫程式,並親自審核測試的預期值。
壹、開場情境:測了三個包裹,上線第一週就被客訴
📌 以下為教學情境(依跨境電商實務改編)。
一家跨境電商請 AI 寫了國際快遞的運費計算函式。負責的同事用三個「平常的」包裹測試:10 kg 的紙箱、3 kg 的鞋盒、5 kg 的禮盒,結果都對,就上線了。
第一週就出了兩件事:
- 一位客戶寄的包裹剛好 120 cm,被多收了 US$ 50 超長費。規則寫的是「超過 120 cm」才收。
- 客服人員漏填包裹長度(0),系統沒有報錯,照樣算出 1 kg 的運費,包裹到了倉庫才發現尺寸不符。
同事不是不認真,而是人在設計測試時,會自然地挑「看起來合理」的資料,這和確認偏誤(confirmation bias:傾向尋找支持自己想法的證據)是同一種心理:我們想證明程式是對的,而不是想辦法把它弄壞。
本節要解決的問題: 怎麼有系統地找出「想不到的情況」?AI 能幫上什麼忙,又不能幫什麼?
貳、為什麼會這樣:四類人容易漏掉的極端案例
| 類別 | 會出什麼事 | 商業例子 |
|---|---|---|
| 數值極限 | 0、負數、極大值、小數誤差 | 長度填 0 仍算出運費;高通膨國家的訂單金額 500 億,超過 32 位元整數上限(約 21.47 億) |
| 門檻邊界 | 「剛好等於」的那一筆判斷錯誤 | 剛好 120 cm、剛好 15% 毛利、剛好第 21 天交單(5.2 節) |
| 格式與文字 | 特殊字元、超長字串、不同語言 | 收件人 O'Connor(單引號)、德文 Jürgen Müller、阿拉伯文由右至左書寫、地址超過資料庫欄位長度 |
| 時間與日曆 | 特殊日期與時區 | 2/29、跨年午夜、日光節約時間切換、買賣雙方不同時區 |
其中最容易被忽略的是浮點數誤差:電腦用二進位存小數,有些小數存不精確。例如在 Python 裡 0.1 + 0.2 的結果是 0.30000000000000004。第 5.1 節實驗③「>= 改成 > 卻沒被抓到」,原因就在這裡。
AI 擅長什麼、不擅長什麼
| AI | 人(你) | |
|---|---|---|
| 列出大量可能的怪異輸入 | ✅ 很快,而且不怕麻煩 | 容易只想到正常情況 |
| 判斷「剛好 120 cm 要不要收費」 | ❌ 只能猜 | ✅ 這是商業決策 |
| 算出每個案例的正確答案 | ⚠️ 可能算錯,必須核對 | ✅ 用計算機或試算表驗算 |
本書把「先請 AI 依規格產生測試、人審核測試、再讓 AI 寫程式直到全部通過」的流程稱為測試驅動生成(Test-Driven Generation, TDG)。這是本書的用語,不是業界統一的名詞;它其實就是第 5.2 節的 TDD,只是把「列案例」與「寫程式」交給 AI。
(含例外)"] --> B["AI:產生極端測試"] B --> C["你:審核案例與預期值"] C --> D["AI:寫程式、執行測試"] D -->|有紅燈| D D -->|全部綠燈| E["你:抽查、決定上線"]
關鍵在 C:如果讓 AI 自己出題、自己定答案、自己寫程式,就真的是球員兼裁判。預期值必須由人確認。
參、把規則寫下來:運費計費規格
| 業務說法 | 需要追問 | 寫成規格 |
|---|---|---|
| 「材積重除以 5000」 | 單位? | 材積重(kg)= 長 × 寬 × 高(cm)÷ 5000(國際快遞常見算法;各家快遞可能不同,例如 6000) |
| 「實重和材積重取大的」 | — | 計費重量 = max(實重, 材積重) |
| 「太輕的算 1 公斤」 | 0.3 kg 怎麼算? | 未滿 1 kg 以 1 kg 計 |
| (沒人提) | 2.01 kg 怎麼算? | 無條件進位到 0.5 kg(2.01 → 2.5;剛好 2.5 不進位) |
| 「超過 120 公分加收 50 美元」 | 剛好 120 呢?看哪一邊? | 任一邊 > 120 cm 才加收 US$ 50;剛好 120 不收 |
| (沒人提) | 長度 0、負數、空白、文字? | 拒絕計算並回報錯誤,不可以算出運費 |
以上費率與門檻為教學設定。
肆、讓 AI 做出來
1. 給 AI 的 Prompt
我要一個 Python 函式 chargeable(length, width, height, actual_kg),
回傳 (計費重量 kg, 超長附加費 USD)。
【規則】
1. 材積重 = 長 × 寬 × 高 ÷ 5000(單位 cm、kg)
2. 計費重量 = 實重與材積重較大者;未滿 1 kg 以 1 kg 計
3. 計費重量無條件進位到 0.5 kg(剛好是 0.5 的倍數則不進位)
4. 任一邊「超過」120 cm 加收 50 美元;剛好 120 不收
5. 5000、1、0.5、120、50 宣告為最上方常數
【例外】任一尺寸或重量為 0、負數、空白或文字 → 拋出 ValueError
【工作方式】
第一步:先不要寫程式。請用 pytest 的 parametrize 產生至少 12 個測試,
涵蓋:很輕很小、材積重大於實重、進位、剛好在進位點上、剛好 120 cm、
120.1 cm、超輕但超長、多箱重量相加的小數誤差、各種不合理輸入。
每個案例加一行中文註解說明它在測什麼。
第二步:列出每個案例的預期值與算式,讓我核對後再寫程式。
2. AI 產生的測試(已逐一驗算預期值)
import pytest
from shipping import chargeable
@pytest.mark.parametrize("dims, kg, expected", [
((20, 15, 10), 0.3, (1.0, 0)), # 很輕很小:以 1 kg 計
((50, 40, 30), 5.0, (12.0, 0)), # 材積重 12 kg 大於實重
((20, 20, 20), 3.0, (3.0, 0)), # 實重 3 kg 大於材積重 1.6 kg
((10, 10, 10), 2.01, (2.5, 0)), # 2.01 kg 進位到 2.5 kg
((10, 10, 10), 2.5, (2.5, 0)), # 剛好 2.5 kg 不進位
((120, 10, 10), 1.0, (2.5, 0)), # 剛好 120 cm:不收超長費
((120.1, 10, 10), 1.0, (2.5, 50)), # 120.1 cm:收超長費
((150, 5, 5), 0.5, (1.0, 50)), # 超輕但超長
((10, 10, 10), 2.1 + 2.2 + 2.2, (6.5, 0)), # 三箱合併 6.5 kg:小心浮點數誤差
])
def test_計費重量與附加費(dims, kg, expected):
assert chargeable(*dims, kg) == expected
@pytest.mark.parametrize("bad", [0, -5, None, "30"])
def test_尺寸不合理_應拒絕(bad):
with pytest.raises(ValueError):
chargeable(bad, 20, 10, 1.0)
🔍 驗收重點:自己驗算幾個 - 120 × 10 × 10 ÷ 5000 = 2.4 kg,比實重 1 kg 大,進位到 2.5 kg。 - 20 × 15 × 10 ÷ 5000 = 0.6 kg,實重 0.3 kg,都未滿 1 kg,以 1 kg 計。 - 2.1 + 2.2 + 2.2 在電腦裡等於
6.500000000000001,不是剛好 6.5。
@pytest.mark.parametrize 的意思是「同一個測試,換不同資料跑很多次」,所以這個檔案實際上是 13 個測試。
3. AI 寫的程式:第一版與修正版
AI 第一版只花幾秒就寫好了,執行測試的結果是 5 failed, 8 passed:
- 剛好 120 cm 被收了超長費(它寫成
>=); - 0、-5、空白、文字四種輸入都沒有被拒絕。
把失敗訊息貼回給 AI,第二版:
import math
# ===== 商業規則(國際快遞計費,教學設定)=====
VOLUMETRIC_DIVISOR = 5000 # 材積重 = 長×寬×高(cm) ÷ 5000
MIN_WEIGHT = 1.0 # 未滿 1 kg 以 1 kg 計
WEIGHT_STEP = 0.5 # 計費重量無條件進位到 0.5 kg
OVERSIZE_CM = 120 # 任一邊「超過」120 cm 加收附加費
OVERSIZE_FEE = 50 # 超長附加費(美元)
def chargeable(length, width, height, actual_kg):
"""回傳 (計費重量 kg, 附加費 USD)。"""
for v in (length, width, height, actual_kg):
if isinstance(v, bool) or not isinstance(v, (int, float)) or v <= 0:
raise ValueError(f"尺寸與重量必須是正數:{v!r}")
volumetric = length * width * height / VOLUMETRIC_DIVISOR
weight = max(actual_kg, volumetric, MIN_WEIGHT)
# 先四捨五入到小數第 9 位,消除浮點數誤差,再無條件進位
weight = math.ceil(round(weight / WEIGHT_STEP, 9)) * WEIGHT_STEP
fee = OVERSIZE_FEE if max(length, width, height) > OVERSIZE_CM else 0
return weight, fee
執行結果:13 passed。
伍、跑跑看、壞給你看
| 實驗 | 操作 | 預期結果 | 想想看 |
|---|---|---|---|
| ① 重現第一版 | 把 > 改成 >=,並刪掉檢查輸入的 for 迴圈 |
5 failed, 8 passed |
如果只用開場那三個「正常」包裹測試,會發現嗎? |
| ② 拿掉浮點數保護 | 把 math.ceil(round(weight / WEIGHT_STEP, 9)) 改成 math.ceil(weight / WEIGHT_STEP) |
1 failed:三箱合併被算成 7.0 kg |
每筆多收 0.5 kg,一年幾萬筆是多少錢?客戶會怎麼想? |
| ③ 換一家快遞 | VOLUMETRIC_DIVISOR 改成 6000 |
2 failed:50×40×30 變成 10 kg、120 cm 那筆變成 2.0 kg |
這是規則改了,不是 bug。哪些測試的預期值要跟著重算? |
| ④ 請 AI 再找漏洞 | 把規格與測試貼給 AI:「還有哪些極端情況沒被測到?」再試 chargeable(float('nan'), 10, 10, 1) |
AI 常會提到 NaN(「不是數字」的特殊值)。這個呼叫回傳 (1.0, 0),沒有被拒絕 |
13 個測試全過,還是有漏洞。哪些建議值得加?哪些在你的業務裡不可能發生? |
陸、回到情境
開場的兩件客訴,正好對應測試清單裡的「剛好 120 cm」與「不合理輸入」。這些案例 AI 幾秒鐘就能列出來,但「剛好 120 要不要收費」只有公司能決定,「2.1+2.2+2.2 應該是 6.5」也需要人確認。AI 擴大了測試的廣度,人負責測試的正確性。
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| AI 產生的預期值可能算錯 | 錯的測試會「保護」錯的程式 | 本節驗收重點:人工驗算 |
| AI 可能為了通過測試而改測試 | 規格被悄悄改掉 | 第 4.5 節 Code Review:測試檔變更由人審核 |
| 文字類產出(客服回信)沒有標準答案 | 無法用 assert 檢查 |
5.5 LLM-as-a-Judge |
| 規則日後會改 | 舊測試跟著要改、也要繼續跑 | 5.6 回歸測試 |
本節小結
- 人設計測試會偏向正常情況;極端案例要有系統地找:數值、門檻、文字格式、時間。
- 浮點數會讓「剛好等於」的判斷出錯,邊界案例一定要測。
- 讓 AI 大量產生測試案例,但每個預期值由人確認,避免球員兼裁判。
- 先看測試失敗、再請 AI 修程式,失敗訊息就是最好的修改指令。
柒、練習
- 改數字(5 分鐘):公司把超長門檻改為 100 cm、附加費改為 US$ 40。要改哪兩行?哪些測試的預期值要跟著改?
- 加功能(20 分鐘):新增規則「計費重量超過 70 kg 拒收,拋出 ValueError」。請先寫出 3 個測試(69.5、70、70.5 kg),自己判斷「剛好 70」該收還是拒,再請 AI 修改程式。
- 管理反思(討論):有人說:「讓 AI 寫測試又寫程式,就是球員兼裁判。」請說明在本節的流程中,哪一步由人負責、為什麼這一步讓它不再是球員兼裁判。如果團隊沒有人願意驗算預期值,你會怎麼安排?