5.4 AI 自動生成商業極端測試案例

學完本節,你能夠:

  1. 說明為什麼人自己設計的測試案例,總是偏向「正常情況」。
  2. 列出四類常見的極端案例(數值、門檻邊界、格式與文字、時間),並針對一條商業規則各舉一例。
  3. 指揮 AI 先產生極端測試、再寫程式,並親自審核測試的預期值。

壹、開場情境:測了三個包裹,上線第一週就被客訴

📌 以下為教學情境(依跨境電商實務改編)。

一家跨境電商請 AI 寫了國際快遞的運費計算函式。負責的同事用三個「平常的」包裹測試:10 kg 的紙箱、3 kg 的鞋盒、5 kg 的禮盒,結果都對,就上線了。

第一週就出了兩件事:

  • 一位客戶寄的包裹剛好 120 cm,被多收了 US$ 50 超長費。規則寫的是「超過 120 cm」才收。
  • 客服人員漏填包裹長度(0),系統沒有報錯,照樣算出 1 kg 的運費,包裹到了倉庫才發現尺寸不符。

同事不是不認真,而是人在設計測試時,會自然地挑「看起來合理」的資料,這和確認偏誤(confirmation bias:傾向尋找支持自己想法的證據)是同一種心理:我們想證明程式是對的,而不是想辦法把它弄壞。

本節要解決的問題: 怎麼有系統地找出「想不到的情況」?AI 能幫上什麼忙,又不能幫什麼?


貳、為什麼會這樣:四類人容易漏掉的極端案例

類別 會出什麼事 商業例子
數值極限 0、負數、極大值、小數誤差 長度填 0 仍算出運費;高通膨國家的訂單金額 500 億,超過 32 位元整數上限(約 21.47 億)
門檻邊界 「剛好等於」的那一筆判斷錯誤 剛好 120 cm、剛好 15% 毛利、剛好第 21 天交單(5.2 節)
格式與文字 特殊字元、超長字串、不同語言 收件人 O'Connor(單引號)、德文 Jürgen Müller、阿拉伯文由右至左書寫、地址超過資料庫欄位長度
時間與日曆 特殊日期與時區 2/29、跨年午夜、日光節約時間切換、買賣雙方不同時區

其中最容易被忽略的是浮點數誤差:電腦用二進位存小數,有些小數存不精確。例如在 Python 裡 0.1 + 0.2 的結果是 0.30000000000000004。第 5.1 節實驗③「>= 改成 > 卻沒被抓到」,原因就在這裡。

AI 擅長什麼、不擅長什麼

AI 人(你)
列出大量可能的怪異輸入 ✅ 很快,而且不怕麻煩 容易只想到正常情況
判斷「剛好 120 cm 要不要收費」 ❌ 只能猜 ✅ 這是商業決策
算出每個案例的正確答案 ⚠️ 可能算錯,必須核對 ✅ 用計算機或試算表驗算

本書把「先請 AI 依規格產生測試、人審核測試、再讓 AI 寫程式直到全部通過」的流程稱為測試驅動生成(Test-Driven Generation, TDG)。這是本書的用語,不是業界統一的名詞;它其實就是第 5.2 節的 TDD,只是把「列案例」與「寫程式」交給 AI。

flowchart LR A["你:寫規格
(含例外)"] --> B["AI:產生極端測試"] B --> C["你:審核案例與預期值"] C --> D["AI:寫程式、執行測試"] D -->|有紅燈| D D -->|全部綠燈| E["你:抽查、決定上線"]

關鍵在 C:如果讓 AI 自己出題、自己定答案、自己寫程式,就真的是球員兼裁判。預期值必須由人確認。


參、把規則寫下來:運費計費規格

業務說法 需要追問 寫成規格
「材積重除以 5000」 單位? 材積重(kg)= 長 × 寬 × 高(cm)÷ 5000(國際快遞常見算法;各家快遞可能不同,例如 6000)
「實重和材積重取大的」 — 計費重量 = max(實重, 材積重)
「太輕的算 1 公斤」 0.3 kg 怎麼算? 未滿 1 kg 以 1 kg 計
(沒人提) 2.01 kg 怎麼算? 無條件進位到 0.5 kg(2.01 → 2.5;剛好 2.5 不進位)
「超過 120 公分加收 50 美元」 剛好 120 呢?看哪一邊? 任一邊 > 120 cm 才加收 US$ 50;剛好 120 不收
(沒人提) 長度 0、負數、空白、文字? 拒絕計算並回報錯誤,不可以算出運費

以上費率與門檻為教學設定。


肆、讓 AI 做出來

1. 給 AI 的 Prompt

我要一個 Python 函式 chargeable(length, width, height, actual_kg),
回傳 (計費重量 kg, 超長附加費 USD)。

【規則】
1. 材積重 = 長 × 寬 × 高 ÷ 5000(單位 cm、kg)
2. 計費重量 = 實重與材積重較大者;未滿 1 kg 以 1 kg 計
3. 計費重量無條件進位到 0.5 kg(剛好是 0.5 的倍數則不進位)
4. 任一邊「超過」120 cm 加收 50 美元;剛好 120 不收
5. 5000、1、0.5、120、50 宣告為最上方常數

【例外】任一尺寸或重量為 0、負數、空白或文字 → 拋出 ValueError

【工作方式】
第一步:先不要寫程式。請用 pytest 的 parametrize 產生至少 12 個測試,
涵蓋:很輕很小、材積重大於實重、進位、剛好在進位點上、剛好 120 cm、
120.1 cm、超輕但超長、多箱重量相加的小數誤差、各種不合理輸入。
每個案例加一行中文註解說明它在測什麼。
第二步:列出每個案例的預期值與算式,讓我核對後再寫程式。

2. AI 產生的測試(已逐一驗算預期值)

import pytest
from shipping import chargeable


@pytest.mark.parametrize("dims, kg, expected", [
    ((20, 15, 10), 0.3, (1.0, 0)),     # 很輕很小:以 1 kg 計
    ((50, 40, 30), 5.0, (12.0, 0)),    # 材積重 12 kg 大於實重
    ((20, 20, 20), 3.0, (3.0, 0)),     # 實重 3 kg 大於材積重 1.6 kg
    ((10, 10, 10), 2.01, (2.5, 0)),    # 2.01 kg 進位到 2.5 kg
    ((10, 10, 10), 2.5, (2.5, 0)),     # 剛好 2.5 kg 不進位
    ((120, 10, 10), 1.0, (2.5, 0)),    # 剛好 120 cm:不收超長費
    ((120.1, 10, 10), 1.0, (2.5, 50)), # 120.1 cm:收超長費
    ((150, 5, 5), 0.5, (1.0, 50)),     # 超輕但超長
    ((10, 10, 10), 2.1 + 2.2 + 2.2, (6.5, 0)),  # 三箱合併 6.5 kg:小心浮點數誤差
])
def test_計費重量與附加費(dims, kg, expected):
    assert chargeable(*dims, kg) == expected


@pytest.mark.parametrize("bad", [0, -5, None, "30"])
def test_尺寸不合理_應拒絕(bad):
    with pytest.raises(ValueError):
        chargeable(bad, 20, 10, 1.0)

🔍 驗收重點:自己驗算幾個 - 120 × 10 × 10 ÷ 5000 = 2.4 kg,比實重 1 kg 大,進位到 2.5 kg。 - 20 × 15 × 10 ÷ 5000 = 0.6 kg,實重 0.3 kg,都未滿 1 kg,以 1 kg 計。 - 2.1 + 2.2 + 2.2 在電腦裡等於 6.500000000000001,不是剛好 6.5。

@pytest.mark.parametrize 的意思是「同一個測試,換不同資料跑很多次」,所以這個檔案實際上是 13 個測試。

3. AI 寫的程式:第一版與修正版

AI 第一版只花幾秒就寫好了,執行測試的結果是 5 failed, 8 passed:

  • 剛好 120 cm 被收了超長費(它寫成 >=);
  • 0、-5、空白、文字四種輸入都沒有被拒絕。

把失敗訊息貼回給 AI,第二版:

import math

# ===== 商業規則(國際快遞計費,教學設定)=====
VOLUMETRIC_DIVISOR = 5000   # 材積重 = 長×寬×高(cm) ÷ 5000
MIN_WEIGHT = 1.0            # 未滿 1 kg 以 1 kg 計
WEIGHT_STEP = 0.5           # 計費重量無條件進位到 0.5 kg
OVERSIZE_CM = 120           # 任一邊「超過」120 cm 加收附加費
OVERSIZE_FEE = 50           # 超長附加費(美元)


def chargeable(length, width, height, actual_kg):
    """回傳 (計費重量 kg, 附加費 USD)。"""
    for v in (length, width, height, actual_kg):
        if isinstance(v, bool) or not isinstance(v, (int, float)) or v <= 0:
            raise ValueError(f"尺寸與重量必須是正數:{v!r}")

    volumetric = length * width * height / VOLUMETRIC_DIVISOR
    weight = max(actual_kg, volumetric, MIN_WEIGHT)
    # 先四捨五入到小數第 9 位,消除浮點數誤差,再無條件進位
    weight = math.ceil(round(weight / WEIGHT_STEP, 9)) * WEIGHT_STEP
    fee = OVERSIZE_FEE if max(length, width, height) > OVERSIZE_CM else 0
    return weight, fee

執行結果:13 passed。


伍、跑跑看、壞給你看

實驗 操作 預期結果 想想看
① 重現第一版 把 > 改成 >=,並刪掉檢查輸入的 for 迴圈 5 failed, 8 passed 如果只用開場那三個「正常」包裹測試,會發現嗎?
② 拿掉浮點數保護 把 math.ceil(round(weight / WEIGHT_STEP, 9)) 改成 math.ceil(weight / WEIGHT_STEP) 1 failed:三箱合併被算成 7.0 kg 每筆多收 0.5 kg,一年幾萬筆是多少錢?客戶會怎麼想?
③ 換一家快遞 VOLUMETRIC_DIVISOR 改成 6000 2 failed:50×40×30 變成 10 kg、120 cm 那筆變成 2.0 kg 這是規則改了,不是 bug。哪些測試的預期值要跟著重算?
④ 請 AI 再找漏洞 把規格與測試貼給 AI:「還有哪些極端情況沒被測到?」再試 chargeable(float('nan'), 10, 10, 1) AI 常會提到 NaN(「不是數字」的特殊值)。這個呼叫回傳 (1.0, 0),沒有被拒絕 13 個測試全過,還是有漏洞。哪些建議值得加?哪些在你的業務裡不可能發生?

陸、回到情境

開場的兩件客訴,正好對應測試清單裡的「剛好 120 cm」與「不合理輸入」。這些案例 AI 幾秒鐘就能列出來,但「剛好 120 要不要收費」只有公司能決定,「2.1+2.2+2.2 應該是 6.5」也需要人確認。AI 擴大了測試的廣度,人負責測試的正確性。

限制 後果 在哪一節解決
AI 產生的預期值可能算錯 錯的測試會「保護」錯的程式 本節驗收重點:人工驗算
AI 可能為了通過測試而改測試 規格被悄悄改掉 第 4.5 節 Code Review:測試檔變更由人審核
文字類產出(客服回信)沒有標準答案 無法用 assert 檢查 5.5 LLM-as-a-Judge
規則日後會改 舊測試跟著要改、也要繼續跑 5.6 回歸測試

本節小結

  1. 人設計測試會偏向正常情況;極端案例要有系統地找:數值、門檻、文字格式、時間。
  2. 浮點數會讓「剛好等於」的判斷出錯,邊界案例一定要測。
  3. 讓 AI 大量產生測試案例,但每個預期值由人確認,避免球員兼裁判。
  4. 先看測試失敗、再請 AI 修程式,失敗訊息就是最好的修改指令。

柒、練習

  1. 改數字(5 分鐘):公司把超長門檻改為 100 cm、附加費改為 US$ 40。要改哪兩行?哪些測試的預期值要跟著改?
  2. 加功能(20 分鐘):新增規則「計費重量超過 70 kg 拒收,拋出 ValueError」。請先寫出 3 個測試(69.5、70、70.5 kg),自己判斷「剛好 70」該收還是拒,再請 AI 修改程式。
  3. 管理反思(討論):有人說:「讓 AI 寫測試又寫程式,就是球員兼裁判。」請說明在本節的流程中,哪一步由人負責、為什麼這一步讓它不再是球員兼裁判。如果團隊沒有人願意驗算預期值,你會怎麼安排?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。