5.1 軟體缺陷的巨額商業代價與測試金字塔

學完本節,你能夠:

  1. 用 Knight Capital 事件說明:缺陷越晚被發現,商業代價越高。
  2. 說出測試金字塔三層(單元、整合、端到端)各自檢查什麼、成本差在哪裡。
  3. 為第 1.1 節的報價毛利規則寫出 4 個單元測試,並親手執行、故意弄壞、看它亮紅燈。

壹、開場情境:45 分鐘虧損 4.6 億美元

📌 以下為真實事件,數字依美國證管會(SEC)2013 年 10 月的處分文件。

2012 年 8 月 1 日,紐約證交所(NYSE)啟動「散戶流動性計畫」(RLP)。美國大型造市商 Knight Capital 為此改寫了自家的下單路由系統 SMARS,並在前幾天以人工方式把新程式複製到 8 台伺服器上。

時間 發生什麼事
2003 年 一個叫「Power Peg」的舊功能停用,但程式碼一直沒有刪除
2005 年 一次修改讓 Power Peg 失去「追蹤訂單已成交」的能力;因為已停用,沒有人重新測試
2012/7 下旬 部署 RLP 新程式;技術人員漏了 8 台中的 1 台。新程式沿用了原本啟動 Power Peg 的旗標(flag,一個「開/關」設定)
8/1 開盤前 系統自動寄出 97 封錯誤通知信,提到 Power Peg,沒有人處理
8/1 09:30 第 8 台伺服器收到 212 筆客戶委託,卻啟動了舊的 Power Peg,不停送出子單
約 45 分鐘內 154 檔股票、約 400 萬次成交、逾 3.97 億股;累積約 35 億美元多頭與 31.5 億美元空頭的非預期部位
事件中 工程師把其餘 7 台的新程式撤回,結果 8 台全部走進舊程式,情況更糟
事後 損失逾 4.6 億美元(公司當時公告約 4.4 億美元);數日後靠投資人團 4 億美元緊急注資存活,2013 年與 GETCO 合併;SEC 另罰 1,200 萬美元
flowchart LR A["2003 停用 Power Peg
程式碼沒刪"] --> B["2005 修改
沒有重新測試"] B --> C["2012/7 人工部署
漏了 1 台伺服器"] C --> D["8/1 開盤
97 封警告沒人看"] D --> E["45 分鐘
損失逾 4.6 億美元"] style E fill:#fee2e2,stroke:#ef4444

注意:這不是「一個工程師打錯一個字」。整條鏈上有四個本來可以攔下它的時間點,每一個都沒有自動化的檢查。

本節要解決的問題: 我們怎麼在「錯誤還便宜」的時候抓到它?以第 1.1 節的報價系統為例,怎麼讓電腦每次都幫你檢查一遍「規則還對不對」?


貳、為什麼會這樣:越晚發現越貴

1. 缺陷成本曲線

軟體工程常引用一條經驗法則(源自 Barry Boehm 等人 1970–80 年代的研究):同一個錯誤,越晚被發現,修正成本越高。各研究的倍數差異很大,下表的數字只是示意數量級:

在哪個階段發現 修正要做什麼 相對成本(示意)
需求/規格 改規格表上的一行字 1
撰寫程式 改幾行程式碼、重跑測試 10
上線前驗收 重新測試整個流程、延後上線 100
正式上線後 退款、賠償、訴訟、商譽損失 1,000 以上

所以品質管理講究左移(Shift-Left):把檢查往流程的左邊(越早越好)移動。

2. 測試金字塔

Mike Cohn 在《Succeeding with Agile》(2009)提出測試金字塔:自動化測試應該大量放在底層、少量放在頂層。常見的比例「70% 單元、20% 整合、10% 端到端」是業界經驗值,不是 Cohn 的原話,也不是硬性規定。

層級 測什麼 本書的例子 速度與成本 數量
單元測試 一個函式、一條商業規則 毛利率公式、建議報價是否進位 毫秒級、幾乎免費 最多
整合測試 兩個模組或外部系統接起來是否相容 匯率 API 回傳的格式,報價程式讀不讀得懂(5.3 節) 秒級,要準備測試環境 中等
端到端測試(E2E) 以使用者身分走完整個流程 打開試算表 → 抓匯率 → 按選單 → 看到紅燈(5.3 節) 分鐘級、容易受網路影響 少而精

只靠人工「點點看」等於把所有檢查都放在金字塔頂端:最慢、最貴,而且每次改版都要重來一遍。

3. 對照 Knight Capital

缺口 哪種檢查本來可以攔下
2005 年改了 Power Peg 卻沒重測 單元測試:舊功能的行為有沒有被改壞
新程式沿用舊旗標 整合測試:新舊程式碼放在一起時,旗標的意義是否一致
人工部署漏了一台 自動化部署與部署後檢查(第 6.1 節)
97 封警告沒人處理 監控與告警流程(第 6.3 節)

測試不是萬靈丹,但它是成本最低的那一道防線。


參、把規則寫下來:測試就是可執行的規格

第 1.1 節的規格表,每一列都可以直接改寫成一個測試:

規格(1.1 節) 測試案例:輸入 → 應該得到
毛利率 < 15% 亮紅燈,建議重報到 20% 毛利 成本 2,800、報價 €100、匯率 31.5 → 🛑,毛利率 11.1%,建議 €112
毛利率 ≥ 15% 放行 成本 3,900、報價 €150、匯率 31.5 → ✅,毛利率 17.5%
剛好 15% 也放行(≥,不是 >) 成本 2,550、報價 €100、匯率 30 → ✅
資料不完整亮黃燈 匯率空白 → ⚠️

第三列就是邊界條件(第 2.4 節):規則寫「≥」還是「>」,差別只發生在剛好 15% 的那一筆,人工測試最容易漏掉。


肆、讓 AI 做出來

💡 為什麼改用 Python? GAS 也能寫測試,但 Python 的 pytest 是業界最普遍、最容易上手的測試工具。測試的觀念與語言無關。Python 基礎見附錄 G,在終端機執行 Python 見附錄 E.4。

1. 給 AI 的 Prompt

請把下列報價毛利規則寫成 Python 函式 quote_status(cost_twd, price_eur, rate),
並另外寫一個 pytest 測試檔。

【規則】
1. 毛利率 = 1 − 成本 ÷ (歐元報價 × 匯率)
2. 毛利率 ≥ 15%:回傳 ("✅", 毛利率, None)
3. 毛利率 < 15%:建議新報價 = 成本 ÷ (1 − 20%) ÷ 匯率,無條件進位到整數;
   回傳 ("🛑", 毛利率, 新報價)
4. 15% 與 20% 宣告為檔案最上方的常數 MIN_MARGIN、TARGET_MARGIN

【例外】任一輸入不是正數(含空白 None):回傳 ("⚠️", None, None)

【測試】請用下列 4 個案例,測試名稱用中文寫出「情境+預期」:
(2800, 100, 31.5) → 🛑、毛利率約 0.111、建議 112
(3900, 150, 31.5) → ✅、毛利率約 0.175
(2550, 100, 30) → ✅(剛好 15%)
(2800, 100, None) → ⚠️

2. AI 產出的程式碼(已人工驗收)

quote.py(商業規則):

import math

# ===== 商業規則(與 1.1 節相同)=====
MIN_MARGIN = 0.15     # 毛利底線
TARGET_MARGIN = 0.20  # 重新報價的目標毛利


def quote_status(cost_twd, price_eur, rate):
    """回傳 (狀態, 毛利率, 建議新報價)。"""
    values = (cost_twd, price_eur, rate)
    # 例外:任一欄不是正數,就不判斷
    if not all(isinstance(v, (int, float)) and v > 0 for v in values):
        return ("⚠️", None, None)

    margin = 1 - cost_twd / (price_eur * rate)   # 除以「收入」
    if margin >= MIN_MARGIN:
        return ("✅", margin, None)

    new_price = math.ceil(cost_twd / (1 - TARGET_MARGIN) / rate)
    return ("🛑", margin, new_price)

test_quote.py(測試):

import pytest
from quote import quote_status


def test_A款匯率下跌應亮紅燈並建議重報112歐元():
    status, margin, new_price = quote_status(2800, 100, 31.5)
    assert status == "🛑"
    assert margin == pytest.approx(0.111, abs=0.001)
    assert new_price == 112


def test_B款毛利17點5趴應放行():
    status, margin, _ = quote_status(3900, 150, 31.5)
    assert status == "✅"
    assert margin == pytest.approx(0.175, abs=0.001)


def test_剛好15趴應放行():
    status, _, _ = quote_status(2550, 100, 30)
    assert status == "✅"


def test_匯率空白應亮黃燈():
    status, _, _ = quote_status(2800, 100, None)
    assert status == "⚠️"

🔍 驗收重點(不懂語法也能檢查) - assert 就是「我斷言結果應該是……」,不成立就亮紅燈。 - 每個測試的預期值,是不是你自己用計算機算過的?不要讓 AI 自己出題又自己對答案。 - pytest.approx(0.111, abs=0.001) 表示「約等於 0.111,誤差 0.001 內」。毛利率是小數,不能要求一模一樣。

3. 執行

  1. 安裝 Python 後,在終端機輸入 pip install pytest。
  2. 建一個資料夾,把上面兩個檔案存進去(檔名要一字不差)。
  3. 在該資料夾執行:
python -m pytest -v
  1. 看到 4 passed 就代表四條規則都成立。也可以請 Antigravity 等 AI 開發工具代為建立檔案並執行,但結果要自己看。

伍、跑跑看、壞給你看

每個實驗做完,把程式改回原狀再做下一個。

實驗 操作 預期結果 想想看
① 混用加成率 把毛利公式改成 (price_eur * rate - cost_twd) / cost_twd 2 failed, 2 passed:A 款算出 12.5%、B 款 21.2%,與預期不符 狀態燈號沒變,但數字錯了。如果測試只檢查燈號,抓得到嗎?
② 老闆提高底線 把 MIN_MARGIN 改成 0.18 2 failed:B 款與「剛好 15%」都變成 🛑 這不是 bug,是規則改了。測試要跟著改——測試就是規格
③ 把 >= 改成 > 只改比較符號 仍然 4 passed,沒抓到! 電腦算 1 − 2550 ÷ 3000 得到 0.15000000000000002,比 0.15 多一點點。第 5.4 節會處理這種「浮點數」陷阱

實驗③很重要:測試全部通過,不代表程式沒有錯,只代表「你想到的情況」沒有錯。


陸、回到情境

Knight Capital 的 Power Peg 在 2005 年被改壞時,只要有一個「舊功能行為不變」的自動化測試,就會在當時亮紅燈,而不是七年後在開盤 45 分鐘內爆發。我們的報價規則現在也有了 4 個測試:任何人(包括 AI)改了程式,按一個指令就知道規則還在不在。

限制 後果 在哪一節解決
先寫程式、後補測試,容易「照著程式寫測試」 測試只是在確認程式,而不是確認規格 5.2 先寫測試再寫程式(TDD)
只測單一函式 匯率 API 改格式、兩個模組接不起來,單元測試看不到 5.3 整合測試與 E2E
測試案例只有人想得到的 4 個 像實驗③的邊界漏洞抓不到 5.4 讓 AI 幫忙找極端案例
要記得自己去跑測試 忙的時候就忘了 5.6 回歸測試、6.1 每次改版自動執行

本節小結

  1. 軟體缺陷是商業風險:Knight Capital 的四個缺口,每一個都是沒有自動化檢查的地方。
  2. 越早發現越便宜,所以要「左移」:在規格與程式階段就把錯抓出來。
  3. 測試金字塔:大量便宜的單元測試,少量昂貴的端到端測試。
  4. 測試就是可執行的規格;全部通過只代表「想到的情況」沒錯。

柒、練習

  1. 改數字(5 分鐘):新增一個測試:C 款(成本 4,800、報價 €200、匯率 31.5)應該放行,毛利率約 23.8%。執行看看是否通過。
  2. 加功能(20 分鐘):依第 1.1 節練習 2,毛利率介於 15%~20% 時要回傳「⚠️ 毛利偏薄」。先寫測試(B 款應該變成偏薄),確認它失敗,再請 AI 修改 quote_status(),直到全部通過。哪些舊測試也要跟著改?
  3. 管理反思(討論):業務經理說:「人手不夠,上線前請工讀生手動點一遍就好。」請用缺陷成本曲線與測試金字塔,分析當產品從 3 款增加到 300 款、每週改版一次時,這個做法會遇到什麼問題。

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。