5.1 軟體缺陷的巨額商業代價與測試金字塔
學完本節,你能夠:
- 用 Knight Capital 事件說明:缺陷越晚被發現,商業代價越高。
- 說出測試金字塔三層(單元、整合、端到端)各自檢查什麼、成本差在哪裡。
- 為第 1.1 節的報價毛利規則寫出 4 個單元測試,並親手執行、故意弄壞、看它亮紅燈。
壹、開場情境:45 分鐘虧損 4.6 億美元
📌 以下為真實事件,數字依美國證管會(SEC)2013 年 10 月的處分文件。
2012 年 8 月 1 日,紐約證交所(NYSE)啟動「散戶流動性計畫」(RLP)。美國大型造市商 Knight Capital 為此改寫了自家的下單路由系統 SMARS,並在前幾天以人工方式把新程式複製到 8 台伺服器上。
| 時間 | 發生什麼事 |
|---|---|
| 2003 年 | 一個叫「Power Peg」的舊功能停用,但程式碼一直沒有刪除 |
| 2005 年 | 一次修改讓 Power Peg 失去「追蹤訂單已成交」的能力;因為已停用,沒有人重新測試 |
| 2012/7 下旬 | 部署 RLP 新程式;技術人員漏了 8 台中的 1 台。新程式沿用了原本啟動 Power Peg 的旗標(flag,一個「開/關」設定) |
| 8/1 開盤前 | 系統自動寄出 97 封錯誤通知信,提到 Power Peg,沒有人處理 |
| 8/1 09:30 | 第 8 台伺服器收到 212 筆客戶委託,卻啟動了舊的 Power Peg,不停送出子單 |
| 約 45 分鐘內 | 154 檔股票、約 400 萬次成交、逾 3.97 億股;累積約 35 億美元多頭與 31.5 億美元空頭的非預期部位 |
| 事件中 | 工程師把其餘 7 台的新程式撤回,結果 8 台全部走進舊程式,情況更糟 |
| 事後 | 損失逾 4.6 億美元(公司當時公告約 4.4 億美元);數日後靠投資人團 4 億美元緊急注資存活,2013 年與 GETCO 合併;SEC 另罰 1,200 萬美元 |
程式碼沒刪"] --> B["2005 修改
沒有重新測試"] B --> C["2012/7 人工部署
漏了 1 台伺服器"] C --> D["8/1 開盤
97 封警告沒人看"] D --> E["45 分鐘
損失逾 4.6 億美元"] style E fill:#fee2e2,stroke:#ef4444
注意:這不是「一個工程師打錯一個字」。整條鏈上有四個本來可以攔下它的時間點,每一個都沒有自動化的檢查。
本節要解決的問題: 我們怎麼在「錯誤還便宜」的時候抓到它?以第 1.1 節的報價系統為例,怎麼讓電腦每次都幫你檢查一遍「規則還對不對」?
貳、為什麼會這樣:越晚發現越貴
1. 缺陷成本曲線
軟體工程常引用一條經驗法則(源自 Barry Boehm 等人 1970–80 年代的研究):同一個錯誤,越晚被發現,修正成本越高。各研究的倍數差異很大,下表的數字只是示意數量級:
| 在哪個階段發現 | 修正要做什麼 | 相對成本(示意) |
|---|---|---|
| 需求/規格 | 改規格表上的一行字 | 1 |
| 撰寫程式 | 改幾行程式碼、重跑測試 | 10 |
| 上線前驗收 | 重新測試整個流程、延後上線 | 100 |
| 正式上線後 | 退款、賠償、訴訟、商譽損失 | 1,000 以上 |
所以品質管理講究左移(Shift-Left):把檢查往流程的左邊(越早越好)移動。
2. 測試金字塔
Mike Cohn 在《Succeeding with Agile》(2009)提出測試金字塔:自動化測試應該大量放在底層、少量放在頂層。常見的比例「70% 單元、20% 整合、10% 端到端」是業界經驗值,不是 Cohn 的原話,也不是硬性規定。
| 層級 | 測什麼 | 本書的例子 | 速度與成本 | 數量 |
|---|---|---|---|---|
| 單元測試 | 一個函式、一條商業規則 | 毛利率公式、建議報價是否進位 | 毫秒級、幾乎免費 | 最多 |
| 整合測試 | 兩個模組或外部系統接起來是否相容 | 匯率 API 回傳的格式,報價程式讀不讀得懂(5.3 節) | 秒級,要準備測試環境 | 中等 |
| 端到端測試(E2E) | 以使用者身分走完整個流程 | 打開試算表 → 抓匯率 → 按選單 → 看到紅燈(5.3 節) | 分鐘級、容易受網路影響 | 少而精 |
只靠人工「點點看」等於把所有檢查都放在金字塔頂端:最慢、最貴,而且每次改版都要重來一遍。
3. 對照 Knight Capital
| 缺口 | 哪種檢查本來可以攔下 |
|---|---|
| 2005 年改了 Power Peg 卻沒重測 | 單元測試:舊功能的行為有沒有被改壞 |
| 新程式沿用舊旗標 | 整合測試:新舊程式碼放在一起時,旗標的意義是否一致 |
| 人工部署漏了一台 | 自動化部署與部署後檢查(第 6.1 節) |
| 97 封警告沒人處理 | 監控與告警流程(第 6.3 節) |
測試不是萬靈丹,但它是成本最低的那一道防線。
參、把規則寫下來:測試就是可執行的規格
第 1.1 節的規格表,每一列都可以直接改寫成一個測試:
| 規格(1.1 節) | 測試案例:輸入 → 應該得到 |
|---|---|
| 毛利率 < 15% 亮紅燈,建議重報到 20% 毛利 | 成本 2,800、報價 €100、匯率 31.5 → 🛑,毛利率 11.1%,建議 €112 |
| 毛利率 ≥ 15% 放行 | 成本 3,900、報價 €150、匯率 31.5 → ✅,毛利率 17.5% |
| 剛好 15% 也放行(≥,不是 >) | 成本 2,550、報價 €100、匯率 30 → ✅ |
| 資料不完整亮黃燈 | 匯率空白 → ⚠️ |
第三列就是邊界條件(第 2.4 節):規則寫「≥」還是「>」,差別只發生在剛好 15% 的那一筆,人工測試最容易漏掉。
肆、讓 AI 做出來
💡 為什麼改用 Python? GAS 也能寫測試,但 Python 的 pytest 是業界最普遍、最容易上手的測試工具。測試的觀念與語言無關。Python 基礎見附錄 G,在終端機執行 Python 見附錄 E.4。
1. 給 AI 的 Prompt
請把下列報價毛利規則寫成 Python 函式 quote_status(cost_twd, price_eur, rate),
並另外寫一個 pytest 測試檔。
【規則】
1. 毛利率 = 1 − 成本 ÷ (歐元報價 × 匯率)
2. 毛利率 ≥ 15%:回傳 ("✅", 毛利率, None)
3. 毛利率 < 15%:建議新報價 = 成本 ÷ (1 − 20%) ÷ 匯率,無條件進位到整數;
回傳 ("🛑", 毛利率, 新報價)
4. 15% 與 20% 宣告為檔案最上方的常數 MIN_MARGIN、TARGET_MARGIN
【例外】任一輸入不是正數(含空白 None):回傳 ("⚠️", None, None)
【測試】請用下列 4 個案例,測試名稱用中文寫出「情境+預期」:
(2800, 100, 31.5) → 🛑、毛利率約 0.111、建議 112
(3900, 150, 31.5) → ✅、毛利率約 0.175
(2550, 100, 30) → ✅(剛好 15%)
(2800, 100, None) → ⚠️
2. AI 產出的程式碼(已人工驗收)
quote.py(商業規則):
import math
# ===== 商業規則(與 1.1 節相同)=====
MIN_MARGIN = 0.15 # 毛利底線
TARGET_MARGIN = 0.20 # 重新報價的目標毛利
def quote_status(cost_twd, price_eur, rate):
"""回傳 (狀態, 毛利率, 建議新報價)。"""
values = (cost_twd, price_eur, rate)
# 例外:任一欄不是正數,就不判斷
if not all(isinstance(v, (int, float)) and v > 0 for v in values):
return ("⚠️", None, None)
margin = 1 - cost_twd / (price_eur * rate) # 除以「收入」
if margin >= MIN_MARGIN:
return ("✅", margin, None)
new_price = math.ceil(cost_twd / (1 - TARGET_MARGIN) / rate)
return ("🛑", margin, new_price)
test_quote.py(測試):
import pytest
from quote import quote_status
def test_A款匯率下跌應亮紅燈並建議重報112歐元():
status, margin, new_price = quote_status(2800, 100, 31.5)
assert status == "🛑"
assert margin == pytest.approx(0.111, abs=0.001)
assert new_price == 112
def test_B款毛利17點5趴應放行():
status, margin, _ = quote_status(3900, 150, 31.5)
assert status == "✅"
assert margin == pytest.approx(0.175, abs=0.001)
def test_剛好15趴應放行():
status, _, _ = quote_status(2550, 100, 30)
assert status == "✅"
def test_匯率空白應亮黃燈():
status, _, _ = quote_status(2800, 100, None)
assert status == "⚠️"
🔍 驗收重點(不懂語法也能檢查) -
assert就是「我斷言結果應該是……」,不成立就亮紅燈。 - 每個測試的預期值,是不是你自己用計算機算過的?不要讓 AI 自己出題又自己對答案。 -pytest.approx(0.111, abs=0.001)表示「約等於 0.111,誤差 0.001 內」。毛利率是小數,不能要求一模一樣。
3. 執行
- 安裝 Python 後,在終端機輸入
pip install pytest。 - 建一個資料夾,把上面兩個檔案存進去(檔名要一字不差)。
- 在該資料夾執行:
python -m pytest -v
- 看到
4 passed就代表四條規則都成立。也可以請 Antigravity 等 AI 開發工具代為建立檔案並執行,但結果要自己看。
伍、跑跑看、壞給你看
每個實驗做完,把程式改回原狀再做下一個。
| 實驗 | 操作 | 預期結果 | 想想看 |
|---|---|---|---|
| ① 混用加成率 | 把毛利公式改成 (price_eur * rate - cost_twd) / cost_twd |
2 failed, 2 passed:A 款算出 12.5%、B 款 21.2%,與預期不符 |
狀態燈號沒變,但數字錯了。如果測試只檢查燈號,抓得到嗎? |
| ② 老闆提高底線 | 把 MIN_MARGIN 改成 0.18 |
2 failed:B 款與「剛好 15%」都變成 🛑 |
這不是 bug,是規則改了。測試要跟著改——測試就是規格 |
③ 把 >= 改成 > |
只改比較符號 | 仍然 4 passed,沒抓到! |
電腦算 1 − 2550 ÷ 3000 得到 0.15000000000000002,比 0.15 多一點點。第 5.4 節會處理這種「浮點數」陷阱 |
實驗③很重要:測試全部通過,不代表程式沒有錯,只代表「你想到的情況」沒有錯。
陸、回到情境
Knight Capital 的 Power Peg 在 2005 年被改壞時,只要有一個「舊功能行為不變」的自動化測試,就會在當時亮紅燈,而不是七年後在開盤 45 分鐘內爆發。我們的報價規則現在也有了 4 個測試:任何人(包括 AI)改了程式,按一個指令就知道規則還在不在。
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 先寫程式、後補測試,容易「照著程式寫測試」 | 測試只是在確認程式,而不是確認規格 | 5.2 先寫測試再寫程式(TDD) |
| 只測單一函式 | 匯率 API 改格式、兩個模組接不起來,單元測試看不到 | 5.3 整合測試與 E2E |
| 測試案例只有人想得到的 4 個 | 像實驗③的邊界漏洞抓不到 | 5.4 讓 AI 幫忙找極端案例 |
| 要記得自己去跑測試 | 忙的時候就忘了 | 5.6 回歸測試、6.1 每次改版自動執行 |
本節小結
- 軟體缺陷是商業風險:Knight Capital 的四個缺口,每一個都是沒有自動化檢查的地方。
- 越早發現越便宜,所以要「左移」:在規格與程式階段就把錯抓出來。
- 測試金字塔:大量便宜的單元測試,少量昂貴的端到端測試。
- 測試就是可執行的規格;全部通過只代表「想到的情況」沒錯。
柒、練習
- 改數字(5 分鐘):新增一個測試:C 款(成本 4,800、報價 €200、匯率 31.5)應該放行,毛利率約 23.8%。執行看看是否通過。
- 加功能(20 分鐘):依第 1.1 節練習 2,毛利率介於 15%~20% 時要回傳「⚠️ 毛利偏薄」。先寫測試(B 款應該變成偏薄),確認它失敗,再請 AI 修改
quote_status(),直到全部通過。哪些舊測試也要跟著改? - 管理反思(討論):業務經理說:「人手不夠,上線前請工讀生手動點一遍就好。」請用缺陷成本曲線與測試金字塔,分析當產品從 3 款增加到 300 款、每週改版一次時,這個做法會遇到什麼問題。