10.3 對比實驗、A/B 測試與導入 ROI 評估

學完本節,你能夠:

  1. 設計一個「只改一個變因」的 A/B 測試,事前估算需要的樣本數,並正確解讀 p 值。
  2. 用消融實驗判斷系統中昂貴的元件是否值得保留。
  3. 正確計算 AI 導入的 ROI 與回收期,並用敏感度分析檢查數字經不經得起質疑。

壹、開場情境:財務長的兩個問題

📌 以下為教學情境(依實務改編)。

一家外貿公司去年導入兩套 AI 系統:「報價回信助手」與「單證審核 Agent」。年度預算會議上,財務長問了兩個問題:

  1. 「業務部說新版回信提示詞讓成交變多了。是真的變多,還是剛好運氣好?」
  2. 「單證審核 Agent 每年花我們多少錢、省了多少錢?投資報酬率到底是多少?」

專案負責人只回答得出「同仁反應不錯」。財務長說:「那下一季預算先暫停。」

本節要解決的問題: 用財務長聽得懂、也挑不出毛病的方式,回答「有沒有效」與「值不值得」。


貳、四種評估工具各回答什麼問題

工具 回答的問題 在哪裡做 本節案例
離線評估(第 10.2 節) AI 答得對不對? 用評估資料集考試 —
A/B 測試 新版本在真實市場上是否比較好? 線上,真實客戶 報價回信助手
消融實驗 拿掉某個元件,表現會變差多少? 離線,用評估資料集 單證審核 Agent
ROI 分析 整體算起來,賺錢還是賠錢? 財務試算 單證審核 Agent

參、A/B 測試:新版回信真的比較好嗎?

A/B 測試:把客戶隨機分成兩組,一組用舊版(A,對照組),一組用新版(B,實驗組),其他條件都相同,比較兩組的結果。因為是隨機分組,兩組客戶的條件平均而言相同,結果的差異才能歸因於「新版本」。

1. 把「試試看」寫成實驗規格

業務部說的話 需要追問的問題 寫成規格
「新版比較好」 好在哪裡?用什麼數字判斷? 主要指標:詢價成單率 = 成交詢價數 ÷ 詢價數
「新版改了很多東西」 到底改了什麼? 只改一個變因:只換回信提示詞(新版會主動說明交期與付款條件),模型與知識庫不動
「隨便分一下」 怎麼分組? 以買家為單位隨機分 50/50,同一位買家永遠看到同一版
「跑一週看看」 要多少樣本才夠? 事前試算:舊版成單率 12.4%,若想偵測出提升到 16.8% 的差異,每組約需 1,000 筆詢價(顯著水準 5%、檢定力 80%)。依目前詢價量約需 4 週
(業務部沒說) 成單變多,會不會是靠降價? 護欄指標:平均毛利率不得低於 15%(第 1.1 節的 MIN_MARGIN),退貨率不得上升

⚠️ 為什麼只能改一個變因? 如果新版同時換了模型、改了提示詞、又加了新的知識庫,就算成單率上升,你也不知道是哪一項的功勞,更不知道哪一項其實在扯後腿。

flowchart LR U["海外買家詢價"] --> S{"依買家隨機分組"} S -->|"50%"| A["A 組:舊版提示詞"] S -->|"50%"| B["B 組:新版提示詞
(只改這一項)"] A --> M["4 週後比較
主要指標:成單率
護欄指標:毛利率、退貨率"] B --> M

2. 什麼是統計顯著性

p 值:假設兩個版本其實沒有差別,純粹因為運氣,看到「這麼大或更大差距」的機率。

  • p 值很小(慣例上 < 0.05)→ 「純靠運氣」很難解釋這個差距 → 稱為統計顯著。
  • p 值 不是「B 比 A 好的機率」,也不是「結論錯誤的機率」。
  • 統計顯著也不代表差距大到有商業價值;差距多大,要另外看。

3. 實驗結果

4 週後,每組各累積 1,000 筆詢價:

組別 詢價數 成交數 成單率 平均毛利率(護欄)
A 舊版 1,000 124 12.4% 18.2%
B 新版 1,000 168 16.8% 17.9%

用下面這段 Python 計算 p 值(可在 Google Colab 直接執行,不需安裝任何套件):

from math import sqrt, erf

# ===== 實驗資料(只要改這兩行)=====
A_INQUIRIES, A_DEALS = 1000, 124   # 對照組:舊版回信提示詞
B_INQUIRIES, B_DEALS = 1000, 168   # 實驗組:新版回信提示詞

def two_proportion_test(n1, x1, n2, x2):
    """兩組比率差異的 z 檢定,回傳 (A 成單率, B 成單率, p 值)"""
    p1, p2 = x1 / n1, x2 / n2
    pooled = (x1 + x2) / (n1 + n2)                 # 假設兩組沒差時的共同成單率
    se = sqrt(pooled * (1 - pooled) * (1 / n1 + 1 / n2))
    z = (p2 - p1) / se
    p_value = 2 * (1 - 0.5 * (1 + erf(abs(z) / sqrt(2))))  # 雙尾
    return p1, p2, p_value

p1, p2, p = two_proportion_test(A_INQUIRIES, A_DEALS, B_INQUIRIES, B_DEALS)
print(f"A 成單率 {p1:.1%}|B 成單率 {p2:.1%}|差距 {(p2 - p1) * 100:.1f} 個百分點")
print(f"p 值 = {p:.3f}")
print("✅ 差異達統計顯著(p < 0.05)" if p < 0.05 else "⚠️ 尚未達統計顯著,不能下結論")

執行結果:

A 成單率 12.4%|B 成單率 16.8%|差距 4.4 個百分點
p 值 = 0.005
✅ 差異達統計顯著(p < 0.05)

解讀: 成單率提高 4.4 個百分點(相對提升約 35%),p 值 0.005,很難用運氣解釋;護欄指標毛利率 17.9% 仍高於 15% 底線。結論:新版可以全面上線。

🔍 驗收重點 - 「4.4 個百分點」與「提升 35%」是兩種說法:前者是 16.8% − 12.4%,後者是 4.4 ÷ 12.4。報告時要寫清楚是哪一種。 - p 值算出來之前,主要指標、樣本數與護欄指標都已經事先寫好,不是看到結果才挑對自己有利的數字。

4. 跑跑看、壞給你看

把程式最上方兩行換成以下數字,重新執行:

實驗 操作 預期結果 想想看
① 第一週就想下結論 改成 A:250 筆/31 成交,B:250 筆/42 成交 成單率一樣是 12.4% vs 16.8%,但 p 值 = 0.164,⚠️ 不顯著 同樣的成單率,為什麼樣本少就不能下結論?
② 只跑一半 改成 A:500/62,B:500/84 p 值 = 0.049,勉強低於 0.05 如果 B 組少成交 1、2 筆,結論會不會翻轉?
③ 每天偷看 每天都算一次 p 值,一低於 0.05 就宣布勝利 「誤判有效」的機率會遠高於 5% 為什麼樣本數要事先決定,而不是看到想要的結果就停?

肆、消融實驗:昂貴的元件值得留嗎?

消融實驗(Ablation Study):一次拿掉系統中的一個元件,用同一份評估資料集重新考試,看表現掉了多少。用來判斷每個元件的實際貢獻。

單證審核 Agent 目前使用高階模型、付費向量資料庫與 5 個工具。工程團隊用 1,000 題評估資料集做了以下測試(每年約審核 100,000 份單證):

方案 正確題數 正確率 單次成本 年成本 紅線題
① 完整版 962 96.2% NT$ 4.80 NT$ 480,000 ✅ 全過
② 拿掉付費向量資料庫,改放精簡的法規摘要 958 95.8% NT$ 0.96 NT$ 96,000 ✅ 全過
③ 再拿掉 2 個很少用到的工具 957 95.7% NT$ 0.64 NT$ 64,000 ✅ 全過

怎麼解讀:

  1. 方案 ② 正確率下降 0.4 個百分點(4 題),成本下降 80%,每年省 NT$ 384,000。
  2. 4 題的差距算不算真的變差?以 1,000 題、正確率約 96% 來估,正確率的標準誤(隨機波動的典型幅度)約 0.6 個百分點,0.4 在波動範圍內。但不能只看數字,還要逐題檢查多錯的 4 題是什麼:如果都是小額、低風險案件,可以接受;如果紅線題失敗,就不能拿掉。
  3. AI 有機率性(第 10.1 節),每個方案最好重跑 3 次取平均,避免一次運氣好壞影響判斷。
  4. 方案 ③ 再省 NT$ 32,000,正確率幾乎不變。但被拿掉的工具如果是在罕見但高風險的情境才會用到,評估資料集裡要有對應的題目,否則消融實驗看不出它的價值。

決策: 採用方案 ②;方案 ③ 先補上相關情境的評估題,再決定。


伍、ROI:單證審核 Agent 值得嗎?

1. 公式

第一年 ROI = (年度效益 − 年度持有成本 − 前期投資)÷(前期投資 + 年度持有成本)
回收期(月)= 前期投資 ÷(每月淨效益)

持有成本(TCO,Total Cost of Ownership):系統上線後每年持續要付的錢,不只是 API 費,還包括人工複核與題庫維護的工時。

2. 試算

項目 金額(NT$/年) 說明
前期投資 400,000 流程梳理、評估題庫標註、系統整合(一次性)
效益①:釋出的審單工時 900,000 2 位制單員約 6 成的審單時間,折算人事成本;假設釋出的工時已轉去開發新客戶(否則不應計為現金效益)
效益②:罰款與滯港費減少 300,000 每年 8 次降為 2 次,每次約 50,000
年度效益合計 1,200,000
持有成本:API 費 120,000 每月約 10,000
持有成本:雲端與訂閱 60,000 每月約 5,000
持有成本:人工複核與題庫維護 120,000 每月約 10 小時 × NT$ 1,000
年度持有成本合計 300,000
年度淨效益 = 1,200,000 − 300,000 = 900,000
第一年 ROI = (1,200,000 − 300,000 − 400,000) ÷ (400,000 + 300,000) = 500,000 ÷ 700,000 ≈ 71.4%
回收期     = 400,000 ÷ (900,000 ÷ 12) ≈ 5.3 個月
第二年起 ROI(無前期投資)= (1,200,000 − 300,000) ÷ 300,000 = 300%

3. 財務長會挑的三個毛病

常見寫法 問題 影響
「ROI = 年度淨效益 ÷ 前期投資 = 900,000 ÷ 400,000 = 225%」 分子沒扣掉前期投資,分母沒算持有成本,數字被灌水 正確的第一年 ROI 是 71.4%,不是 225%
把「釋出的工時」當成「省下的現金」 制單員沒有離職,薪水照付;工時只有被拿去做更有價值的事,才是真效益 要說明釋出的工時用在哪裡(例如開發新客戶)
持有成本只算 API 費 漏掉人工複核與題庫維護 持有成本被低估,ROI 被高估

⚠️ 敏感度分析:假設一變,結論會不會翻轉? 如果工時效益只實現一半(900,000 → 450,000),年度效益變成 750,000,第一年 ROI = (750,000 − 300,000 − 400,000) ÷ 700,000 ≈ 7.1%,回收期 = 400,000 ÷ (450,000 ÷ 12) ≈ 10.7 個月。仍然划算,但已經很薄。向高層報告時,同時給出「保守/基準」兩組數字,比只給一個漂亮數字更有說服力。


陸、回到情境

現在,專案負責人可以這樣回答財務長:

  1. 新版回信提示詞:4 週、每組 1,000 筆詢價的 A/B 測試,成單率從 12.4% 提高到 16.8%(p = 0.005),毛利率維持在底線之上。
  2. 單證審核 Agent:第一年 ROI 71.4%,約 5.3 個月回本;保守情境下 ROI 7.1%。消融實驗後拿掉付費向量資料庫,每年再省 NT$ 384,000。
限制 後果 在哪一節解決
A/B 測試只能測「能隨機分組」的事 合約條款、法規判斷等不能拿真實客戶做實驗 用 10.2 評估資料集離線評估
ROI 依賴假設數字 假設錯了,結論就錯 敏感度分析;上線後每季用實際數字重算
上線後表現可能隨時間退化 今年的 ROI 不保證明年成立 10.4 持續進化閉環

本節小結

  1. A/B 測試要事先定好主要指標、護欄指標與樣本數,而且一次只改一個變因。
  2. p 值是「假設沒差別時,看到這種差距的機率」,不是「B 比 A 好的機率」;樣本太少或中途偷看都會誤判。
  3. 消融實驗用來擠掉不必要的成本,但要逐題檢查多錯的是哪些題,紅線題不能退步。
  4. ROI 要扣掉前期投資、算進全部持有成本,並附上敏感度分析。

柒、練習

  1. 改數字(5 分鐘):如果罰款與滯港費只從每年 8 次降為 5 次(每次仍約 50,000),年度效益變成多少?第一年 ROI 與回收期變成多少?(建議用試算表把第伍段的表格做出來,改一格就能看到結果。)
  2. 設計實驗(20 分鐘):業務部想把 AI 客服換成更貴的新模型,理由是「寫作評測分數比較高」。請依第參段的格式,寫出一份 A/B 測試規格:主要指標、護欄指標、分組方式、只改哪一個變因,並說明你會如何估算需要的樣本數。
  3. 管理反思(討論):A/B 測試發現新功能讓客單價提高 20%,但退貨率也上升了。你需要哪些額外資料,才能判斷這項功能整體是賺錢還是賠錢?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。