10.3 對比實驗、A/B 測試與導入 ROI 評估
學完本節,你能夠:
- 設計一個「只改一個變因」的 A/B 測試,事前估算需要的樣本數,並正確解讀 p 值。
- 用消融實驗判斷系統中昂貴的元件是否值得保留。
- 正確計算 AI 導入的 ROI 與回收期,並用敏感度分析檢查數字經不經得起質疑。
壹、開場情境:財務長的兩個問題
📌 以下為教學情境(依實務改編)。
一家外貿公司去年導入兩套 AI 系統:「報價回信助手」與「單證審核 Agent」。年度預算會議上,財務長問了兩個問題:
- 「業務部說新版回信提示詞讓成交變多了。是真的變多,還是剛好運氣好?」
- 「單證審核 Agent 每年花我們多少錢、省了多少錢?投資報酬率到底是多少?」
專案負責人只回答得出「同仁反應不錯」。財務長說:「那下一季預算先暫停。」
本節要解決的問題: 用財務長聽得懂、也挑不出毛病的方式,回答「有沒有效」與「值不值得」。
貳、四種評估工具各回答什麼問題
| 工具 | 回答的問題 | 在哪裡做 | 本節案例 |
|---|---|---|---|
| 離線評估(第 10.2 節) | AI 答得對不對? | 用評估資料集考試 | — |
| A/B 測試 | 新版本在真實市場上是否比較好? | 線上,真實客戶 | 報價回信助手 |
| 消融實驗 | 拿掉某個元件,表現會變差多少? | 離線,用評估資料集 | 單證審核 Agent |
| ROI 分析 | 整體算起來,賺錢還是賠錢? | 財務試算 | 單證審核 Agent |
參、A/B 測試:新版回信真的比較好嗎?
A/B 測試:把客戶隨機分成兩組,一組用舊版(A,對照組),一組用新版(B,實驗組),其他條件都相同,比較兩組的結果。因為是隨機分組,兩組客戶的條件平均而言相同,結果的差異才能歸因於「新版本」。
1. 把「試試看」寫成實驗規格
| 業務部說的話 | 需要追問的問題 | 寫成規格 |
|---|---|---|
| 「新版比較好」 | 好在哪裡?用什麼數字判斷? | 主要指標:詢價成單率 = 成交詢價數 ÷ 詢價數 |
| 「新版改了很多東西」 | 到底改了什麼? | 只改一個變因:只換回信提示詞(新版會主動說明交期與付款條件),模型與知識庫不動 |
| 「隨便分一下」 | 怎麼分組? | 以買家為單位隨機分 50/50,同一位買家永遠看到同一版 |
| 「跑一週看看」 | 要多少樣本才夠? | 事前試算:舊版成單率 12.4%,若想偵測出提升到 16.8% 的差異,每組約需 1,000 筆詢價(顯著水準 5%、檢定力 80%)。依目前詢價量約需 4 週 |
| (業務部沒說) | 成單變多,會不會是靠降價? | 護欄指標:平均毛利率不得低於 15%(第 1.1 節的 MIN_MARGIN),退貨率不得上升 |
⚠️ 為什麼只能改一個變因? 如果新版同時換了模型、改了提示詞、又加了新的知識庫,就算成單率上升,你也不知道是哪一項的功勞,更不知道哪一項其實在扯後腿。
(只改這一項)"] A --> M["4 週後比較
主要指標:成單率
護欄指標:毛利率、退貨率"] B --> M
2. 什麼是統計顯著性
p 值:假設兩個版本其實沒有差別,純粹因為運氣,看到「這麼大或更大差距」的機率。
- p 值很小(慣例上 < 0.05)→ 「純靠運氣」很難解釋這個差距 → 稱為統計顯著。
- p 值 不是「B 比 A 好的機率」,也不是「結論錯誤的機率」。
- 統計顯著也不代表差距大到有商業價值;差距多大,要另外看。
3. 實驗結果
4 週後,每組各累積 1,000 筆詢價:
| 組別 | 詢價數 | 成交數 | 成單率 | 平均毛利率(護欄) |
|---|---|---|---|---|
| A 舊版 | 1,000 | 124 | 12.4% | 18.2% |
| B 新版 | 1,000 | 168 | 16.8% | 17.9% |
用下面這段 Python 計算 p 值(可在 Google Colab 直接執行,不需安裝任何套件):
from math import sqrt, erf
# ===== 實驗資料(只要改這兩行)=====
A_INQUIRIES, A_DEALS = 1000, 124 # 對照組:舊版回信提示詞
B_INQUIRIES, B_DEALS = 1000, 168 # 實驗組:新版回信提示詞
def two_proportion_test(n1, x1, n2, x2):
"""兩組比率差異的 z 檢定,回傳 (A 成單率, B 成單率, p 值)"""
p1, p2 = x1 / n1, x2 / n2
pooled = (x1 + x2) / (n1 + n2) # 假設兩組沒差時的共同成單率
se = sqrt(pooled * (1 - pooled) * (1 / n1 + 1 / n2))
z = (p2 - p1) / se
p_value = 2 * (1 - 0.5 * (1 + erf(abs(z) / sqrt(2)))) # 雙尾
return p1, p2, p_value
p1, p2, p = two_proportion_test(A_INQUIRIES, A_DEALS, B_INQUIRIES, B_DEALS)
print(f"A 成單率 {p1:.1%}|B 成單率 {p2:.1%}|差距 {(p2 - p1) * 100:.1f} 個百分點")
print(f"p 值 = {p:.3f}")
print("✅ 差異達統計顯著(p < 0.05)" if p < 0.05 else "⚠️ 尚未達統計顯著,不能下結論")
執行結果:
A 成單率 12.4%|B 成單率 16.8%|差距 4.4 個百分點
p 值 = 0.005
✅ 差異達統計顯著(p < 0.05)
解讀: 成單率提高 4.4 個百分點(相對提升約 35%),p 值 0.005,很難用運氣解釋;護欄指標毛利率 17.9% 仍高於 15% 底線。結論:新版可以全面上線。
🔍 驗收重點 - 「4.4 個百分點」與「提升 35%」是兩種說法:前者是 16.8% − 12.4%,後者是 4.4 ÷ 12.4。報告時要寫清楚是哪一種。 - p 值算出來之前,主要指標、樣本數與護欄指標都已經事先寫好,不是看到結果才挑對自己有利的數字。
4. 跑跑看、壞給你看
把程式最上方兩行換成以下數字,重新執行:
| 實驗 | 操作 | 預期結果 | 想想看 |
|---|---|---|---|
| ① 第一週就想下結論 | 改成 A:250 筆/31 成交,B:250 筆/42 成交 | 成單率一樣是 12.4% vs 16.8%,但 p 值 = 0.164,⚠️ 不顯著 | 同樣的成單率,為什麼樣本少就不能下結論? |
| ② 只跑一半 | 改成 A:500/62,B:500/84 | p 值 = 0.049,勉強低於 0.05 | 如果 B 組少成交 1、2 筆,結論會不會翻轉? |
| ③ 每天偷看 | 每天都算一次 p 值,一低於 0.05 就宣布勝利 | 「誤判有效」的機率會遠高於 5% | 為什麼樣本數要事先決定,而不是看到想要的結果就停? |
肆、消融實驗:昂貴的元件值得留嗎?
消融實驗(Ablation Study):一次拿掉系統中的一個元件,用同一份評估資料集重新考試,看表現掉了多少。用來判斷每個元件的實際貢獻。
單證審核 Agent 目前使用高階模型、付費向量資料庫與 5 個工具。工程團隊用 1,000 題評估資料集做了以下測試(每年約審核 100,000 份單證):
| 方案 | 正確題數 | 正確率 | 單次成本 | 年成本 | 紅線題 |
|---|---|---|---|---|---|
| ① 完整版 | 962 | 96.2% | NT$ 4.80 | NT$ 480,000 | ✅ 全過 |
| ② 拿掉付費向量資料庫,改放精簡的法規摘要 | 958 | 95.8% | NT$ 0.96 | NT$ 96,000 | ✅ 全過 |
| ③ 再拿掉 2 個很少用到的工具 | 957 | 95.7% | NT$ 0.64 | NT$ 64,000 | ✅ 全過 |
怎麼解讀:
- 方案 ② 正確率下降 0.4 個百分點(4 題),成本下降 80%,每年省 NT$ 384,000。
- 4 題的差距算不算真的變差?以 1,000 題、正確率約 96% 來估,正確率的標準誤(隨機波動的典型幅度)約 0.6 個百分點,0.4 在波動範圍內。但不能只看數字,還要逐題檢查多錯的 4 題是什麼:如果都是小額、低風險案件,可以接受;如果紅線題失敗,就不能拿掉。
- AI 有機率性(第 10.1 節),每個方案最好重跑 3 次取平均,避免一次運氣好壞影響判斷。
- 方案 ③ 再省 NT$ 32,000,正確率幾乎不變。但被拿掉的工具如果是在罕見但高風險的情境才會用到,評估資料集裡要有對應的題目,否則消融實驗看不出它的價值。
決策: 採用方案 ②;方案 ③ 先補上相關情境的評估題,再決定。
伍、ROI:單證審核 Agent 值得嗎?
1. 公式
第一年 ROI = (年度效益 − 年度持有成本 − 前期投資)÷(前期投資 + 年度持有成本)
回收期(月)= 前期投資 ÷(每月淨效益)
持有成本(TCO,Total Cost of Ownership):系統上線後每年持續要付的錢,不只是 API 費,還包括人工複核與題庫維護的工時。
2. 試算
| 項目 | 金額(NT$/年) | 說明 |
|---|---|---|
| 前期投資 | 400,000 | 流程梳理、評估題庫標註、系統整合(一次性) |
| 效益①:釋出的審單工時 | 900,000 | 2 位制單員約 6 成的審單時間,折算人事成本;假設釋出的工時已轉去開發新客戶(否則不應計為現金效益) |
| 效益②:罰款與滯港費減少 | 300,000 | 每年 8 次降為 2 次,每次約 50,000 |
| 年度效益合計 | 1,200,000 | |
| 持有成本:API 費 | 120,000 | 每月約 10,000 |
| 持有成本:雲端與訂閱 | 60,000 | 每月約 5,000 |
| 持有成本:人工複核與題庫維護 | 120,000 | 每月約 10 小時 × NT$ 1,000 |
| 年度持有成本合計 | 300,000 |
年度淨效益 = 1,200,000 − 300,000 = 900,000
第一年 ROI = (1,200,000 − 300,000 − 400,000) ÷ (400,000 + 300,000) = 500,000 ÷ 700,000 ≈ 71.4%
回收期 = 400,000 ÷ (900,000 ÷ 12) ≈ 5.3 個月
第二年起 ROI(無前期投資)= (1,200,000 − 300,000) ÷ 300,000 = 300%
3. 財務長會挑的三個毛病
| 常見寫法 | 問題 | 影響 |
|---|---|---|
| 「ROI = 年度淨效益 ÷ 前期投資 = 900,000 ÷ 400,000 = 225%」 | 分子沒扣掉前期投資,分母沒算持有成本,數字被灌水 | 正確的第一年 ROI 是 71.4%,不是 225% |
| 把「釋出的工時」當成「省下的現金」 | 制單員沒有離職,薪水照付;工時只有被拿去做更有價值的事,才是真效益 | 要說明釋出的工時用在哪裡(例如開發新客戶) |
| 持有成本只算 API 費 | 漏掉人工複核與題庫維護 | 持有成本被低估,ROI 被高估 |
⚠️ 敏感度分析:假設一變,結論會不會翻轉? 如果工時效益只實現一半(900,000 → 450,000),年度效益變成 750,000,第一年 ROI = (750,000 − 300,000 − 400,000) ÷ 700,000 ≈ 7.1%,回收期 = 400,000 ÷ (450,000 ÷ 12) ≈ 10.7 個月。仍然划算,但已經很薄。向高層報告時,同時給出「保守/基準」兩組數字,比只給一個漂亮數字更有說服力。
陸、回到情境
現在,專案負責人可以這樣回答財務長:
- 新版回信提示詞:4 週、每組 1,000 筆詢價的 A/B 測試,成單率從 12.4% 提高到 16.8%(p = 0.005),毛利率維持在底線之上。
- 單證審核 Agent:第一年 ROI 71.4%,約 5.3 個月回本;保守情境下 ROI 7.1%。消融實驗後拿掉付費向量資料庫,每年再省 NT$ 384,000。
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| A/B 測試只能測「能隨機分組」的事 | 合約條款、法規判斷等不能拿真實客戶做實驗 | 用 10.2 評估資料集離線評估 |
| ROI 依賴假設數字 | 假設錯了,結論就錯 | 敏感度分析;上線後每季用實際數字重算 |
| 上線後表現可能隨時間退化 | 今年的 ROI 不保證明年成立 | 10.4 持續進化閉環 |
本節小結
- A/B 測試要事先定好主要指標、護欄指標與樣本數,而且一次只改一個變因。
- p 值是「假設沒差別時,看到這種差距的機率」,不是「B 比 A 好的機率」;樣本太少或中途偷看都會誤判。
- 消融實驗用來擠掉不必要的成本,但要逐題檢查多錯的是哪些題,紅線題不能退步。
- ROI 要扣掉前期投資、算進全部持有成本,並附上敏感度分析。
柒、練習
- 改數字(5 分鐘):如果罰款與滯港費只從每年 8 次降為 5 次(每次仍約 50,000),年度效益變成多少?第一年 ROI 與回收期變成多少?(建議用試算表把第伍段的表格做出來,改一格就能看到結果。)
- 設計實驗(20 分鐘):業務部想把 AI 客服換成更貴的新模型,理由是「寫作評測分數比較高」。請依第參段的格式,寫出一份 A/B 測試規格:主要指標、護欄指標、分組方式、只改哪一個變因,並說明你會如何估算需要的樣本數。
- 管理反思(討論):A/B 測試發現新功能讓客單價提高 20%,但退貨率也上升了。你需要哪些額外資料,才能判斷這項功能整體是賺錢還是賠錢?