2.5 AI 輔助商業需求分析:Red Teaming 逆向質疑

學完本節,你能夠:

  1. 說明「確認偏誤」為什麼讓規格的作者最難看出自己規格的漏洞。
  2. 寫出一段 Red Teaming Prompt,讓 AI 扮演指定的反派角色審查商業規格。
  3. 把 AI 列出的漏洞分成「採納、查證、駁回」三類,並修訂規格。

壹、開場情境:一份「大家都說沒問題」的批發規格

📌 以下為教學情境(依外貿實務改編)。

一家台灣女裝批發網站準備在黑色星期五上線新的批發折扣,規格是業務經理寫的:

  1. 同一張訂單滿 50 件整單 9 折,滿 200 件整單 8 折。
  2. 可用美元或歐元結帳,兩種幣別的價格每天早上依匯率換算一次。
  3. 下單後保留庫存 30 分鐘,逾時未付款自動取消。

業務、倉管、財務三個部門開會看過,大家都說「很清楚,沒問題」。

但這三個部門都站在公司自己的角度看規格:假設客戶是誠實的、會照流程走的。上線後真正會來測試這份規格的,是想多拿一點折扣的客戶、想讓你缺貨的競爭對手,以及不會因為你是好意就放水的海關。

本節要解決的問題: 在規格交給 AI 或工程師之前,怎麼讓「站在對面的人」先看一遍?


貳、為什麼自己看不出來:確認偏誤與紅隊

確認偏誤(Confirmation Bias) 是指人傾向尋找支持自己想法的證據,忽略反面證據。規格是自己寫的,作者讀它時會自動補上「當然是這個意思」,所以最難看出漏洞。

軍事演習與資訊安全領域用紅藍隊對抗來對付這個問題:

藍隊(Blue Team) 紅隊(Red Team)
角色 建設與防守的一方 刻意扮演對手的一方
目標 讓系統正常運作 找出系統會被打破的地方
在本案例中 寫批發規格的業務經理 想鑽漏洞的客戶、競爭對手、海關、倉管

過去要找一群人扮演紅隊,成本很高,也有人情壓力:同事不好意思說你的規格很爛。生成式 AI 讓這件事變便宜了。Red Teaming Prompting 就是在交付規格前,指示 AI 扮演特定反派角色,專門找漏洞。

但 AI 紅隊也有限制,用之前要先知道:

AI 紅隊的優點 AI 紅隊的限制
幾秒內列出十幾種攻擊方式 會編造聽起來很像真的法規、案例或數字
沒有人情壓力,敢直接批評 不了解你公司的實際流程與客戶結構
可以換不同角色反覆審查 會把小問題誇大成大災難,需要人判斷輕重

所以 AI 紅隊的產出是待判斷的清單,不是結論。

flowchart LR A["經理人寫規格"] --> B["AI 扮演反派
列出漏洞"] B --> C{"經理人判斷"} C -->|"合理且重要"| D["採納:修訂規格"] C -->|"涉及法規或數字"| E["查證:找官方來源"] C -->|"不成立或不划算"| F["駁回:記錄理由"] D --> G["寫成驗收句
(第 2.6 節)"] E --> D

參、讓 AI 扮演四種反派角色

不同的反派會看到不同的漏洞。一次只指定一個角色,效果比「請找出所有問題」好得多。

角色 專挑什麼 典型發現
① 套利客戶 折扣門檻、退貨、幣別差、優惠疊加 先買滿門檻拿折扣,再退掉大部分
② 海關稽查人員 品名申報、HS Code 歸類、原產地、拆單 品名寫得太籠統,可能被要求補件或重新歸類
③ 第一線倉管 實際作業能不能做到 規格要求「出貨前逐件拍照」,但旺季一天要出 3,000 件
④ 惡意競爭對手 公開資訊、可被濫用的保留機制 用腳本大量下單不付款,讓熱門商品一直顯示缺貨

每個角色的 Prompt 開頭可以這樣寫:

角色 Prompt 開頭
① 套利客戶 「請扮演專門研究電商優惠漏洞的買家,目標是用最少的錢拿到最多的商品……」
② 海關稽查人員 「請扮演進口國海關的稽查人員,審查這份出口文件的生成規則,指出可能被要求補件或處罰的地方……」
③ 第一線倉管 「請扮演在海外倉工作多年、每天處理數千個包裹的倉管主管,指出這份流程中現場做不到的步驟……」
④ 惡意競爭對手 「請扮演競爭對手的營運主管,想讓這家公司的促銷活動失敗,你會利用這份規格的哪些設計?」

肆、動手做:對批發規格執行 Red Teaming

1. Prompt 範本

結構是:規格 → 角色 → 任務 → 輸出格式。最後一段要求 AI 標出「需要查證」的地方,是為了對付 AI 編造法規的問題。

【待審查的規格】
1. 同一張訂單滿 50 件整單 9 折,滿 200 件整單 8 折。
2. 可用美元或歐元結帳,兩種幣別的價格每天早上依匯率換算一次。
3. 下單後保留庫存 30 分鐘,逾時未付款自動取消。

【你的角色】
請扮演專門研究電商優惠漏洞的買家,以及想讓這場促銷失敗的競爭對手。

【任務】
找出 3 個會讓公司虧錢或活動失敗的漏洞。只找這份規格「沒寫清楚」或「寫了但會被濫用」的地方。

【輸出格式】每個漏洞依序列出:
1. 漏洞名稱與嚴重程度(高/中/低)
2. 觸發方式(用具體數字舉例)
3. 公司的損失
4. 建議的規格修改
5. 這個漏洞是否涉及法規或外部資料?若有,請註明「需查證」,不要自行引用條文編號。

2. 示範回覆

💡 以下為示範,AI 每次的回覆措辭與順序都會不同。

漏洞 1:大量下單不付款,鎖住庫存(嚴重程度:高)
- 觸發方式:競爭對手用腳本每 29 分鐘下一張 200 件的訂單但不付款。
  庫存一直處於「保留中」,真正的買家看到的是缺貨。
- 損失:促銷期間的營收。
- 建議:同一帳號同時只能有 1 張未付款訂單;未付款取消超過 3 次暫停下單;
  保留時間縮短為 10 分鐘。

漏洞 2:兩種幣別價格不同步(嚴重程度:中)
- 觸發方式:價格每天早上換算一次。若當天歐元兌美元變動 2%,
  其中一種幣別的價格就會比另一種便宜約 2%,批發客戶會選便宜的幣別結帳。
- 損失:大單的利潤被吃掉一部分。
- 建議:匯率變動超過設定門檻(例如 1.5%)時,立即重新換算價格。
- 需查證:實際匯率波動幅度,請以銀行公告為準。

漏洞 3:先買滿 200 件再退貨(嚴重程度:高)
- 觸發方式:買 200 件享 8 折,收貨後退掉 160 件。若按 8 折單價退款,
  買家等於用 8 折買到 40 件,而 40 件原本連 9 折都不符合。
- 損失:每件少收 2 成。
- 建議:退貨後依剩餘件數重新判斷折扣,退款 = 原實付 − 剩餘商品應付。

漏洞 3 和第 2.4 節的「部分退貨跌破滿減門檻」是同一種問題,換了產業和單位(件數而非金額)。這說明邊界條件有共通模式,練熟之後可以一眼看出。


伍、判斷看看:AI 說的都對嗎?

AI 紅隊的價值取決於你怎麼判斷它的輸出。下表是另一次 Red Teaming 中,AI 提出的 5 個「發現」。請先自己判斷,再看參考答案。

AI 的發現 你的判斷 參考答案
「保留 30 分鐘可被用來鎖庫存」 採納/查證/駁回? 採納:邏輯成立,修改成本低
「某國最新法規規定這類商品必須拆成 3 個不同 HS 編號申報,否則扣押」 採納/查證/駁回? 查證:AI 很可能編造法規,必須到該國海關官網或請報關行確認
「駭客可能入侵資料庫竄改折扣」 採納/查證/駁回? 駁回(本階段):屬於資訊安全,不是這份折扣規格能解決的,記錄後轉交第 9 章的權限與控管設計
「客戶可能用 50 個帳號各買 4 件,湊不到門檻就不買」 採納/查證/駁回? 駁回:這不是漏洞,客戶沒有從中獲利
「買 199 件的客戶會再加 1 件湊 8 折」 採納/查證/駁回? 不是漏洞,是設計:門檻本來就是要鼓勵加購;但要確認多出的 1 件不會讓整單毛利跌破底線

最後一列提醒我們:不是所有邊界行為都要擋。有些是促銷的目的,該做的是確認它在毛利上划得來(第 1.1 節的毛利底線)。


陸、回到情境

對批發規格做完 Red Teaming 之後,業務經理修訂了三條規則:限制未付款訂單、匯率變動門檻觸發重新換算、退貨後依剩餘件數重算折扣。這三條都是開會時三個部門沒有人想到的。

這個做法還做不到的事:

限制 後果 在哪一節解決
修訂後的規則仍是文字 AI 或工程師可能理解錯 2.6 把規則寫成可執行的規格與測試
AI 提到的法規可能是編造的 照做可能多花錢,或仍然違規 查證官方來源;第 7.1 節說明 AI 為什麼會產生幻覺
只審了規格,沒有測試做出來的系統 規格對了,程式仍可能寫錯 5.4 讓 AI 自動產生極端測試案例

本節小結

  1. 規格作者受確認偏誤影響,最難看出自己規格的漏洞。
  2. Red Teaming 就是指定 AI 扮演一個具體的反派角色,專門找漏洞;一次一個角色效果最好。
  3. AI 的發現要分成採納、查證、駁回三類,涉及法規與數字的一律查證。
  4. 不是所有邊界行為都要擋;有些是促銷想要的效果,該檢查的是毛利。

柒、練習

  1. 換角色(5 分鐘):把本節的 Prompt 範本角色改成「第一線倉管主管」,送給 AI。它找到的漏洞和套利客戶找到的有什麼不同?
  2. 審自己的規格(20 分鐘):拿第 2.4 節美妝促銷的規格表,用 Red Teaming Prompt 讓 AI 找出至少 3 個第 2.4 節沒提到的漏洞,並逐一標記「採納/查證/駁回」及理由。
  3. 管理反思(討論):某外貿平台在東南亞提供貨到付款,結果拒收率很高。(a) 請設計一段 Red Teaming Prompt,讓 AI 分析可能的原因(客戶端、物流端、競爭對手)。(b) 有人擔心「教 AI 怎麼鑽漏洞」不道德。從保護公司與誠實客戶的角度,你怎麼回應?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。