2.5 AI 輔助商業需求分析:Red Teaming 逆向質疑
學完本節,你能夠:
- 說明「確認偏誤」為什麼讓規格的作者最難看出自己規格的漏洞。
- 寫出一段 Red Teaming Prompt,讓 AI 扮演指定的反派角色審查商業規格。
- 把 AI 列出的漏洞分成「採納、查證、駁回」三類,並修訂規格。
壹、開場情境:一份「大家都說沒問題」的批發規格
📌 以下為教學情境(依外貿實務改編)。
一家台灣女裝批發網站準備在黑色星期五上線新的批發折扣,規格是業務經理寫的:
- 同一張訂單滿 50 件整單 9 折,滿 200 件整單 8 折。
- 可用美元或歐元結帳,兩種幣別的價格每天早上依匯率換算一次。
- 下單後保留庫存 30 分鐘,逾時未付款自動取消。
業務、倉管、財務三個部門開會看過,大家都說「很清楚,沒問題」。
但這三個部門都站在公司自己的角度看規格:假設客戶是誠實的、會照流程走的。上線後真正會來測試這份規格的,是想多拿一點折扣的客戶、想讓你缺貨的競爭對手,以及不會因為你是好意就放水的海關。
本節要解決的問題: 在規格交給 AI 或工程師之前,怎麼讓「站在對面的人」先看一遍?
貳、為什麼自己看不出來:確認偏誤與紅隊
確認偏誤(Confirmation Bias) 是指人傾向尋找支持自己想法的證據,忽略反面證據。規格是自己寫的,作者讀它時會自動補上「當然是這個意思」,所以最難看出漏洞。
軍事演習與資訊安全領域用紅藍隊對抗來對付這個問題:
| 藍隊(Blue Team) | 紅隊(Red Team) | |
|---|---|---|
| 角色 | 建設與防守的一方 | 刻意扮演對手的一方 |
| 目標 | 讓系統正常運作 | 找出系統會被打破的地方 |
| 在本案例中 | 寫批發規格的業務經理 | 想鑽漏洞的客戶、競爭對手、海關、倉管 |
過去要找一群人扮演紅隊,成本很高,也有人情壓力:同事不好意思說你的規格很爛。生成式 AI 讓這件事變便宜了。Red Teaming Prompting 就是在交付規格前,指示 AI 扮演特定反派角色,專門找漏洞。
但 AI 紅隊也有限制,用之前要先知道:
| AI 紅隊的優點 | AI 紅隊的限制 |
|---|---|
| 幾秒內列出十幾種攻擊方式 | 會編造聽起來很像真的法規、案例或數字 |
| 沒有人情壓力,敢直接批評 | 不了解你公司的實際流程與客戶結構 |
| 可以換不同角色反覆審查 | 會把小問題誇大成大災難,需要人判斷輕重 |
所以 AI 紅隊的產出是待判斷的清單,不是結論。
列出漏洞"] B --> C{"經理人判斷"} C -->|"合理且重要"| D["採納:修訂規格"] C -->|"涉及法規或數字"| E["查證:找官方來源"] C -->|"不成立或不划算"| F["駁回:記錄理由"] D --> G["寫成驗收句
(第 2.6 節)"] E --> D
參、讓 AI 扮演四種反派角色
不同的反派會看到不同的漏洞。一次只指定一個角色,效果比「請找出所有問題」好得多。
| 角色 | 專挑什麼 | 典型發現 |
|---|---|---|
| ① 套利客戶 | 折扣門檻、退貨、幣別差、優惠疊加 | 先買滿門檻拿折扣,再退掉大部分 |
| ② 海關稽查人員 | 品名申報、HS Code 歸類、原產地、拆單 | 品名寫得太籠統,可能被要求補件或重新歸類 |
| ③ 第一線倉管 | 實際作業能不能做到 | 規格要求「出貨前逐件拍照」,但旺季一天要出 3,000 件 |
| ④ 惡意競爭對手 | 公開資訊、可被濫用的保留機制 | 用腳本大量下單不付款,讓熱門商品一直顯示缺貨 |
每個角色的 Prompt 開頭可以這樣寫:
| 角色 | Prompt 開頭 |
|---|---|
| ① 套利客戶 | 「請扮演專門研究電商優惠漏洞的買家,目標是用最少的錢拿到最多的商品……」 |
| ② 海關稽查人員 | 「請扮演進口國海關的稽查人員,審查這份出口文件的生成規則,指出可能被要求補件或處罰的地方……」 |
| ③ 第一線倉管 | 「請扮演在海外倉工作多年、每天處理數千個包裹的倉管主管,指出這份流程中現場做不到的步驟……」 |
| ④ 惡意競爭對手 | 「請扮演競爭對手的營運主管,想讓這家公司的促銷活動失敗,你會利用這份規格的哪些設計?」 |
肆、動手做:對批發規格執行 Red Teaming
1. Prompt 範本
結構是:規格 → 角色 → 任務 → 輸出格式。最後一段要求 AI 標出「需要查證」的地方,是為了對付 AI 編造法規的問題。
【待審查的規格】
1. 同一張訂單滿 50 件整單 9 折,滿 200 件整單 8 折。
2. 可用美元或歐元結帳,兩種幣別的價格每天早上依匯率換算一次。
3. 下單後保留庫存 30 分鐘,逾時未付款自動取消。
【你的角色】
請扮演專門研究電商優惠漏洞的買家,以及想讓這場促銷失敗的競爭對手。
【任務】
找出 3 個會讓公司虧錢或活動失敗的漏洞。只找這份規格「沒寫清楚」或「寫了但會被濫用」的地方。
【輸出格式】每個漏洞依序列出:
1. 漏洞名稱與嚴重程度(高/中/低)
2. 觸發方式(用具體數字舉例)
3. 公司的損失
4. 建議的規格修改
5. 這個漏洞是否涉及法規或外部資料?若有,請註明「需查證」,不要自行引用條文編號。
2. 示範回覆
💡 以下為示範,AI 每次的回覆措辭與順序都會不同。
漏洞 1:大量下單不付款,鎖住庫存(嚴重程度:高)
- 觸發方式:競爭對手用腳本每 29 分鐘下一張 200 件的訂單但不付款。
庫存一直處於「保留中」,真正的買家看到的是缺貨。
- 損失:促銷期間的營收。
- 建議:同一帳號同時只能有 1 張未付款訂單;未付款取消超過 3 次暫停下單;
保留時間縮短為 10 分鐘。
漏洞 2:兩種幣別價格不同步(嚴重程度:中)
- 觸發方式:價格每天早上換算一次。若當天歐元兌美元變動 2%,
其中一種幣別的價格就會比另一種便宜約 2%,批發客戶會選便宜的幣別結帳。
- 損失:大單的利潤被吃掉一部分。
- 建議:匯率變動超過設定門檻(例如 1.5%)時,立即重新換算價格。
- 需查證:實際匯率波動幅度,請以銀行公告為準。
漏洞 3:先買滿 200 件再退貨(嚴重程度:高)
- 觸發方式:買 200 件享 8 折,收貨後退掉 160 件。若按 8 折單價退款,
買家等於用 8 折買到 40 件,而 40 件原本連 9 折都不符合。
- 損失:每件少收 2 成。
- 建議:退貨後依剩餘件數重新判斷折扣,退款 = 原實付 − 剩餘商品應付。
漏洞 3 和第 2.4 節的「部分退貨跌破滿減門檻」是同一種問題,換了產業和單位(件數而非金額)。這說明邊界條件有共通模式,練熟之後可以一眼看出。
伍、判斷看看:AI 說的都對嗎?
AI 紅隊的價值取決於你怎麼判斷它的輸出。下表是另一次 Red Teaming 中,AI 提出的 5 個「發現」。請先自己判斷,再看參考答案。
| AI 的發現 | 你的判斷 | 參考答案 |
|---|---|---|
| 「保留 30 分鐘可被用來鎖庫存」 | 採納/查證/駁回? | 採納:邏輯成立,修改成本低 |
| 「某國最新法規規定這類商品必須拆成 3 個不同 HS 編號申報,否則扣押」 | 採納/查證/駁回? | 查證:AI 很可能編造法規,必須到該國海關官網或請報關行確認 |
| 「駭客可能入侵資料庫竄改折扣」 | 採納/查證/駁回? | 駁回(本階段):屬於資訊安全,不是這份折扣規格能解決的,記錄後轉交第 9 章的權限與控管設計 |
| 「客戶可能用 50 個帳號各買 4 件,湊不到門檻就不買」 | 採納/查證/駁回? | 駁回:這不是漏洞,客戶沒有從中獲利 |
| 「買 199 件的客戶會再加 1 件湊 8 折」 | 採納/查證/駁回? | 不是漏洞,是設計:門檻本來就是要鼓勵加購;但要確認多出的 1 件不會讓整單毛利跌破底線 |
最後一列提醒我們:不是所有邊界行為都要擋。有些是促銷的目的,該做的是確認它在毛利上划得來(第 1.1 節的毛利底線)。
陸、回到情境
對批發規格做完 Red Teaming 之後,業務經理修訂了三條規則:限制未付款訂單、匯率變動門檻觸發重新換算、退貨後依剩餘件數重算折扣。這三條都是開會時三個部門沒有人想到的。
這個做法還做不到的事:
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 修訂後的規則仍是文字 | AI 或工程師可能理解錯 | 2.6 把規則寫成可執行的規格與測試 |
| AI 提到的法規可能是編造的 | 照做可能多花錢,或仍然違規 | 查證官方來源;第 7.1 節說明 AI 為什麼會產生幻覺 |
| 只審了規格,沒有測試做出來的系統 | 規格對了,程式仍可能寫錯 | 5.4 讓 AI 自動產生極端測試案例 |
本節小結
- 規格作者受確認偏誤影響,最難看出自己規格的漏洞。
- Red Teaming 就是指定 AI 扮演一個具體的反派角色,專門找漏洞;一次一個角色效果最好。
- AI 的發現要分成採納、查證、駁回三類,涉及法規與數字的一律查證。
- 不是所有邊界行為都要擋;有些是促銷想要的效果,該檢查的是毛利。
柒、練習
- 換角色(5 分鐘):把本節的 Prompt 範本角色改成「第一線倉管主管」,送給 AI。它找到的漏洞和套利客戶找到的有什麼不同?
- 審自己的規格(20 分鐘):拿第 2.4 節美妝促銷的規格表,用 Red Teaming Prompt 讓 AI 找出至少 3 個第 2.4 節沒提到的漏洞,並逐一標記「採納/查證/駁回」及理由。
- 管理反思(討論):某外貿平台在東南亞提供貨到付款,結果拒收率很高。(a) 請設計一段 Red Teaming Prompt,讓 AI 分析可能的原因(客戶端、物流端、競爭對手)。(b) 有人擔心「教 AI 怎麼鑽漏洞」不道德。從保護公司與誠實客戶的角度,你怎麼回應?