14.1 模型即 Agent:強化學習重塑動態商業賽局
學完本節,你能夠:
- 用白話說明「框架引導型 Agent」與「以強化學習訓練的推理模型」差在哪裡。
- 用期望值比較幾個談判方案,並說出機率估計為什麼是最難的部分。
- 說明為什麼模型越會「最佳化」,經理人越需要把獎勵與底線寫清楚。
壹、開場情境:AI 提出了一個「期望毛利最高」的方案
📌 以下為教學情境(數字為教學假設)。
一家台灣電子零件廠,某款模組每台成本 US$ 70,牌價 US$ 100。一位南美買家要 2,000 台,開價每台 US$ 85。業務請公司新導入的 AI 談判助理想對策,它回覆了四個方案,並建議 D:
| 方案 | 內容 | 單價 | 數量 | 估計買家接受機率 |
|---|---|---|---|---|
| A 堅持原價 | 不降價 | 100 | 2,000 | 30% |
| B 全盤接受 | 照買家開價 | 85 | 2,000 | 100% |
| C 量價交換 | 量提高到 5,000 台、改為預付電匯,才降到 88 | 88 | 5,000 | 60% |
| D 衝量低價 | 量提高到 8,000 台,降到 82 | 82 | 8,000 | 80% |
AI 的理由:「D 的期望毛利最高。」業務差點就照著回信了。
本節要解決的問題: 當 AI 越來越會自己推演、自己找最佳解,人要負責的是什麼?
貳、為什麼會這樣:從「框架推著走」到「模型自己想」
1. 兩種 Agent
第 8.4 節的 ReAct 迴圈,是由外部程式一步步引導模型:「先查庫存 → 再查成本 → 再報價」。近年的另一個方向,是用強化學習(Reinforcement Learning, RL:讓模型反覆嘗試,做得好就給獎勵、做不好就扣分,從中學到策略)訓練模型,讓它在回答前先進行較長的內部推理,自己決定要查什麼、比較什麼。這類模型常被稱為推理模型。
| 框架引導型 | 以 RL 訓練的推理模型 | |
|---|---|---|
| 步驟由誰決定 | 外部流程(工程師寫好的步驟) | 模型自己規劃 |
| 遇到沒預料到的情況 | 容易卡住或走錯路 | 較能隨機應變 |
| 多花時間的地方 | 寫流程、寫提示 | 回答時多「想」一會兒(稱為推論期運算,test-time compute) |
| 可預測性 | 高 | 較低,同樣問題可能走不同路徑 |
2. 一個常見誤解
2016 年 AlphaGo 擊敗李世乭,用的是神經網路加上蒙地卡羅樹搜尋(MCTS:在棋局的可能走法中大量模擬、挑勝率最高的一步)。有人因此以為推理模型在談判時也在「跑一棵搜尋樹」。實際上,目前的推理模型多半是以文字的方式逐步推理、比較方案,並不是在內部真的執行 MCTS。但兩者的共同點值得記住:
💡 它們都在「最大化某個分數」。 圍棋的分數很清楚——贏棋。商業的分數是什麼?是當季毛利、是長期客戶價值,還是市佔率?這個分數由誰定義,就是本質性困難。
3. 強化學習學到的是「策略」,不是「基礎設施」
RL 可以讓模型學會「遇到遠期付款要求時,先評估匯率風險再回價」這類判斷,但查匯率的 API、寄報價單的郵件系統、ERP 裡的成本資料,仍然是外部工具與資料。模型越強,越依賴這些工具給它正確的數字。
參、把規則寫下來:AI 的「目標」與「底線」要分開
開場 AI 選 D,是因為它只看期望毛利。但 D 的毛利率只有 14.6%,低於第 1.1 節的毛利底線 15%;而且 8,000 台超過了本季產能。AI 不知道這些,因為沒有人告訴它。
| 經理人說的話 | 需要追問的問題 | 寫成規格 |
|---|---|---|
| 「幫我找最好的方案」 | 「最好」用什麼衡量? | 目標:期望毛利 =(單價 − 成本)× 數量 × 接受機率 |
| 「不能虧本」 | 只是不虧本嗎? | 硬底線:毛利率 ≥ 15%(與 1.1 節 MIN_MARGIN 相同) |
| 「接得下來嗎」 | 產能多少? | 硬限制:數量 ≤ 6,000 台(本季可用產能) |
| 「接受機率」 | 這個數字從哪來?誰負責? | 由業務主管依歷史成交資料估計,AI 只能引用、不能自行編造 |
目標可以交給 AI 去最佳化,底線不行。 底線要寫在 AI 之外的程式碼裡(第 9 章的 Harness),不管 AI 怎麼推理,違反就擋下。
肆、動手算:期望值與底線檢查
1. 給 AI 的 Prompt
你是熟悉 Python 的商業分析師。
【資料】候選方案清單:名稱、單價、數量、買家接受機率。每台成本 70 美元。
【計算】毛利率 = 1 − 成本 ÷ 單價;期望毛利 = (單價 − 成本) × 數量 × 接受機率。
【規則】毛利率 < 15% → 標示「🛑 低於毛利底線」;數量 > 6,000 → 標示「🛑 超過產能」;
其餘標示「✅ 可提出」。
【要求】成本、15%、6,000 宣告為最上方常數;印出每個方案的毛利率、期望毛利與狀態。
2. AI 產出的程式碼(已人工驗收)
# ===== 商業規則(經理人只需要改這幾行)=====
UNIT_COST = 70 # 每台成本(USD)
MIN_MARGIN = 0.15 # 毛利底線,與第 1.1 節相同
MAX_QTY = 6000 # 本季可用產能(台)
# 候選方案:(名稱, 單價, 數量, 買家接受機率)
options = [
("A 堅持原價", 100, 2000, 0.30),
("B 全盤接受", 85, 2000, 1.00),
("C 量價交換", 88, 5000, 0.60),
("D 衝量低價", 82, 8000, 0.80),
]
def evaluate(name, price, qty, prob):
margin = 1 - UNIT_COST / price # 毛利率 = 1 − 成本 ÷ 售價
expected = (price - UNIT_COST) * qty * prob # 期望毛利
if margin < MIN_MARGIN:
status = "🛑 低於毛利底線"
elif qty > MAX_QTY:
status = "🛑 超過產能"
else:
status = "✅ 可提出"
return name, f"{margin:.1%}", f"{expected:,.0f}", status
for o in options:
print(*evaluate(*o), sep=" | ")
3. 執行結果
| 方案 | 毛利率 | 期望毛利 (USD) | 狀態 |
|---|---|---|---|
| A 堅持原價 | 30.0% | 18,000 | ✅ 可提出 |
| B 全盤接受 | 17.6% | 30,000 | ✅ 可提出 |
| C 量價交換 | 20.5% | 54,000 | ✅ 可提出 |
| D 衝量低價 | 14.6% | 76,800 | 🛑 低於毛利底線 |
加上底線後,最佳可行方案是 C:用「加量」和「預付」交換降價,毛利率仍有 20.5%,預付還降低了收款風險。
🔍 驗收重點 - 毛利率是除以售價,不是除以成本(第 1.1 節)。 - 每台 US$ 82 的毛利率是 1 − 70 ÷ 82 = 14.6%。守住 15% 的最低單價是 70 ÷ 0.85 = 82.35,所以至少要報 US$ 83。
伍、跑跑看、壞給你看
| 實驗 | 操作 | 預期結果 | 想想看 |
|---|---|---|---|
| ① 放寬底線 | MIN_MARGIN 改成 0.12 |
D 不再因毛利被擋,但改為「🛑 超過產能」 | 一道規則放寬,還有另一道規則守著 |
| ② 機率估錯 | C 的接受機率改成 0.3 | C 的期望毛利降為 27,000,低於 B 的 30,000 | 最佳方案完全取決於機率,而機率是人估的 |
| ③ 產能吃緊 | MAX_QTY 改成 4,000 |
C 也變成「🛑 超過產能」 | 可行方案剩 A、B,這時談判策略要怎麼改? |
| ④ 只看期望值 | 拿掉兩條底線 | AI 會選 D | 這就是只給 AI「目標」、不給「底線」的結果 |
實驗 ② 是本節最重要的發現:計算很簡單,難的是「接受機率 60%」這個數字從哪裡來。AI 可以幫你整理歷史成交資料,但估錯的後果由公司承擔。
陸、回到情境
開場的 AI 不是笨,而是太會最佳化:它把被要求最大化的那個分數最大化了。問題在於沒有人把「毛利底線」和「產能」告訴它。這叫獎勵設計(reward design)的問題:你獎勵什麼,系統就會拼命追求什麼,包括你沒想到的副作用。
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 接受機率由人估計 | 估錯則「最佳方案」也錯 | 10.3 用 A/B 測試與歷史資料校正 |
| 只看單筆期望毛利 | 忽略客戶長期價值、匯率風險 | 練習 1;14.2 由 Harness 管更高層的規則 |
| 雙方都用 AI 談判 | 價格可能趨同,甚至出現演算法共謀疑慮 | 13.3 演算法共謀 |
本節小結
- 推理模型透過強化學習學會自己規劃步驟,比框架引導更有彈性,但也較難預測。
- 模型會努力最大化你給的分數;「分數是什麼」是經理人的工作。
- 目標可以交給 AI 最佳化,底線(毛利、產能、法規)必須寫在 AI 之外的程式碼裡。
- 期望值的計算很容易,難的是輸入的機率與成本是否可信。
柒、練習
- 改數字(5 分鐘):成本上漲到每台 US$ 74。重新計算四個方案的毛利率,哪些方案會被底線擋下?最佳可行方案是否改變?
- 加功能(20 分鐘):方案 C 的預付電匯能免除收款風險,其他方案則有 5% 的機率收不到款。請修改 Prompt,把「收款風險」納入期望毛利計算,並觀察排名是否改變。
- 管理反思(討論):如果把定價 AI 的獎勵設為「本季營收最大化」,它可能做出哪些傷害長期價值的行為(例如:大幅降價搶單、答應做不到的交期)?你會加入哪些懲罰項或底線?哪些情況下,人類談判代表應該推翻 AI 的建議?