14.1 模型即 Agent:強化學習重塑動態商業賽局

學完本節,你能夠:

  1. 用白話說明「框架引導型 Agent」與「以強化學習訓練的推理模型」差在哪裡。
  2. 用期望值比較幾個談判方案,並說出機率估計為什麼是最難的部分。
  3. 說明為什麼模型越會「最佳化」,經理人越需要把獎勵與底線寫清楚。

壹、開場情境:AI 提出了一個「期望毛利最高」的方案

📌 以下為教學情境(數字為教學假設)。

一家台灣電子零件廠,某款模組每台成本 US$ 70,牌價 US$ 100。一位南美買家要 2,000 台,開價每台 US$ 85。業務請公司新導入的 AI 談判助理想對策,它回覆了四個方案,並建議 D:

方案 內容 單價 數量 估計買家接受機率
A 堅持原價 不降價 100 2,000 30%
B 全盤接受 照買家開價 85 2,000 100%
C 量價交換 量提高到 5,000 台、改為預付電匯,才降到 88 88 5,000 60%
D 衝量低價 量提高到 8,000 台,降到 82 82 8,000 80%

AI 的理由:「D 的期望毛利最高。」業務差點就照著回信了。

本節要解決的問題: 當 AI 越來越會自己推演、自己找最佳解,人要負責的是什麼?


貳、為什麼會這樣:從「框架推著走」到「模型自己想」

1. 兩種 Agent

第 8.4 節的 ReAct 迴圈,是由外部程式一步步引導模型:「先查庫存 → 再查成本 → 再報價」。近年的另一個方向,是用強化學習(Reinforcement Learning, RL:讓模型反覆嘗試,做得好就給獎勵、做不好就扣分,從中學到策略)訓練模型,讓它在回答前先進行較長的內部推理,自己決定要查什麼、比較什麼。這類模型常被稱為推理模型。

框架引導型 以 RL 訓練的推理模型
步驟由誰決定 外部流程(工程師寫好的步驟) 模型自己規劃
遇到沒預料到的情況 容易卡住或走錯路 較能隨機應變
多花時間的地方 寫流程、寫提示 回答時多「想」一會兒(稱為推論期運算,test-time compute)
可預測性 高 較低,同樣問題可能走不同路徑

2. 一個常見誤解

2016 年 AlphaGo 擊敗李世乭,用的是神經網路加上蒙地卡羅樹搜尋(MCTS:在棋局的可能走法中大量模擬、挑勝率最高的一步)。有人因此以為推理模型在談判時也在「跑一棵搜尋樹」。實際上,目前的推理模型多半是以文字的方式逐步推理、比較方案,並不是在內部真的執行 MCTS。但兩者的共同點值得記住:

💡 它們都在「最大化某個分數」。 圍棋的分數很清楚——贏棋。商業的分數是什麼?是當季毛利、是長期客戶價值,還是市佔率?這個分數由誰定義,就是本質性困難。

3. 強化學習學到的是「策略」,不是「基礎設施」

RL 可以讓模型學會「遇到遠期付款要求時,先評估匯率風險再回價」這類判斷,但查匯率的 API、寄報價單的郵件系統、ERP 裡的成本資料,仍然是外部工具與資料。模型越強,越依賴這些工具給它正確的數字。


參、把規則寫下來:AI 的「目標」與「底線」要分開

開場 AI 選 D,是因為它只看期望毛利。但 D 的毛利率只有 14.6%,低於第 1.1 節的毛利底線 15%;而且 8,000 台超過了本季產能。AI 不知道這些,因為沒有人告訴它。

經理人說的話 需要追問的問題 寫成規格
「幫我找最好的方案」 「最好」用什麼衡量? 目標:期望毛利 =(單價 − 成本)× 數量 × 接受機率
「不能虧本」 只是不虧本嗎? 硬底線:毛利率 ≥ 15%(與 1.1 節 MIN_MARGIN 相同)
「接得下來嗎」 產能多少? 硬限制:數量 ≤ 6,000 台(本季可用產能)
「接受機率」 這個數字從哪來?誰負責? 由業務主管依歷史成交資料估計,AI 只能引用、不能自行編造

目標可以交給 AI 去最佳化,底線不行。 底線要寫在 AI 之外的程式碼裡(第 9 章的 Harness),不管 AI 怎麼推理,違反就擋下。


肆、動手算:期望值與底線檢查

1. 給 AI 的 Prompt

你是熟悉 Python 的商業分析師。

【資料】候選方案清單:名稱、單價、數量、買家接受機率。每台成本 70 美元。
【計算】毛利率 = 1 − 成本 ÷ 單價;期望毛利 = (單價 − 成本) × 數量 × 接受機率。
【規則】毛利率 < 15% → 標示「🛑 低於毛利底線」;數量 > 6,000 → 標示「🛑 超過產能」;
        其餘標示「✅ 可提出」。
【要求】成本、15%、6,000 宣告為最上方常數;印出每個方案的毛利率、期望毛利與狀態。

2. AI 產出的程式碼(已人工驗收)

# ===== 商業規則(經理人只需要改這幾行)=====
UNIT_COST = 70       # 每台成本(USD)
MIN_MARGIN = 0.15    # 毛利底線,與第 1.1 節相同
MAX_QTY = 6000       # 本季可用產能(台)

# 候選方案:(名稱, 單價, 數量, 買家接受機率)
options = [
    ("A 堅持原價", 100, 2000, 0.30),
    ("B 全盤接受", 85, 2000, 1.00),
    ("C 量價交換", 88, 5000, 0.60),
    ("D 衝量低價", 82, 8000, 0.80),
]

def evaluate(name, price, qty, prob):
    margin = 1 - UNIT_COST / price               # 毛利率 = 1 − 成本 ÷ 售價
    expected = (price - UNIT_COST) * qty * prob  # 期望毛利
    if margin < MIN_MARGIN:
        status = "🛑 低於毛利底線"
    elif qty > MAX_QTY:
        status = "🛑 超過產能"
    else:
        status = "✅ 可提出"
    return name, f"{margin:.1%}", f"{expected:,.0f}", status

for o in options:
    print(*evaluate(*o), sep=" | ")

3. 執行結果

方案 毛利率 期望毛利 (USD) 狀態
A 堅持原價 30.0% 18,000 ✅ 可提出
B 全盤接受 17.6% 30,000 ✅ 可提出
C 量價交換 20.5% 54,000 ✅ 可提出
D 衝量低價 14.6% 76,800 🛑 低於毛利底線

加上底線後,最佳可行方案是 C:用「加量」和「預付」交換降價,毛利率仍有 20.5%,預付還降低了收款風險。

🔍 驗收重點 - 毛利率是除以售價,不是除以成本(第 1.1 節)。 - 每台 US$ 82 的毛利率是 1 − 70 ÷ 82 = 14.6%。守住 15% 的最低單價是 70 ÷ 0.85 = 82.35,所以至少要報 US$ 83。


伍、跑跑看、壞給你看

實驗 操作 預期結果 想想看
① 放寬底線 MIN_MARGIN 改成 0.12 D 不再因毛利被擋,但改為「🛑 超過產能」 一道規則放寬,還有另一道規則守著
② 機率估錯 C 的接受機率改成 0.3 C 的期望毛利降為 27,000,低於 B 的 30,000 最佳方案完全取決於機率,而機率是人估的
③ 產能吃緊 MAX_QTY 改成 4,000 C 也變成「🛑 超過產能」 可行方案剩 A、B,這時談判策略要怎麼改?
④ 只看期望值 拿掉兩條底線 AI 會選 D 這就是只給 AI「目標」、不給「底線」的結果

實驗 ② 是本節最重要的發現:計算很簡單,難的是「接受機率 60%」這個數字從哪裡來。AI 可以幫你整理歷史成交資料,但估錯的後果由公司承擔。


陸、回到情境

開場的 AI 不是笨,而是太會最佳化:它把被要求最大化的那個分數最大化了。問題在於沒有人把「毛利底線」和「產能」告訴它。這叫獎勵設計(reward design)的問題:你獎勵什麼,系統就會拼命追求什麼,包括你沒想到的副作用。

限制 後果 在哪一節解決
接受機率由人估計 估錯則「最佳方案」也錯 10.3 用 A/B 測試與歷史資料校正
只看單筆期望毛利 忽略客戶長期價值、匯率風險 練習 1;14.2 由 Harness 管更高層的規則
雙方都用 AI 談判 價格可能趨同,甚至出現演算法共謀疑慮 13.3 演算法共謀

本節小結

  1. 推理模型透過強化學習學會自己規劃步驟,比框架引導更有彈性,但也較難預測。
  2. 模型會努力最大化你給的分數;「分數是什麼」是經理人的工作。
  3. 目標可以交給 AI 最佳化,底線(毛利、產能、法規)必須寫在 AI 之外的程式碼裡。
  4. 期望值的計算很容易,難的是輸入的機率與成本是否可信。

柒、練習

  1. 改數字(5 分鐘):成本上漲到每台 US$ 74。重新計算四個方案的毛利率,哪些方案會被底線擋下?最佳可行方案是否改變?
  2. 加功能(20 分鐘):方案 C 的預付電匯能免除收款風險,其他方案則有 5% 的機率收不到款。請修改 Prompt,把「收款風險」納入期望毛利計算,並觀察排名是否改變。
  3. 管理反思(討論):如果把定價 AI 的獎勵設為「本季營收最大化」,它可能做出哪些傷害長期價值的行為(例如:大幅降價搶單、答應做不到的交期)?你會加入哪些懲罰項或底線?哪些情況下,人類談判代表應該推翻 AI 的建議?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。