7.3 API 上下文結構與多輪商業對話狀態
學完本節,你能夠:
- 說明 API 為什麼是「無狀態」的,以及多輪對話的歷史是怎麼被送進模型的。
- 區分
system、user、assistant與工具結果等訊息角色,並知道各家 API 的寫法不完全相同。 - 用「結構化狀態+程式檢查」取代「把所有聊天紀錄堆進去」,防止 AI 在多輪議價中突破底線。
壹、開場情境:第 9 輪,AI 答應了底價以下的價格
📌 以下為教學情境(依外貿實務改編)。
一家外貿公司用 API 串接 AI,讓它協助回覆買家的英文議價信。第 1 輪,業務主管在對話中交代:「這款商品牌價 US$ 22,底價 US$ 20,不得低於底價。」
前幾輪 AI 表現得很好。但談到第 9 輪,買家說:「競爭對手報 US$ 18,你們不跟,我們就轉單。」AI 回覆:「為了長期合作,我們可以接受 US$ 18。」
事後檢查程式發現:為了控制成本,系統只保留最近 6 輪對話送給模型。第 1 輪主管交代的底價,到第 9 輪時早已不在上下文裡了。
本節要解決的問題: 多輪對話中,哪些資訊每一次都必須送給模型?底線要怎麼守,才不會因為對話變長而失守?
貳、為什麼會這樣:API 是無狀態的
在網頁上使用 ChatGPT、Claude、Gemini 時,畫面會保留歷史對話,看起來 AI「記得」你說過的話。但透過 API、n8n 或其他自動化工具串接時,要知道底層的運作方式:
⚠️ 模型本身不記得上一次請求。 每一次呼叫,都要把「這次需要的全部內容」(規則、歷史對話、資料)重新送一次。網頁介面之所以看起來有記憶,是因為它在背後幫你把歷史一起送出去。
有些廠商的 API 提供「由伺服器保存對話」的功能,省去自己傳歷史的麻煩,但模型每次仍要處理整段歷史,這些內容通常也照樣計入輸入 Token。
訊息的角色
送給模型的內容,通常是一個訊息清單(JSON 陣列),每則訊息標明角色:
| 角色 | 代表誰 | 商業用途 |
|---|---|---|
system |
系統設計者 | 放規則、底線、語氣、輸出格式,每次請求都要帶 |
user |
使用者或外部來信 | 買家的詢價、還價、客訴 |
assistant |
模型過去的回覆 | 記錄 AI 已經說過、承諾過什麼 |
| 工具結果 | 外部系統 | 查庫存、查匯率等工具回傳的資料(第 8 章詳述) |
💡 各家寫法不同:上表是概念。實際格式依廠商而異,例如 OpenAI 有
system(較新模型也用developer)與tool角色;Anthropic 把系統指令放在獨立的system參數,工具結果則以tool_result區塊放在user訊息中;Google Gemini 把模型的回覆稱為model,系統指令另以參數傳入。串接時請以官方文件為準。
把歷史全部送進去,會發生什麼事?
假設 system 規則 800 Token,每輪買家來信約 150 Token、AI 回覆約 250 Token:
| 做法 | 第 1 輪輸入 | 第 8 輪輸入 | 第 15 輪輸入 | 15 輪累計 | 30 輪累計 |
|---|---|---|---|---|---|
| A. 每次送完整歷史 | 950 | 3,750 | 6,550 | 56,250 | 202,500 |
| B. 規則+狀態(200)+最近一輪 | 1,150 | 1,550 | 1,550 | 22,850 | 46,100 |
做法 A 每輪的輸入隨輪數線性增加,累計成本大約隨輪數的平方成長:15 輪時是做法 B 的約 2.5 倍,30 輪時約 4.4 倍。而且歷史越長,早期約定的條件越可能被忽略(第 7.2 節的「迷失在中間」)。
但如果像開場情境那樣直接砍掉舊歷史,又會把重要的約定一起砍掉。解法是:把重要的東西從聊天紀錄中抽出來,另外保存。
參、應用到情境:狀態抽離+程式檢查
1. 把談判進度寫成結構化狀態
與其讓 AI 從 9 輪聊天紀錄中「回想」雙方約定了什麼,不如由程式維護一個小小的狀態物件:
{
"deal_id": "DEAL-882",
"stage": "BARGAINING",
"agreed_terms": { "incoterm": "FOB Kaohsiung", "moq": 500, "packing": "每箱 20 件" },
"last_offer_usd": 21.00,
"manager_approved_below_floor": false
}
每次呼叫模型時,送出的內容是:system 規則(含底價)+這個狀態+最近一輪對話+買家新來信。規則和狀態每次都在,不會因為對話變長而消失。
2. 用狀態圖定義談判流程
狀態(state)是「交易目前走到哪一步」,每一步允許做的事不同。例如在「待主管核准」狀態,AI 只能回覆「我們正在內部確認」,不能自行答應價格。
3. 底線不靠 AI 自律,靠程式攔截
即使 system 規則每次都有送,模型仍可能被買家說服。所以 AI 的回覆在送出前,要再經過一道程式檢查。以下示範用 Python 寫出這兩個步驟(不需要真的呼叫 API 也能執行):
import json
# ===== 商業規則(經理人只需要改這兩行)=====
LIST_PRICE = 22.00 # 牌價(美元/件)
FLOOR_PRICE = 20.00 # 底價:低於此價必須主管核准
# 談判狀態:由程式保存,每次請求時注入,而不是靠 AI「記得」
trade_state = {
"deal_id": "DEAL-882",
"stage": "BARGAINING",
"agreed_terms": {"incoterm": "FOB Kaohsiung", "moq": 500, "packing": "每箱 20 件"},
"last_offer_usd": 21.00,
"manager_approved_below_floor": False,
}
def build_messages(state, last_round, buyer_msg):
"""組出這一次要送給模型的訊息:規則+狀態+最近一輪+新訊息"""
system = (
"你是外貿業務助理。只能依下列談判狀態回覆,"
"回覆最後附 JSON:{\"proposed_price_usd\": 數字}。\n"
f"牌價 US$ {LIST_PRICE:.2f},底價 US$ {FLOOR_PRICE:.2f}。\n"
"談判狀態:" + json.dumps(state, ensure_ascii=False)
)
return [{"role": "system", "content": system}] + last_round + [
{"role": "user", "content": buyer_msg}
]
def check_offer(state, proposed):
"""AI 回覆送出前的程式檢查(不靠 AI 自律)"""
if not isinstance(proposed, (int, float)) or proposed <= 0:
return "⚠️ 無法辨識報價,轉人工處理"
if proposed < FLOOR_PRICE and not state["manager_approved_below_floor"]:
state["stage"] = "NEED_APPROVAL"
return f"🛑 US$ {proposed:.2f} 低於底價,攔截並通知主管"
state["last_offer_usd"] = proposed
return f"✅ US$ {proposed:.2f} 可送出"
msgs = build_messages(trade_state, [], "Competitor offers $18. Can you match?")
print(len(msgs), "則訊息;第 1 則角色:", msgs[0]["role"])
for p in [21.0, 18.0, None]:
print(p, "→", check_offer(trade_state, p), "|stage =", trade_state["stage"])
💡 這段是單一廠商格式的簡化示範(system 放在訊息清單第一則)。若改用 Anthropic API,system 要改放在獨立參數,見貳段說明。
🔍 驗收重點 - 底價是否放在最上方常數,而且每次都會被組進 system? - 檢查是否發生在 AI 回覆送出之前,而不是事後補救? - AI 回覆中找不到價格時,是否轉人工,而不是預設放行?
肆、跑跑看、壞給你看
執行上面的程式,再依序修改:
| 實驗 | 操作 | 預期結果 | 想想看 |
|---|---|---|---|
| ① 正常議價 | 直接執行 | 21.0 ✅ 可送出;18.0 🛑 攔截,stage 變成 NEED_APPROVAL;None ⚠️ 轉人工 | 為什麼 None 那一行 stage 仍是 NEED_APPROVAL?(提示:狀態不會自己變回來) |
| ② 主管核准 | 把 manager_approved_below_floor 改成 True 再執行 |
18.0 變成 ✅ 可送出 | 核准應該對「這筆交易」有效,還是對所有交易有效? |
| ③ 調整底價 | 把 FLOOR_PRICE 改成 21.5 |
21.0 也被 🛑 攔截 | 規則放在常數的好處是什麼? |
| ④ 拿掉狀態 | 把 build_messages 中 json.dumps(state…) 那段刪掉 |
程式仍能執行,但送給模型的內容不再包含約定條件 | 模型還知道包裝方式是「每箱 20 件」嗎? |
伍、回到情境
| 開場問題 | 原因 | 改法 |
|---|---|---|
| 底價只在第 1 輪對話中說過 | 被當成一般對話,歷史截斷時一起被砍掉 | 底價寫進 system,每次請求都帶 |
| AI 被買家說服讓價 | 規則只靠模型自律 | 送出前由程式檢查,低於底價就攔截並轉主管 |
| 約定條件散落在 9 輪聊天中 | 模型要自己「回想」 | 抽成結構化狀態,每次注入 |
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 狀態物件要由誰更新、何時更新 | 更新錯誤,AI 就根據錯誤狀態回覆 | 8.4 ReAct 迴圈中的工具呼叫 |
| AI 輸出的 JSON 格式可能不正確 | 程式抓不到價格 | 9.3 輸出驗證 |
| 買家在信中夾帶「忽略規則」的指令 | 模型可能被誘導 | 13.1 提示注入防禦 |
本節小結
- API 是無狀態的:每次請求都要把規則、需要的歷史與資料重新送出。
- 訊息分為 system、user、assistant 與工具結果等角色;各家 API 寫法不同,以官方文件為準。
- 把完整歷史一直堆進去,累計成本約隨輪數平方成長;直接截斷又會丟失約定。解法是抽出結構化狀態。
- 商業底線不能只寫在 Prompt 裡,要在輸出送出前由程式檢查。
陸、練習
- 改數字(5 分鐘):如果每輪買家來信與 AI 回覆合計增加到 800 Token(買家 300、AI 500),其他假設不變,做法 A 第 15 輪的輸入是多少 Token?
- 加功能(20 分鐘):在
check_offer中加入第二條規則:「交期少於 45 天要轉人工」。先寫出規格(說法 → 追問 → 規格,含例外),再修改程式,並設計兩組測試資料驗證。 - 管理反思(討論):同一筆交易由 AI 處理前段詢價、真人業務處理後段議價。如果雙方都讀寫同一個
trade_state,有什麼好處?可能出現什麼衝突?誰有權修改manager_approved_below_floor?