7.3 API 上下文結構與多輪商業對話狀態

學完本節,你能夠:

  1. 說明 API 為什麼是「無狀態」的,以及多輪對話的歷史是怎麼被送進模型的。
  2. 區分 system、user、assistant 與工具結果等訊息角色,並知道各家 API 的寫法不完全相同。
  3. 用「結構化狀態+程式檢查」取代「把所有聊天紀錄堆進去」,防止 AI 在多輪議價中突破底線。

壹、開場情境:第 9 輪,AI 答應了底價以下的價格

📌 以下為教學情境(依外貿實務改編)。

一家外貿公司用 API 串接 AI,讓它協助回覆買家的英文議價信。第 1 輪,業務主管在對話中交代:「這款商品牌價 US$ 22,底價 US$ 20,不得低於底價。」

前幾輪 AI 表現得很好。但談到第 9 輪,買家說:「競爭對手報 US$ 18,你們不跟,我們就轉單。」AI 回覆:「為了長期合作,我們可以接受 US$ 18。」

事後檢查程式發現:為了控制成本,系統只保留最近 6 輪對話送給模型。第 1 輪主管交代的底價,到第 9 輪時早已不在上下文裡了。

本節要解決的問題: 多輪對話中,哪些資訊每一次都必須送給模型?底線要怎麼守,才不會因為對話變長而失守?


貳、為什麼會這樣:API 是無狀態的

在網頁上使用 ChatGPT、Claude、Gemini 時,畫面會保留歷史對話,看起來 AI「記得」你說過的話。但透過 API、n8n 或其他自動化工具串接時,要知道底層的運作方式:

⚠️ 模型本身不記得上一次請求。 每一次呼叫,都要把「這次需要的全部內容」(規則、歷史對話、資料)重新送一次。網頁介面之所以看起來有記憶,是因為它在背後幫你把歷史一起送出去。

有些廠商的 API 提供「由伺服器保存對話」的功能,省去自己傳歷史的麻煩,但模型每次仍要處理整段歷史,這些內容通常也照樣計入輸入 Token。

訊息的角色

送給模型的內容,通常是一個訊息清單(JSON 陣列),每則訊息標明角色:

角色 代表誰 商業用途
system 系統設計者 放規則、底線、語氣、輸出格式,每次請求都要帶
user 使用者或外部來信 買家的詢價、還價、客訴
assistant 模型過去的回覆 記錄 AI 已經說過、承諾過什麼
工具結果 外部系統 查庫存、查匯率等工具回傳的資料(第 8 章詳述)

💡 各家寫法不同:上表是概念。實際格式依廠商而異,例如 OpenAI 有 system(較新模型也用 developer)與 tool 角色;Anthropic 把系統指令放在獨立的 system 參數,工具結果則以 tool_result 區塊放在 user 訊息中;Google Gemini 把模型的回覆稱為 model,系統指令另以參數傳入。串接時請以官方文件為準。

把歷史全部送進去,會發生什麼事?

假設 system 規則 800 Token,每輪買家來信約 150 Token、AI 回覆約 250 Token:

做法 第 1 輪輸入 第 8 輪輸入 第 15 輪輸入 15 輪累計 30 輪累計
A. 每次送完整歷史 950 3,750 6,550 56,250 202,500
B. 規則+狀態(200)+最近一輪 1,150 1,550 1,550 22,850 46,100

做法 A 每輪的輸入隨輪數線性增加,累計成本大約隨輪數的平方成長:15 輪時是做法 B 的約 2.5 倍,30 輪時約 4.4 倍。而且歷史越長,早期約定的條件越可能被忽略(第 7.2 節的「迷失在中間」)。

但如果像開場情境那樣直接砍掉舊歷史,又會把重要的約定一起砍掉。解法是:把重要的東西從聊天紀錄中抽出來,另外保存。


參、應用到情境:狀態抽離+程式檢查

1. 把談判進度寫成結構化狀態

與其讓 AI 從 9 輪聊天紀錄中「回想」雙方約定了什麼,不如由程式維護一個小小的狀態物件:

{
  "deal_id": "DEAL-882",
  "stage": "BARGAINING",
  "agreed_terms": { "incoterm": "FOB Kaohsiung", "moq": 500, "packing": "每箱 20 件" },
  "last_offer_usd": 21.00,
  "manager_approved_below_floor": false
}

每次呼叫模型時,送出的內容是:system 規則(含底價)+這個狀態+最近一輪對話+買家新來信。規則和狀態每次都在,不會因為對話變長而消失。

2. 用狀態圖定義談判流程

stateDiagram-v2 state "詢價" as Inquiry state "報價" as Quotation state "議價" as Bargaining state "待主管核准" as NeedApproval state "開立形式發票 PI" as PI state "結案未成交" as Closed [*] --> Inquiry Inquiry --> Quotation: 確認庫存 Quotation --> Bargaining: 買家還價 Bargaining --> PI: 價格 ≥ 底價 Bargaining --> NeedApproval: 價格 < 底價 NeedApproval --> PI: 主管核准 NeedApproval --> Closed: 主管拒絕 PI --> [*] Closed --> [*]

狀態(state)是「交易目前走到哪一步」,每一步允許做的事不同。例如在「待主管核准」狀態,AI 只能回覆「我們正在內部確認」,不能自行答應價格。

3. 底線不靠 AI 自律,靠程式攔截

即使 system 規則每次都有送,模型仍可能被買家說服。所以 AI 的回覆在送出前,要再經過一道程式檢查。以下示範用 Python 寫出這兩個步驟(不需要真的呼叫 API 也能執行):

import json

# ===== 商業規則(經理人只需要改這兩行)=====
LIST_PRICE = 22.00   # 牌價(美元/件)
FLOOR_PRICE = 20.00  # 底價:低於此價必須主管核准

# 談判狀態:由程式保存,每次請求時注入,而不是靠 AI「記得」
trade_state = {
    "deal_id": "DEAL-882",
    "stage": "BARGAINING",
    "agreed_terms": {"incoterm": "FOB Kaohsiung", "moq": 500, "packing": "每箱 20 件"},
    "last_offer_usd": 21.00,
    "manager_approved_below_floor": False,
}

def build_messages(state, last_round, buyer_msg):
    """組出這一次要送給模型的訊息:規則+狀態+最近一輪+新訊息"""
    system = (
        "你是外貿業務助理。只能依下列談判狀態回覆,"
        "回覆最後附 JSON:{\"proposed_price_usd\": 數字}。\n"
        f"牌價 US$ {LIST_PRICE:.2f},底價 US$ {FLOOR_PRICE:.2f}。\n"
        "談判狀態:" + json.dumps(state, ensure_ascii=False)
    )
    return [{"role": "system", "content": system}] + last_round + [
        {"role": "user", "content": buyer_msg}
    ]

def check_offer(state, proposed):
    """AI 回覆送出前的程式檢查(不靠 AI 自律)"""
    if not isinstance(proposed, (int, float)) or proposed <= 0:
        return "⚠️ 無法辨識報價,轉人工處理"
    if proposed < FLOOR_PRICE and not state["manager_approved_below_floor"]:
        state["stage"] = "NEED_APPROVAL"
        return f"🛑 US$ {proposed:.2f} 低於底價,攔截並通知主管"
    state["last_offer_usd"] = proposed
    return f"✅ US$ {proposed:.2f} 可送出"

msgs = build_messages(trade_state, [], "Competitor offers $18. Can you match?")
print(len(msgs), "則訊息;第 1 則角色:", msgs[0]["role"])

for p in [21.0, 18.0, None]:
    print(p, "→", check_offer(trade_state, p), "|stage =", trade_state["stage"])

💡 這段是單一廠商格式的簡化示範(system 放在訊息清單第一則)。若改用 Anthropic API,system 要改放在獨立參數,見貳段說明。

🔍 驗收重點 - 底價是否放在最上方常數,而且每次都會被組進 system? - 檢查是否發生在 AI 回覆送出之前,而不是事後補救? - AI 回覆中找不到價格時,是否轉人工,而不是預設放行?


肆、跑跑看、壞給你看

執行上面的程式,再依序修改:

實驗 操作 預期結果 想想看
① 正常議價 直接執行 21.0 ✅ 可送出;18.0 🛑 攔截,stage 變成 NEED_APPROVAL;None ⚠️ 轉人工 為什麼 None 那一行 stage 仍是 NEED_APPROVAL?(提示:狀態不會自己變回來)
② 主管核准 把 manager_approved_below_floor 改成 True 再執行 18.0 變成 ✅ 可送出 核准應該對「這筆交易」有效,還是對所有交易有效?
③ 調整底價 把 FLOOR_PRICE 改成 21.5 21.0 也被 🛑 攔截 規則放在常數的好處是什麼?
④ 拿掉狀態 把 build_messages 中 json.dumps(state…) 那段刪掉 程式仍能執行,但送給模型的內容不再包含約定條件 模型還知道包裝方式是「每箱 20 件」嗎?

伍、回到情境

開場問題 原因 改法
底價只在第 1 輪對話中說過 被當成一般對話,歷史截斷時一起被砍掉 底價寫進 system,每次請求都帶
AI 被買家說服讓價 規則只靠模型自律 送出前由程式檢查,低於底價就攔截並轉主管
約定條件散落在 9 輪聊天中 模型要自己「回想」 抽成結構化狀態,每次注入
限制 後果 在哪一節解決
狀態物件要由誰更新、何時更新 更新錯誤,AI 就根據錯誤狀態回覆 8.4 ReAct 迴圈中的工具呼叫
AI 輸出的 JSON 格式可能不正確 程式抓不到價格 9.3 輸出驗證
買家在信中夾帶「忽略規則」的指令 模型可能被誘導 13.1 提示注入防禦

本節小結

  1. API 是無狀態的:每次請求都要把規則、需要的歷史與資料重新送出。
  2. 訊息分為 system、user、assistant 與工具結果等角色;各家 API 寫法不同,以官方文件為準。
  3. 把完整歷史一直堆進去,累計成本約隨輪數平方成長;直接截斷又會丟失約定。解法是抽出結構化狀態。
  4. 商業底線不能只寫在 Prompt 裡,要在輸出送出前由程式檢查。

陸、練習

  1. 改數字(5 分鐘):如果每輪買家來信與 AI 回覆合計增加到 800 Token(買家 300、AI 500),其他假設不變,做法 A 第 15 輪的輸入是多少 Token?
  2. 加功能(20 分鐘):在 check_offer 中加入第二條規則:「交期少於 45 天要轉人工」。先寫出規格(說法 → 追問 → 規格,含例外),再修改程式,並設計兩組測試資料驗證。
  3. 管理反思(討論):同一筆交易由 AI 處理前段詢價、真人業務處理後段議價。如果雙方都讀寫同一個 trade_state,有什麼好處?可能出現什麼衝突?誰有權修改 manager_approved_below_floor?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。