F.2 上下文工程與企業記憶架構

學完本節,你能夠:

  1. 說明為什麼上下文視窗是有限、有成本的資源,並列出三種管理做法。
  2. 區分 Agent 的四種記憶(工作、語意、情節、程序性),並各舉一個外貿例子。
  3. 設計一條「什麼該寫進長期記憶、誰可以寫」的規則。

壹、開場情境:第二次談判,AI 什麼都不記得

📌 以下為教學情境(依外貿實務改編)。

去年,德國客戶 K 公司的一批貨延遲交貨,公司賠了違約金。今年 K 公司再來詢價,業務助理 Agent 照標準流程報價,完全沒提交期保證,客戶回信只有一句:「你們去年的問題解決了嗎?」

接著,業務把 K 公司五年來的所有往來信件、合約與會議紀錄(約 30 萬 Token)一次貼給 AI,希望它「全部記住」。結果回覆變慢、費用變高,而且還是漏掉了合約第 14 條的延遲罰則。

本節要解決的問題: Agent 要記得的東西,應該放在哪裡、什麼時候拿出來?


貳、核心概念

1. 上下文視窗:有限的辦公桌

上下文視窗(Context Window) 是模型每次回答時「桌上攤開的所有資料」。桌子越來越大(主流模型已到數十萬至百萬 Token 等級,規格常更新),但全部攤開仍有三個代價:

代價 說明 正文
費用 API 按 Token 計價,每次呼叫都重送整桌資料;問 30 次就付 30 次 7.2、7.4
速度 輸入越長,回應越慢 7.4
注意力稀釋 關鍵資訊夾在長文中段時較容易被忽略,稱為「迷失在中間」(Lost in the Middle,Liu 等人,2023);無關內容越多,表現越可能下降 7.2

上下文工程(Context Engineering) 就是決定「這一次呼叫,桌上該放什麼、怎麼放」(詳見 7.2 節)。常見三種做法:

做法 怎麼做 適合 風險
滑動視窗 只保留最近 N 輪對話 閒聊、短任務 早期講好的條件被丟掉
摘要壓縮 對話太長時,把前段濃縮成重點備忘 長時間的談判、專案 摘要可能漏掉數字或例外
結構化標籤 用 <customer_profile>、<contract> 等標籤分隔資料 多種資料並存 標籤只是提示,不是安全邊界(F.5)

第 7.3 節的做法更進一步:談判底價、已承諾的條件不放在對話裡讓 AI 記,而是由程式保存成結構化狀態,每次呼叫時注入。這是最可靠的「記憶」。

2. 四種記憶

認知科學把人的記憶分成幾類,研究者(如 CoALA 架構,Sumers 等人,2023)把同樣的分類套用到 Agent:

flowchart LR W["工作記憶
這一次任務的桌面"] <--> S["語意記憶
事實與規則"] W <--> E["情節記憶
發生過的事"] W <--> P["程序性記憶
做事的方法"]
記憶 存什麼 外貿例子 通常放在哪裡 正文
工作記憶 當前任務的進度與暫存數字 「客戶剛說預算 US$ 40,000」 上下文、程式保存的狀態 7.3
語意記憶 客觀事實、法規、公司規章 Incoterms 2020、公司授權辦法 知識庫+檢索(RAG) 7.5
情節記憶 帶時間的事件與教訓 「去年 K 公司那批貨延遲,賠了違約金」 事件紀錄、CRM 備註 10.5
程序性記憶 做事的步驟與工具 報關、開信用狀的標準流程 規則檔、Skills、程式 10.5、12.3

開場情境缺的是情節記憶:K 公司去年的事件應該留在 CRM 裡,報價前自動被找出來。

3. 情節記憶怎麼「想起來」

史丹佛與 Google 研究者的 Generative Agents(Park 等人,2023)用三個分數決定要想起哪一段經歷:

檢索分數 = 相關性 + 新近性 + 重要性
相關性:和目前問題的語意有多接近
新近性:越久以前的事,分數越低
重要性:事件寫入時評定的重要程度(例:違約賠款 > 一般寒暄)

論文中三項是等權相加,實務上可以調整權重。商業上的意義是:「重要性」要在寫入時就標好。賠過錢的事件就算過了一年,也應該排在前面。


參、應用到情境:設計 K 公司的記憶流程

sequenceDiagram autonumber actor C as K 公司 participant A as 業務 Agent participant M as 情節記憶(CRM 事件紀錄) actor S as 業務主管 C->>A: 詢價 1,000 台,需 CE 認證 A->>M: 查詢:K 公司的重要事件 M-->>A: 去年延遲交貨並支付違約金(重要性:高) A->>A: 草擬報價:附交期保證與出貨追蹤 A-->>C: 送出報價 Note over A,M: 談判結束後 A->>S: 提交「本次經驗」草稿 S->>M: 審核後寫入

最後兩步是本節最重要的設計:Agent 可以提議寫入長期記憶,但由人審核後才生效。理由在 F.5:如果任何一封外部來信都能讓 Agent 寫進記憶,攻擊者就可以「植入」假經驗,影響之後所有決策(記憶投毒)。

規則 規格
誰能寫 Agent 只能寫「草稿」;業務主管核准後才進入正式紀錄
寫什麼 事件日期、對象、事實、損失金額、教訓、重要性(高/中/低)
不寫什麼 未經查證的傳聞、個人情緒評語(例:「這客戶很難搞」)、個資(13.4 節)
何時失效 每筆紀錄標明有效期限;過期需重新確認(14.3 節)

肆、判斷看看:常見誤解

說法 對嗎? 說明
「上下文夠長,就把所有資料都放進去」 ❌ 費用、速度、注意力三個代價都會出現(7.4 節)
「AI 自己會記得上次聊過什麼」 ❌ API 每次呼叫都是獨立的,記憶要由系統保存並送回去(7.3 節)
「記憶越多,Agent 越聰明」 ⚠️ 過時或錯誤的記憶比沒有記憶更危險
「向量資料庫就是 Agent 的記憶」 ⚠️ 那只是語意記憶的一種存放方式;工作狀態、事件、流程各有更適合的位置

伍、回到情境

有了情節記憶,K 公司再詢價時,Agent 會先看到去年的教訓;不必把五年資料全部貼上,只要找出相關的幾筆。但仍有限制:

限制 後果 在哪裡處理
舊資料沒人整理進 CRM 情節記憶是空的 10.5 節 組織記憶沉澱
記憶被外部內容汙染 錯誤經驗影響後續決策 F.5、13.1 節
各部門記的定義不同 同一個「營收」三種算法 12.3 節 單一真實資料源

本節小結

  1. 上下文是有限的辦公桌:放什麼、怎麼放,就是上下文工程。
  2. 關鍵狀態(底價、已承諾條件)由程式保存,不靠 AI「記得」。
  3. 四種記憶各有適合的存放位置;情節記憶的「重要性」要在寫入時標好。
  4. 長期記憶的寫入權限要管:Agent 提議,人審核。

參考資源

  • Liu, N. F. et al. Lost in the Middle: How Language Models Use Long Contexts(2023)。
  • Park, J. S. et al. Generative Agents: Interactive Simulacra of Human Behavior(2023)。
  • Sumers, T. R. et al. Cognitive Architectures for Language Agents(CoALA,2023)。
  • 李博傑《深入理解 AI Agent》中關於上下文與記憶的章節。

陸、練習

  1. 分類(5 分鐘):下列資訊各屬於哪一種記憶?「客戶本次要求 FOB 價」「歐盟 CBAM 申報準則」「去年颱風季基隆港延誤 5 天」「開立信用狀的 7 個步驟」。
  2. 寫規則(20 分鐘):替「供應商情節記憶」寫一張規格表:誰能寫、寫哪些欄位、重要性怎麼評、多久要重新確認。
  3. 管理反思(討論):資深採購退休前說:「這家供應商不能信。」這句話能直接寫進 Agent 的記憶嗎?要補上什麼,才能變成可用的情節記憶?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。