F.2 上下文工程與企業記憶架構
學完本節,你能夠:
- 說明為什麼上下文視窗是有限、有成本的資源,並列出三種管理做法。
- 區分 Agent 的四種記憶(工作、語意、情節、程序性),並各舉一個外貿例子。
- 設計一條「什麼該寫進長期記憶、誰可以寫」的規則。
壹、開場情境:第二次談判,AI 什麼都不記得
📌 以下為教學情境(依外貿實務改編)。
去年,德國客戶 K 公司的一批貨延遲交貨,公司賠了違約金。今年 K 公司再來詢價,業務助理 Agent 照標準流程報價,完全沒提交期保證,客戶回信只有一句:「你們去年的問題解決了嗎?」
接著,業務把 K 公司五年來的所有往來信件、合約與會議紀錄(約 30 萬 Token)一次貼給 AI,希望它「全部記住」。結果回覆變慢、費用變高,而且還是漏掉了合約第 14 條的延遲罰則。
本節要解決的問題: Agent 要記得的東西,應該放在哪裡、什麼時候拿出來?
貳、核心概念
1. 上下文視窗:有限的辦公桌
上下文視窗(Context Window) 是模型每次回答時「桌上攤開的所有資料」。桌子越來越大(主流模型已到數十萬至百萬 Token 等級,規格常更新),但全部攤開仍有三個代價:
| 代價 | 說明 | 正文 |
|---|---|---|
| 費用 | API 按 Token 計價,每次呼叫都重送整桌資料;問 30 次就付 30 次 | 7.2、7.4 |
| 速度 | 輸入越長,回應越慢 | 7.4 |
| 注意力稀釋 | 關鍵資訊夾在長文中段時較容易被忽略,稱為「迷失在中間」(Lost in the Middle,Liu 等人,2023);無關內容越多,表現越可能下降 | 7.2 |
上下文工程(Context Engineering) 就是決定「這一次呼叫,桌上該放什麼、怎麼放」(詳見 7.2 節)。常見三種做法:
| 做法 | 怎麼做 | 適合 | 風險 |
|---|---|---|---|
| 滑動視窗 | 只保留最近 N 輪對話 | 閒聊、短任務 | 早期講好的條件被丟掉 |
| 摘要壓縮 | 對話太長時,把前段濃縮成重點備忘 | 長時間的談判、專案 | 摘要可能漏掉數字或例外 |
| 結構化標籤 | 用 <customer_profile>、<contract> 等標籤分隔資料 |
多種資料並存 | 標籤只是提示,不是安全邊界(F.5) |
第 7.3 節的做法更進一步:談判底價、已承諾的條件不放在對話裡讓 AI 記,而是由程式保存成結構化狀態,每次呼叫時注入。這是最可靠的「記憶」。
2. 四種記憶
認知科學把人的記憶分成幾類,研究者(如 CoALA 架構,Sumers 等人,2023)把同樣的分類套用到 Agent:
這一次任務的桌面"] <--> S["語意記憶
事實與規則"] W <--> E["情節記憶
發生過的事"] W <--> P["程序性記憶
做事的方法"]
| 記憶 | 存什麼 | 外貿例子 | 通常放在哪裡 | 正文 |
|---|---|---|---|---|
| 工作記憶 | 當前任務的進度與暫存數字 | 「客戶剛說預算 US$ 40,000」 | 上下文、程式保存的狀態 | 7.3 |
| 語意記憶 | 客觀事實、法規、公司規章 | Incoterms 2020、公司授權辦法 | 知識庫+檢索(RAG) | 7.5 |
| 情節記憶 | 帶時間的事件與教訓 | 「去年 K 公司那批貨延遲,賠了違約金」 | 事件紀錄、CRM 備註 | 10.5 |
| 程序性記憶 | 做事的步驟與工具 | 報關、開信用狀的標準流程 | 規則檔、Skills、程式 | 10.5、12.3 |
開場情境缺的是情節記憶:K 公司去年的事件應該留在 CRM 裡,報價前自動被找出來。
3. 情節記憶怎麼「想起來」
史丹佛與 Google 研究者的 Generative Agents(Park 等人,2023)用三個分數決定要想起哪一段經歷:
檢索分數 = 相關性 + 新近性 + 重要性
相關性:和目前問題的語意有多接近
新近性:越久以前的事,分數越低
重要性:事件寫入時評定的重要程度(例:違約賠款 > 一般寒暄)
論文中三項是等權相加,實務上可以調整權重。商業上的意義是:「重要性」要在寫入時就標好。賠過錢的事件就算過了一年,也應該排在前面。
參、應用到情境:設計 K 公司的記憶流程
最後兩步是本節最重要的設計:Agent 可以提議寫入長期記憶,但由人審核後才生效。理由在 F.5:如果任何一封外部來信都能讓 Agent 寫進記憶,攻擊者就可以「植入」假經驗,影響之後所有決策(記憶投毒)。
| 規則 | 規格 |
|---|---|
| 誰能寫 | Agent 只能寫「草稿」;業務主管核准後才進入正式紀錄 |
| 寫什麼 | 事件日期、對象、事實、損失金額、教訓、重要性(高/中/低) |
| 不寫什麼 | 未經查證的傳聞、個人情緒評語(例:「這客戶很難搞」)、個資(13.4 節) |
| 何時失效 | 每筆紀錄標明有效期限;過期需重新確認(14.3 節) |
肆、判斷看看:常見誤解
| 說法 | 對嗎? | 說明 |
|---|---|---|
| 「上下文夠長,就把所有資料都放進去」 | ❌ | 費用、速度、注意力三個代價都會出現(7.4 節) |
| 「AI 自己會記得上次聊過什麼」 | ❌ | API 每次呼叫都是獨立的,記憶要由系統保存並送回去(7.3 節) |
| 「記憶越多,Agent 越聰明」 | ⚠️ | 過時或錯誤的記憶比沒有記憶更危險 |
| 「向量資料庫就是 Agent 的記憶」 | ⚠️ | 那只是語意記憶的一種存放方式;工作狀態、事件、流程各有更適合的位置 |
伍、回到情境
有了情節記憶,K 公司再詢價時,Agent 會先看到去年的教訓;不必把五年資料全部貼上,只要找出相關的幾筆。但仍有限制:
| 限制 | 後果 | 在哪裡處理 |
|---|---|---|
| 舊資料沒人整理進 CRM | 情節記憶是空的 | 10.5 節 組織記憶沉澱 |
| 記憶被外部內容汙染 | 錯誤經驗影響後續決策 | F.5、13.1 節 |
| 各部門記的定義不同 | 同一個「營收」三種算法 | 12.3 節 單一真實資料源 |
本節小結
- 上下文是有限的辦公桌:放什麼、怎麼放,就是上下文工程。
- 關鍵狀態(底價、已承諾條件)由程式保存,不靠 AI「記得」。
- 四種記憶各有適合的存放位置;情節記憶的「重要性」要在寫入時標好。
- 長期記憶的寫入權限要管:Agent 提議,人審核。
參考資源
- Liu, N. F. et al. Lost in the Middle: How Language Models Use Long Contexts(2023)。
- Park, J. S. et al. Generative Agents: Interactive Simulacra of Human Behavior(2023)。
- Sumers, T. R. et al. Cognitive Architectures for Language Agents(CoALA,2023)。
- 李博傑《深入理解 AI Agent》中關於上下文與記憶的章節。
陸、練習
- 分類(5 分鐘):下列資訊各屬於哪一種記憶?「客戶本次要求 FOB 價」「歐盟 CBAM 申報準則」「去年颱風季基隆港延誤 5 天」「開立信用狀的 7 個步驟」。
- 寫規則(20 分鐘):替「供應商情節記憶」寫一張規格表:誰能寫、寫哪些欄位、重要性怎麼評、多久要重新確認。
- 管理反思(討論):資深採購退休前說:「這家供應商不能信。」這句話能直接寫進 Agent 的記憶嗎?要補上什麼,才能變成可用的情節記憶?