10.4 企業 Agent 的持續進化閉環
學完本節,你能夠:
- 說明持續進化閉環的五個步驟,以及每一步要產出什麼。
- 拿一筆線上失敗案例,走完「捕捉 → 歸因 → 修正 → 回歸驗收 → 小規模上線」的流程。
- 區分「用人類回饋改善提示詞與資料」和「RLHF 模型訓練」的差別,並避免修正過程污染評估題庫。
壹、開場情境:三個月前的錯,今天還在犯
📌 以下為教學情境(依實務改編)。
一家外貿公司的「AI 報價回信助手」上線時表現不錯。三個月後,業務主管發現:
- 公司 7 月起把新客戶的付款條件改成「預付 30%」,但 AI 回信仍然寫「T/T 30 天」;
- 業務每天手動改同樣的句子,改了三個月;
- 沒有人通知負責系統的同事,因為「反正改一下就好」。
很多人以為 AI「用久了自己會變聰明」。事實上,一般企業使用的 AI 模型不會因為你每天使用就自動學習;它的知識停在訓練完成的時間點。系統要變好,得靠人把教訓寫回提示詞、知識庫、規則和題庫。
本節要解決的問題: 怎麼建立一套流程,讓每一次出錯都只發生一次?
貳、五步持續進化閉環
完整保存每次執行過程"] --> F2["② 捕捉
找出出錯訊號"] F2 --> F3["③ 歸因
判斷錯在哪一層"] F3 --> F4["④ 修正
改提示詞/知識庫/規則
並新增評估題"] F4 --> F5["⑤ 驗收上線
回歸測試+金絲雀發布"] F5 --> F1
| 步驟 | 做什麼 | 產出 | 相關章節 |
|---|---|---|---|
| ① 記錄 | 保存每次執行的輸入、AI 的推理步驟、呼叫了哪些工具、工具回傳什麼、最後輸出 | 執行日誌 | 6.3 可觀測性、8.4 ReAct |
| ② 捕捉 | 從日誌與業務流程中找出「出錯訊號」 | 待處理案例清單 | 本節參 |
| ③ 歸因 | 判斷錯誤出在哪一層 | 根因與修正位置 | 本節參 |
| ④ 修正 | 修改對應的資產,並把案例加進評估資料集 | 新版提示詞/知識庫/規則+新評估題 | 7.5 RAG、9.2 約束、10.2 |
| ⑤ 驗收上線 | 用評估資料集做回歸測試,通過後先給少量流量試用 | 上線決策 | 6.1 金絲雀發布 |
回歸測試(Regression Test):修改之後,把舊的題目全部重考一次,確認「修好新問題」的同時沒有「弄壞舊功能」。
參、把規則寫下來:要捕捉哪些訊號、怎麼歸因
1. 出錯訊號
| 訊號 | 怎麼收集 | 特性 |
|---|---|---|
| 主管修改草稿 | 系統自動比對「AI 草稿」與「實際寄出版本」的差異 | 最即時、數量最多;但要區分「實質錯誤」與「個人用字偏好」 |
| 主管駁回 | 審批流程中記錄駁回原因(下拉選單+備註) | 明確,但需要主管願意填原因 |
| 客戶質疑 | 客戶回信出現「與官網不同」「你們上次說…」等 | 已經造成外部影響,嚴重度高 |
| 外部退件 | 銀行、海關退件或要求補件 | 通常有金錢損失,必須處理 |
開場情境中,業務「每天手動改同一句話」就是最強烈的訊號,只是沒有被收集起來。
2. 歸因:錯在哪一層?
| 症狀 | 可能根因 | 修正位置 |
|---|---|---|
| 引用已經過期的政策或法規 | 知識庫資料沒更新 | 更新 RAG 知識庫(第 7.5 節),並建立資料更新責任人 |
| 不知道公司內部的做法 | 提示詞沒寫清楚 | 修改提示詞或專案規則檔 |
| 報價數字錯 | 工具回傳的資料延遲或錯誤 | 修正工具或資料來源(第 8 章) |
| 做了不該做的事(例如給出未授權折扣) | 缺少硬性約束 | 在 Harness 加上約束規則(第 9.2 節) |
| 以上都正確,仍然推理錯誤 | 模型能力不足 | 換模型前先做 A/B 測試或消融比較(第 10.3 節) |
💡 先查資料與規則,最後才怪模型 實務上大多數錯誤出在資料過期或規則沒寫清楚,修起來快又便宜。直接換更貴的模型,往往花了錢卻沒解決問題。
肆、走一遍:付款條件錯誤的修正流程
| 步驟 | 本案例的實際動作 |
|---|---|
| ① 記錄 | 調出近 3 個月的日誌,發現 AI 回信引用的是知識庫中 2025 年版的〈付款條件政策〉 |
| ② 捕捉 | 草稿比對顯示:62 封新客戶回信中,業務手動修改「付款條件」那一句的有 58 封 |
| ③ 歸因 | 政策已改,但知識庫裡的舊文件沒有被替換 → 屬於「知識庫資料沒更新」 |
| ④ 修正 | (a) 以新版政策取代知識庫中的舊文件;(b) 指定業務部助理為該文件的更新責任人;(c) 新增 3 道評估題(新客戶、舊客戶、客戶要求例外),其中「新客戶付款條件」列為紅線題 |
| ⑤ 驗收上線 | 回歸測試通過後,先讓 10% 的詢價使用新版一週,主管修改率確實下降,再全面上線 |
第 ⑤ 步的上線規則,延續第 10.2 節:
可以上線 = 紅線題全部通過(含新增的題目)
且 整體通過率不低於目前線上版本
且 金絲雀階段的主管修改率沒有上升
⚠️ 不要要求「歷史題目 100% 全對」 AI 有機率性(第 10.1 節),同一份題庫重考,一般題偶爾會有一兩題結果不同。合理的門檻是:紅線題必須全對,其他題目的通過率不得低於上一版。要求全部 100% 只會讓團隊不敢更新,或開始「調題目」來過關。
伍、人類回饋:有用,但不是 RLHF
RLHF(人類回饋強化學習):AI 公司在訓練模型時,請人比較多個回答的好壞,再用這些評分調整模型本身的參數。
企業日常收集主管的修改紀錄,概念上類似「用人的判斷來改善 AI」,但做法完全不同:
| RLHF | 企業日常回饋迴圈 | |
|---|---|---|
| 改的是什麼 | 模型內部的參數 | 提示詞、範例、知識庫、規則 |
| 需要什麼 | 大量標註資料、運算資源、機器學習團隊 | 主管的修改紀錄與一位整理的人 |
| 誰在做 | 模型開發商 | 企業自己的業務與專案團隊 |
| 效果 | 改變模型的整體行為 | 改變模型在你公司情境下的表現 |
實務做法
- 每月從主管修改紀錄中,挑出修改幅度最大的案例。
- 分類:實質錯誤(事實、數字、政策)→ 依第參段歸因修正;用字偏好 → 累積到一定數量,再整理成寫作風格指引。
- 好的修改可以整理成提示詞中的範例。
⚠️ 範例與考題要分開 同一個案例不能同時放進提示詞當範例、又放進評估資料集當考題,否則就是第 10.2 節說的資料污染。做法是:真實的失敗案例進題庫;提示詞範例另外改寫一個類似但不相同的情境。
判斷看看
| 說法 | 對嗎? | 說明 |
|---|---|---|
| 「AI 用久了會自己學會我們公司的做法。」 | 🛑 錯 | 模型不會因使用而更新,要靠人修改提示詞、知識庫與規則 |
| 「主管每次修改都代表 AI 錯了。」 | ⚠️ 不一定 | 有些只是個人用字偏好,要先分類 |
| 「修好了就直接上線,反正是小改動。」 | 🛑 錯 | 小改動也可能弄壞別的功能,必須回歸測試 |
| 「沒收到客戶投訴,代表系統沒問題。」 | ⚠️ 不一定 | 客戶投訴是落後訊號;內部主管修改是領先訊號,更早也更多 |
陸、回到情境
如果公司一開始就建立這個閉環,政策 7 月改動後,第一週的草稿比對就會發現「付款條件」被大量修改,三個月的重複勞動可以縮短成幾天。
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 歸因與修正仍需要人力 | 案例一多,處理不完 | 依嚴重度排序;第 12 章談團隊分工 |
| 知識庫與規則的「更新責任人」常常沒人當 | 資料又慢慢過期 | 10.5 組織記憶與資產管理 |
| 執行日誌可能含客戶個資 | 保存與調閱有法規風險 | 第 13 章 隱私與合規 |
本節小結
- 企業使用的 AI 模型不會自己學習;系統要進步,得靠「記錄 → 捕捉 → 歸因 → 修正 → 驗收上線」的閉環。
- 主管修改草稿是最即時的出錯訊號,比客戶投訴更早出現。
- 先查資料與規則,再考慮換模型;每次修正都要新增評估題並做回歸測試。
- 日常人類回饋不是 RLHF,它改的是提示詞與資料;範例與考題必須分開。
柒、練習
- 改數字(5 分鐘):本節案例中,62 封新客戶回信有 58 封被修改。主管修改率是多少?如果修正後一週內 40 封只有 3 封被修改,修改率下降了多少個百分點?
- 走一遍閉環(20 分鐘):AI 在一張發往歐盟的報價單上,漏寫了客戶要求的產品認證說明,被主管駁回。請依第肆段的表格,寫出五個步驟各要做什麼,並為它設計至少 1 道評估題(含嚴重度)。
- 管理反思(討論):在 Antigravity 或 Claude Code 這類工具中,可以把團隊的固定要求寫成專案規則檔(例如 Antigravity 可讀取的
AGENTS.md、Claude Code 的CLAUDE.md;CLAUDE.md 見附錄 B.8;AGENTS.md 見第 2.6、7.2 節)。如果你發現 AI 每次產出的市場分析報告都漏掉資料來源,你會把這條要求寫進規則檔、提示詞,還是評估題庫?三者各解決什麼問題?