10.4 企業 Agent 的持續進化閉環

學完本節,你能夠:

  1. 說明持續進化閉環的五個步驟,以及每一步要產出什麼。
  2. 拿一筆線上失敗案例,走完「捕捉 → 歸因 → 修正 → 回歸驗收 → 小規模上線」的流程。
  3. 區分「用人類回饋改善提示詞與資料」和「RLHF 模型訓練」的差別,並避免修正過程污染評估題庫。

壹、開場情境:三個月前的錯,今天還在犯

📌 以下為教學情境(依實務改編)。

一家外貿公司的「AI 報價回信助手」上線時表現不錯。三個月後,業務主管發現:

  • 公司 7 月起把新客戶的付款條件改成「預付 30%」,但 AI 回信仍然寫「T/T 30 天」;
  • 業務每天手動改同樣的句子,改了三個月;
  • 沒有人通知負責系統的同事,因為「反正改一下就好」。

很多人以為 AI「用久了自己會變聰明」。事實上,一般企業使用的 AI 模型不會因為你每天使用就自動學習;它的知識停在訓練完成的時間點。系統要變好,得靠人把教訓寫回提示詞、知識庫、規則和題庫。

本節要解決的問題: 怎麼建立一套流程,讓每一次出錯都只發生一次?


貳、五步持續進化閉環

flowchart LR F1["① 記錄
完整保存每次執行過程"] --> F2["② 捕捉
找出出錯訊號"] F2 --> F3["③ 歸因
判斷錯在哪一層"] F3 --> F4["④ 修正
改提示詞/知識庫/規則
並新增評估題"] F4 --> F5["⑤ 驗收上線
回歸測試+金絲雀發布"] F5 --> F1
步驟 做什麼 產出 相關章節
① 記錄 保存每次執行的輸入、AI 的推理步驟、呼叫了哪些工具、工具回傳什麼、最後輸出 執行日誌 6.3 可觀測性、8.4 ReAct
② 捕捉 從日誌與業務流程中找出「出錯訊號」 待處理案例清單 本節參
③ 歸因 判斷錯誤出在哪一層 根因與修正位置 本節參
④ 修正 修改對應的資產,並把案例加進評估資料集 新版提示詞/知識庫/規則+新評估題 7.5 RAG、9.2 約束、10.2
⑤ 驗收上線 用評估資料集做回歸測試,通過後先給少量流量試用 上線決策 6.1 金絲雀發布

回歸測試(Regression Test):修改之後,把舊的題目全部重考一次,確認「修好新問題」的同時沒有「弄壞舊功能」。


參、把規則寫下來:要捕捉哪些訊號、怎麼歸因

1. 出錯訊號

訊號 怎麼收集 特性
主管修改草稿 系統自動比對「AI 草稿」與「實際寄出版本」的差異 最即時、數量最多;但要區分「實質錯誤」與「個人用字偏好」
主管駁回 審批流程中記錄駁回原因(下拉選單+備註) 明確,但需要主管願意填原因
客戶質疑 客戶回信出現「與官網不同」「你們上次說…」等 已經造成外部影響,嚴重度高
外部退件 銀行、海關退件或要求補件 通常有金錢損失,必須處理

開場情境中,業務「每天手動改同一句話」就是最強烈的訊號,只是沒有被收集起來。

2. 歸因:錯在哪一層?

症狀 可能根因 修正位置
引用已經過期的政策或法規 知識庫資料沒更新 更新 RAG 知識庫(第 7.5 節),並建立資料更新責任人
不知道公司內部的做法 提示詞沒寫清楚 修改提示詞或專案規則檔
報價數字錯 工具回傳的資料延遲或錯誤 修正工具或資料來源(第 8 章)
做了不該做的事(例如給出未授權折扣) 缺少硬性約束 在 Harness 加上約束規則(第 9.2 節)
以上都正確,仍然推理錯誤 模型能力不足 換模型前先做 A/B 測試或消融比較(第 10.3 節)

💡 先查資料與規則,最後才怪模型 實務上大多數錯誤出在資料過期或規則沒寫清楚,修起來快又便宜。直接換更貴的模型,往往花了錢卻沒解決問題。


肆、走一遍:付款條件錯誤的修正流程

步驟 本案例的實際動作
① 記錄 調出近 3 個月的日誌,發現 AI 回信引用的是知識庫中 2025 年版的〈付款條件政策〉
② 捕捉 草稿比對顯示:62 封新客戶回信中,業務手動修改「付款條件」那一句的有 58 封
③ 歸因 政策已改,但知識庫裡的舊文件沒有被替換 → 屬於「知識庫資料沒更新」
④ 修正 (a) 以新版政策取代知識庫中的舊文件;(b) 指定業務部助理為該文件的更新責任人;(c) 新增 3 道評估題(新客戶、舊客戶、客戶要求例外),其中「新客戶付款條件」列為紅線題
⑤ 驗收上線 回歸測試通過後,先讓 10% 的詢價使用新版一週,主管修改率確實下降,再全面上線

第 ⑤ 步的上線規則,延續第 10.2 節:

可以上線 = 紅線題全部通過(含新增的題目)
          且 整體通過率不低於目前線上版本
          且 金絲雀階段的主管修改率沒有上升

⚠️ 不要要求「歷史題目 100% 全對」 AI 有機率性(第 10.1 節),同一份題庫重考,一般題偶爾會有一兩題結果不同。合理的門檻是:紅線題必須全對,其他題目的通過率不得低於上一版。要求全部 100% 只會讓團隊不敢更新,或開始「調題目」來過關。


伍、人類回饋:有用,但不是 RLHF

RLHF(人類回饋強化學習):AI 公司在訓練模型時,請人比較多個回答的好壞,再用這些評分調整模型本身的參數。

企業日常收集主管的修改紀錄,概念上類似「用人的判斷來改善 AI」,但做法完全不同:

RLHF 企業日常回饋迴圈
改的是什麼 模型內部的參數 提示詞、範例、知識庫、規則
需要什麼 大量標註資料、運算資源、機器學習團隊 主管的修改紀錄與一位整理的人
誰在做 模型開發商 企業自己的業務與專案團隊
效果 改變模型的整體行為 改變模型在你公司情境下的表現

實務做法

  1. 每月從主管修改紀錄中,挑出修改幅度最大的案例。
  2. 分類:實質錯誤(事實、數字、政策)→ 依第參段歸因修正;用字偏好 → 累積到一定數量,再整理成寫作風格指引。
  3. 好的修改可以整理成提示詞中的範例。

⚠️ 範例與考題要分開 同一個案例不能同時放進提示詞當範例、又放進評估資料集當考題,否則就是第 10.2 節說的資料污染。做法是:真實的失敗案例進題庫;提示詞範例另外改寫一個類似但不相同的情境。

判斷看看

說法 對嗎? 說明
「AI 用久了會自己學會我們公司的做法。」 🛑 錯 模型不會因使用而更新,要靠人修改提示詞、知識庫與規則
「主管每次修改都代表 AI 錯了。」 ⚠️ 不一定 有些只是個人用字偏好,要先分類
「修好了就直接上線,反正是小改動。」 🛑 錯 小改動也可能弄壞別的功能,必須回歸測試
「沒收到客戶投訴,代表系統沒問題。」 ⚠️ 不一定 客戶投訴是落後訊號;內部主管修改是領先訊號,更早也更多

陸、回到情境

如果公司一開始就建立這個閉環,政策 7 月改動後,第一週的草稿比對就會發現「付款條件」被大量修改,三個月的重複勞動可以縮短成幾天。

限制 後果 在哪一節解決
歸因與修正仍需要人力 案例一多,處理不完 依嚴重度排序;第 12 章談團隊分工
知識庫與規則的「更新責任人」常常沒人當 資料又慢慢過期 10.5 組織記憶與資產管理
執行日誌可能含客戶個資 保存與調閱有法規風險 第 13 章 隱私與合規

本節小結

  1. 企業使用的 AI 模型不會自己學習;系統要進步,得靠「記錄 → 捕捉 → 歸因 → 修正 → 驗收上線」的閉環。
  2. 主管修改草稿是最即時的出錯訊號,比客戶投訴更早出現。
  3. 先查資料與規則,再考慮換模型;每次修正都要新增評估題並做回歸測試。
  4. 日常人類回饋不是 RLHF,它改的是提示詞與資料;範例與考題必須分開。

柒、練習

  1. 改數字(5 分鐘):本節案例中,62 封新客戶回信有 58 封被修改。主管修改率是多少?如果修正後一週內 40 封只有 3 封被修改,修改率下降了多少個百分點?
  2. 走一遍閉環(20 分鐘):AI 在一張發往歐盟的報價單上,漏寫了客戶要求的產品認證說明,被主管駁回。請依第肆段的表格,寫出五個步驟各要做什麼,並為它設計至少 1 道評估題(含嚴重度)。
  3. 管理反思(討論):在 Antigravity 或 Claude Code 這類工具中,可以把團隊的固定要求寫成專案規則檔(例如 Antigravity 可讀取的 AGENTS.md、Claude Code 的 CLAUDE.md;CLAUDE.md 見附錄 B.8;AGENTS.md 見第 2.6、7.2 節)。如果你發現 AI 每次產出的市場分析報告都漏掉資料來源,你會把這條要求寫進規則檔、提示詞,還是評估題庫?三者各解決什麼問題?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。