9.6 停止條件與核准關卡:AI 說「做完了」不算數

學完本節,你能夠:

  1. 說明為什麼 AI 代理「自己宣布完成」不能當作完成,並設計由事先寫好的檢查來判定完成。
  2. 為一個代理迴圈設定六種停止條件,並說出每一種擋住的是什麼風險。
  3. 設計核准關卡:分辨「能復原」與「不能復原」的動作,做到「批准動作本身,不批准它的解釋」,並避免核准疲勞。

壹、開場情境:催款 Agent 說「全部處理完畢」

📌 以下為教學情境(依實務常見事故改編)。

一家外銷手工具的公司,財務部導入一個「應收帳款催收 Agent」:每天早上讀取逾期 30 天以上的發票,寫一封英文催款信寄給客戶,並把處理結果記錄在試算表。

上線第三天,財務經理收到三件事:

發生了什麼 原因
德國客戶一個早上收到三封一模一樣的催款信,打電話來抱怨 寄信服務回應太慢,Agent 以為沒寄出,又寄了兩次
一位上週已經付款的美國客戶也收到催款信 Agent 讀到的是前一天的帳款資料;它在信裡說「依系統紀錄您尚未付款」
Agent 的工作紀錄寫著「✅ 全部 12 筆處理完畢」 其中 2 筆其實因為客戶 Email 欄位是空的而寄送失敗,Agent 把「已嘗試」當成「已完成」

更麻煩的是,Agent 在第二天曾經跑了一個多小時才停下來,原因不是做完,而是對話長度用完了。

本節要解決的問題: 一個會自己決定下一步的 AI 代理,什麼時候該停?哪些動作在執行前必須經過人或規則的核准?


貳、為什麼會這樣:迴圈需要「停的理由」與「動手前的關卡」

第 8.4 節介紹過 ReAct 迴圈:AI 思考、呼叫工具、看結果、再決定下一步。第 9.5 節說明了關鍵差異在「誰決定下一步」。一旦下一步由 AI 決定,就必須有兩種寫在程式裡的控制:

控制 管什麼 比喻
停止條件 整趟任務什麼時候結束,以及為什麼結束 專案的預算上限、截止日、驗收標準
核准關卡 每一個動作在執行前能不能做 公司的簽核權限與職責分離

兩者各管各的:停止條件只回答「該收工了嗎」,不會替你檢查「這一步該不該做」。開場的重複寄信,就算設了「最多 20 步」也擋不住,因為第 2 步就已經寄出了。

💡 寫在提示裡的規則不算控制。 在 Prompt 寫「請不要重複寄信」,AI 可能遵守,也可能忽略。真正的控制必須寫在 AI 外面那層程式(第 9.1 節的 Harness)裡:提示是拜託,程式才是規定。

AI 說「完成了」,為什麼不能信?

國外課程做過一個實驗:同一個任務讓 AI 代理跑四次,四次都自己宣布「完成」,但只有一次真的能用。另外三次中,有一次它用來「驗證」的指令根本沒有測到功能,只確認程式能開啟,而它連續三次相信這個檢查通過了。

換句話說:球員不能兼裁判。 能判斷完成的,只有在 AI 開始工作之前就寫好的檢查(第 2.6 節的場景表、第 5.2 節的驗收測試)。


參、方法一:六種停止條件

把下面六種停止條件看成一條鏈:每一種存在的理由,都是因為前面幾種會漏掉某些情況。

# 停止條件 擋住什麼 要事先決定的事 催款 Agent 的設定
① 任務完成 正常結束 什麼算完成?AI 說「完成」不算,要用事先寫好的檢查確認 試算表每一筆都有「已寄出+寄送編號」或「轉人工+原因」
② 步數上限 明顯失控、兜圈子 算 AI 回覆的次數,還是工具呼叫的次數? 每筆發票最多 6 步,整批最多 100 步
③ 用量預算 對話越來越長、費用越來越高(每多一步,送出去的內容就更長) 管的是單次送出的長度,還是整趟的總費用? 整批費用上限 US$ 2
④ 時間上限 卡住不動的步驟(例如等一個不會回應的服務) 單一動作的逾時,加上整趟的時間預算 單次寄信等 30 秒;整批 20 分鐘
⑤ 重複動作 AI 最常見的失誤:同一個動作一直做 怎樣算「同一個動作」?(同一個工具+同樣的參數) 同一張發票、同一位收件人,當天第二次寄信 → 停止
⑥ 連續錯誤 已經「迷路」的任務 連續失敗幾次就停? 連續 3 次工具錯誤 → 停止並通知財務

還有兩個重要原則:

  • 因為上限而停,不等於完成。 開場那天「對話長度用完」停下來,系統卻沒有回報「未完成」,所以沒人知道還有幾筆沒處理。
  • 每次停下來都要留下一行紀錄:停在哪一個條件、做了幾步、做到哪裡、還有什麼沒處理。這和第 4.6 節的「一行進度狀態」是同一個精神。
flowchart TD A["送出請求前:檢查 ② 步數、③ 用量、④ 時間"] --> B["AI 回覆"] B --> C{"AI 宣布完成?"} C -- "是" --> D["執行事先寫好的檢查 ①"] D -- "通過" --> OK(["✅ 完成,留下紀錄"]) D -- "不通過" --> A C -- "要執行動作" --> E["執行前:檢查 ⑤ 重複動作
+ 核准關卡(參段方法二)"] E --> F["執行並取得結果"] F --> G["執行後:更新 ⑥ 連續錯誤次數"] G --> A

肆、方法二:核准關卡

1. 先分辨:這個動作能不能復原?

動作類型 例子 能復原嗎? 建議的關卡
只讀取 查詢應收帳款、讀發票 不改變任何東西 通常放行;但若資料會送到外部 AI 服務,要注意機密(第 13.1 節)
修改內部資料 在試算表標記「已催收」 有版本紀錄就能復原(附錄 A) 規則檢查後放行
對外發送 寄 Email、發簡訊、通知客戶 寄出就收不回來 人工核准,或嚴格規則+抽查
金流與承諾 退款、改價、同意延長付款期限 不能復原 一律人工核准,金額大者雙簽(第 13.2 節)

這裡要特別注意一個觀念:逾時不等於沒做。開場的寄信服務回應太慢,Agent 以為失敗就重寄,但信其實已經寄出了。像「寄信」「扣款」這種做兩次和做一次結果不同的動作,失敗後不能自動重試,而是要先查詢「到底有沒有成功」;只有「查詢餘額」這種做幾次都一樣的動作,才適合第 9.4 節的自動重試。

2. 批准動作本身,不要批准它的解釋

AI 在請求核准時,常會附上一句說明,例如:

「為了確保客戶收到通知,我將重新寄送催款信。」

這句說明是寫這個動作的同一個 AI 寫的。核准時要看的是動作本身:寄給誰、寄什麼內容、這張發票今天寄過沒有、客戶的付款狀態是什麼時候更新的。

核准畫面顯示 該看的 不該只看的
寄信 完整收件人、完整信件內容、這張發票的寄送紀錄 AI 的一句話摘要
修改資料 修改前後的差異(第 4.5 節) 「我已經修正好了」
執行一個程式或腳本 它執行時會讀到什麼(例如前一步 AI 剛寫好的設定檔) 程式的名稱

最後一列的意思是:你批准的是「在當下狀態裡」的動作。 如果 AI 前一步剛修改了收件人清單,你在下一步批准「寄出催款信」,其實也一併批准了那份被改過的清單。

3. 核准疲勞:永遠按「同意」的關卡等於不存在

有 AI 公司公開過數據:使用者對代理的權限詢問,大約 93% 都按了同意。當一個關卡十次有九次都是「同意」,核准就從判斷變成習慣,就像每天簽幾十張例行請款單的主管,最後只看金額欄。

解決方法是分層,讓人只處理真正需要判斷的少數案件:

層次 做什麼 成本 催款 Agent 的例子
① 程式規則 明確的允許/拒絕清單,拒絕優先 幾乎免費 收件人網域不在客戶主檔 → 直接拒絕;同一張發票今天已寄過 → 直接拒絕
② 審查模型 另一個 AI 判斷意圖與影響,只看使用者的原始要求與動作本身,不看執行 AI 的說明 每個動作一次模型費用 判斷信件語氣是否過度威脅、是否提到不該提的金額
③ 人工 處理前兩層無法確定的「中間地帶」 人的時間 金額超過 US$ 50,000、客戶有爭議紀錄

這裡有一個重要的管理觀念:審查模型通常給出「風險機率」。機率是 AI 估的,門檻是公司定的。 同樣 0.75 的風險分數,保守的公司可能交給人看,積極的公司可能放行。這和信用審核的核准門檻一樣,是一種政策選擇,必須有人負責。

💡 怎麼寫出第一版規則? 先用一週時間全部人工核准,並記下「哪些我其實沒細看就按了同意」。那份清單,就是你第一版放行規則的草稿。


伍、應用到情境:催款 Agent 重新上線

開場的問題 加上的控制 屬於哪一種
同一封信寄三次 同一張發票+同一收件人,當天第二次寄信一律拒絕;寄信逾時先查寄送紀錄,不自動重寄 停止條件 ⑤+規則關卡+「逾時不等於沒做」
已付款客戶收到催款信 寄信前重新查詢即時付款狀態;資料更新時間超過 1 小時,轉人工 核准時看「當下狀態」
「全部完成」但有 2 筆失敗 完成由檢查判定:每一筆都要有寄送編號或轉人工原因,否則不算完成 停止條件 ①
跑到對話長度用完才停 加上步數、費用、時間上限;停下時回報「未完成,剩 N 筆」 停止條件 ②③④
超過 US$ 50,000 的催款 一律交給財務經理核准 人工關卡

重新上線一個月後,財務經理每天只需要核准約 2 封信,其他都由規則自動放行或拒絕。


陸、判斷看看

說法 對嗎? 理由
「只要設好最多 50 步,就不會出事。」 ❌ 步數上限只能停止失控的任務;第 1 步就寄錯信,它擋不住。動作要靠核准關卡
「在 Prompt 寫『寄信前要確認客戶已付款』就夠了。」 ❌ 提示是拜託,程式才是規定;確認付款狀態要寫成寄信前的程式檢查
「AI 說它已經測試過,所以可以上線。」 ❌ 球員不能兼裁判;要用事先寫好的驗收情境
「寄信失敗就自動重試 3 次。」 ⚠️ 寄信做兩次結果不同,先查有沒有寄出,再決定要不要重寄
「核准畫面只要顯示 AI 的摘要,讓主管快速批准。」 ❌ 要顯示完整的動作本身;摘要是同一個 AI 寫的
「讓審查 AI 讀執行 AI 的說明,它判斷會更準。」 ❌ 執行 AI 的說明可能有誤,甚至被外部內容操縱(第 13.1 節);審查者只看原始要求與動作

柒、限制與銜接

限制 後果 在哪一節處理
停止條件的數字要靠經驗調整 太緊會讓正常任務中斷,太鬆則形同虛設 第 10 章:用評估資料與實際紀錄調整
審查模型本身也會判斷錯 該擋的沒擋,或擋掉正常動作 第 5.5 節 LLM-as-a-Judge;用標記好的案例評估關卡的準確度
規則越多,維護越難 規則彼此衝突 第 12.4 節數位內控護欄與自動化合規審查

本節小結

  1. 代理迴圈需要兩種寫在程式裡的控制:停止條件結束任務,核准關卡判斷每個動作。
  2. AI 自己宣布完成不算完成;完成要由事先寫好的檢查判定。因為上限而停,要回報「未完成」。
  3. 六種停止條件:任務完成、步數、用量、時間、重複動作、連續錯誤。
  4. 依「能不能復原」決定關卡強度;逾時不等於沒做,寄信、扣款這類動作不能盲目重試。
  5. 批准動作本身與當下狀態,不批准 AI 的解釋;用「規則 → 審查模型 → 人」分層,避免核准疲勞。

捌、練習

  1. 改數字(10 分鐘):催款 Agent 的整批費用上限是 US$ 2。若平均每筆發票花 US$ 0.12,最多能處理幾筆?如果某天有 25 筆逾期發票,會發生什麼事?系統應該怎麼回報?
  2. 設計關卡(20 分鐘):替一個「自動回覆客戶詢價 Agent」列出它可能執行的 6 個動作,依「能不能復原」分類,並為每一個動作指定關卡(規則/審查模型/人工)。
  3. 管理反思(討論):你的公司過去用什麼方式防止員工「重複付款」或「付款給錯誤對象」(例如三單比對、雙簽、付款前覆核)?這些內部控制分別對應本節的哪一種停止條件或核准關卡?

📚 觀念出處:停止條件的分類、「批准動作而非解釋」與核准疲勞等觀念,參考美國密西根大學 EECS 498「Applied Agentic Software Engineering」課程(2026 秋季);93% 核准率的觀察來自 Anthropic 公開說明其 Claude Code 自動模式的設計文章。本節內容依商學院情境重新撰寫。

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。