9.6 停止條件與核准關卡:AI 說「做完了」不算數
學完本節,你能夠:
- 說明為什麼 AI 代理「自己宣布完成」不能當作完成,並設計由事先寫好的檢查來判定完成。
- 為一個代理迴圈設定六種停止條件,並說出每一種擋住的是什麼風險。
- 設計核准關卡:分辨「能復原」與「不能復原」的動作,做到「批准動作本身,不批准它的解釋」,並避免核准疲勞。
壹、開場情境:催款 Agent 說「全部處理完畢」
📌 以下為教學情境(依實務常見事故改編)。
一家外銷手工具的公司,財務部導入一個「應收帳款催收 Agent」:每天早上讀取逾期 30 天以上的發票,寫一封英文催款信寄給客戶,並把處理結果記錄在試算表。
上線第三天,財務經理收到三件事:
| 發生了什麼 | 原因 |
|---|---|
| 德國客戶一個早上收到三封一模一樣的催款信,打電話來抱怨 | 寄信服務回應太慢,Agent 以為沒寄出,又寄了兩次 |
| 一位上週已經付款的美國客戶也收到催款信 | Agent 讀到的是前一天的帳款資料;它在信裡說「依系統紀錄您尚未付款」 |
| Agent 的工作紀錄寫著「✅ 全部 12 筆處理完畢」 | 其中 2 筆其實因為客戶 Email 欄位是空的而寄送失敗,Agent 把「已嘗試」當成「已完成」 |
更麻煩的是,Agent 在第二天曾經跑了一個多小時才停下來,原因不是做完,而是對話長度用完了。
本節要解決的問題: 一個會自己決定下一步的 AI 代理,什麼時候該停?哪些動作在執行前必須經過人或規則的核准?
貳、為什麼會這樣:迴圈需要「停的理由」與「動手前的關卡」
第 8.4 節介紹過 ReAct 迴圈:AI 思考、呼叫工具、看結果、再決定下一步。第 9.5 節說明了關鍵差異在「誰決定下一步」。一旦下一步由 AI 決定,就必須有兩種寫在程式裡的控制:
| 控制 | 管什麼 | 比喻 |
|---|---|---|
| 停止條件 | 整趟任務什麼時候結束,以及為什麼結束 | 專案的預算上限、截止日、驗收標準 |
| 核准關卡 | 每一個動作在執行前能不能做 | 公司的簽核權限與職責分離 |
兩者各管各的:停止條件只回答「該收工了嗎」,不會替你檢查「這一步該不該做」。開場的重複寄信,就算設了「最多 20 步」也擋不住,因為第 2 步就已經寄出了。
💡 寫在提示裡的規則不算控制。 在 Prompt 寫「請不要重複寄信」,AI 可能遵守,也可能忽略。真正的控制必須寫在 AI 外面那層程式(第 9.1 節的 Harness)裡:提示是拜託,程式才是規定。
AI 說「完成了」,為什麼不能信?
國外課程做過一個實驗:同一個任務讓 AI 代理跑四次,四次都自己宣布「完成」,但只有一次真的能用。另外三次中,有一次它用來「驗證」的指令根本沒有測到功能,只確認程式能開啟,而它連續三次相信這個檢查通過了。
換句話說:球員不能兼裁判。 能判斷完成的,只有在 AI 開始工作之前就寫好的檢查(第 2.6 節的場景表、第 5.2 節的驗收測試)。
參、方法一:六種停止條件
把下面六種停止條件看成一條鏈:每一種存在的理由,都是因為前面幾種會漏掉某些情況。
| # | 停止條件 | 擋住什麼 | 要事先決定的事 | 催款 Agent 的設定 |
|---|---|---|---|---|
| ① | 任務完成 | 正常結束 | 什麼算完成?AI 說「完成」不算,要用事先寫好的檢查確認 | 試算表每一筆都有「已寄出+寄送編號」或「轉人工+原因」 |
| ② | 步數上限 | 明顯失控、兜圈子 | 算 AI 回覆的次數,還是工具呼叫的次數? | 每筆發票最多 6 步,整批最多 100 步 |
| ③ | 用量預算 | 對話越來越長、費用越來越高(每多一步,送出去的內容就更長) | 管的是單次送出的長度,還是整趟的總費用? | 整批費用上限 US$ 2 |
| ④ | 時間上限 | 卡住不動的步驟(例如等一個不會回應的服務) | 單一動作的逾時,加上整趟的時間預算 | 單次寄信等 30 秒;整批 20 分鐘 |
| ⑤ | 重複動作 | AI 最常見的失誤:同一個動作一直做 | 怎樣算「同一個動作」?(同一個工具+同樣的參數) | 同一張發票、同一位收件人,當天第二次寄信 → 停止 |
| ⑥ | 連續錯誤 | 已經「迷路」的任務 | 連續失敗幾次就停? | 連續 3 次工具錯誤 → 停止並通知財務 |
還有兩個重要原則:
- 因為上限而停,不等於完成。 開場那天「對話長度用完」停下來,系統卻沒有回報「未完成」,所以沒人知道還有幾筆沒處理。
- 每次停下來都要留下一行紀錄:停在哪一個條件、做了幾步、做到哪裡、還有什麼沒處理。這和第 4.6 節的「一行進度狀態」是同一個精神。
+ 核准關卡(參段方法二)"] E --> F["執行並取得結果"] F --> G["執行後:更新 ⑥ 連續錯誤次數"] G --> A
肆、方法二:核准關卡
1. 先分辨:這個動作能不能復原?
| 動作類型 | 例子 | 能復原嗎? | 建議的關卡 |
|---|---|---|---|
| 只讀取 | 查詢應收帳款、讀發票 | 不改變任何東西 | 通常放行;但若資料會送到外部 AI 服務,要注意機密(第 13.1 節) |
| 修改內部資料 | 在試算表標記「已催收」 | 有版本紀錄就能復原(附錄 A) | 規則檢查後放行 |
| 對外發送 | 寄 Email、發簡訊、通知客戶 | 寄出就收不回來 | 人工核准,或嚴格規則+抽查 |
| 金流與承諾 | 退款、改價、同意延長付款期限 | 不能復原 | 一律人工核准,金額大者雙簽(第 13.2 節) |
這裡要特別注意一個觀念:逾時不等於沒做。開場的寄信服務回應太慢,Agent 以為失敗就重寄,但信其實已經寄出了。像「寄信」「扣款」這種做兩次和做一次結果不同的動作,失敗後不能自動重試,而是要先查詢「到底有沒有成功」;只有「查詢餘額」這種做幾次都一樣的動作,才適合第 9.4 節的自動重試。
2. 批准動作本身,不要批准它的解釋
AI 在請求核准時,常會附上一句說明,例如:
「為了確保客戶收到通知,我將重新寄送催款信。」
這句說明是寫這個動作的同一個 AI 寫的。核准時要看的是動作本身:寄給誰、寄什麼內容、這張發票今天寄過沒有、客戶的付款狀態是什麼時候更新的。
| 核准畫面顯示 | 該看的 | 不該只看的 |
|---|---|---|
| 寄信 | 完整收件人、完整信件內容、這張發票的寄送紀錄 | AI 的一句話摘要 |
| 修改資料 | 修改前後的差異(第 4.5 節) | 「我已經修正好了」 |
| 執行一個程式或腳本 | 它執行時會讀到什麼(例如前一步 AI 剛寫好的設定檔) | 程式的名稱 |
最後一列的意思是:你批准的是「在當下狀態裡」的動作。 如果 AI 前一步剛修改了收件人清單,你在下一步批准「寄出催款信」,其實也一併批准了那份被改過的清單。
3. 核准疲勞:永遠按「同意」的關卡等於不存在
有 AI 公司公開過數據:使用者對代理的權限詢問,大約 93% 都按了同意。當一個關卡十次有九次都是「同意」,核准就從判斷變成習慣,就像每天簽幾十張例行請款單的主管,最後只看金額欄。
解決方法是分層,讓人只處理真正需要判斷的少數案件:
| 層次 | 做什麼 | 成本 | 催款 Agent 的例子 |
|---|---|---|---|
| ① 程式規則 | 明確的允許/拒絕清單,拒絕優先 | 幾乎免費 | 收件人網域不在客戶主檔 → 直接拒絕;同一張發票今天已寄過 → 直接拒絕 |
| ② 審查模型 | 另一個 AI 判斷意圖與影響,只看使用者的原始要求與動作本身,不看執行 AI 的說明 | 每個動作一次模型費用 | 判斷信件語氣是否過度威脅、是否提到不該提的金額 |
| ③ 人工 | 處理前兩層無法確定的「中間地帶」 | 人的時間 | 金額超過 US$ 50,000、客戶有爭議紀錄 |
這裡有一個重要的管理觀念:審查模型通常給出「風險機率」。機率是 AI 估的,門檻是公司定的。 同樣 0.75 的風險分數,保守的公司可能交給人看,積極的公司可能放行。這和信用審核的核准門檻一樣,是一種政策選擇,必須有人負責。
💡 怎麼寫出第一版規則? 先用一週時間全部人工核准,並記下「哪些我其實沒細看就按了同意」。那份清單,就是你第一版放行規則的草稿。
伍、應用到情境:催款 Agent 重新上線
| 開場的問題 | 加上的控制 | 屬於哪一種 |
|---|---|---|
| 同一封信寄三次 | 同一張發票+同一收件人,當天第二次寄信一律拒絕;寄信逾時先查寄送紀錄,不自動重寄 | 停止條件 ⑤+規則關卡+「逾時不等於沒做」 |
| 已付款客戶收到催款信 | 寄信前重新查詢即時付款狀態;資料更新時間超過 1 小時,轉人工 | 核准時看「當下狀態」 |
| 「全部完成」但有 2 筆失敗 | 完成由檢查判定:每一筆都要有寄送編號或轉人工原因,否則不算完成 | 停止條件 ① |
| 跑到對話長度用完才停 | 加上步數、費用、時間上限;停下時回報「未完成,剩 N 筆」 | 停止條件 ②③④ |
| 超過 US$ 50,000 的催款 | 一律交給財務經理核准 | 人工關卡 |
重新上線一個月後,財務經理每天只需要核准約 2 封信,其他都由規則自動放行或拒絕。
陸、判斷看看
| 說法 | 對嗎? | 理由 |
|---|---|---|
| 「只要設好最多 50 步,就不會出事。」 | ❌ | 步數上限只能停止失控的任務;第 1 步就寄錯信,它擋不住。動作要靠核准關卡 |
| 「在 Prompt 寫『寄信前要確認客戶已付款』就夠了。」 | ❌ | 提示是拜託,程式才是規定;確認付款狀態要寫成寄信前的程式檢查 |
| 「AI 說它已經測試過,所以可以上線。」 | ❌ | 球員不能兼裁判;要用事先寫好的驗收情境 |
| 「寄信失敗就自動重試 3 次。」 | ⚠️ | 寄信做兩次結果不同,先查有沒有寄出,再決定要不要重寄 |
| 「核准畫面只要顯示 AI 的摘要,讓主管快速批准。」 | ❌ | 要顯示完整的動作本身;摘要是同一個 AI 寫的 |
| 「讓審查 AI 讀執行 AI 的說明,它判斷會更準。」 | ❌ | 執行 AI 的說明可能有誤,甚至被外部內容操縱(第 13.1 節);審查者只看原始要求與動作 |
柒、限制與銜接
| 限制 | 後果 | 在哪一節處理 |
|---|---|---|
| 停止條件的數字要靠經驗調整 | 太緊會讓正常任務中斷,太鬆則形同虛設 | 第 10 章:用評估資料與實際紀錄調整 |
| 審查模型本身也會判斷錯 | 該擋的沒擋,或擋掉正常動作 | 第 5.5 節 LLM-as-a-Judge;用標記好的案例評估關卡的準確度 |
| 規則越多,維護越難 | 規則彼此衝突 | 第 12.4 節數位內控護欄與自動化合規審查 |
本節小結
- 代理迴圈需要兩種寫在程式裡的控制:停止條件結束任務,核准關卡判斷每個動作。
- AI 自己宣布完成不算完成;完成要由事先寫好的檢查判定。因為上限而停,要回報「未完成」。
- 六種停止條件:任務完成、步數、用量、時間、重複動作、連續錯誤。
- 依「能不能復原」決定關卡強度;逾時不等於沒做,寄信、扣款這類動作不能盲目重試。
- 批准動作本身與當下狀態,不批准 AI 的解釋;用「規則 → 審查模型 → 人」分層,避免核准疲勞。
捌、練習
- 改數字(10 分鐘):催款 Agent 的整批費用上限是 US$ 2。若平均每筆發票花 US$ 0.12,最多能處理幾筆?如果某天有 25 筆逾期發票,會發生什麼事?系統應該怎麼回報?
- 設計關卡(20 分鐘):替一個「自動回覆客戶詢價 Agent」列出它可能執行的 6 個動作,依「能不能復原」分類,並為每一個動作指定關卡(規則/審查模型/人工)。
- 管理反思(討論):你的公司過去用什麼方式防止員工「重複付款」或「付款給錯誤對象」(例如三單比對、雙簽、付款前覆核)?這些內部控制分別對應本節的哪一種停止條件或核准關卡?
📚 觀念出處:停止條件的分類、「批准動作而非解釋」與核准疲勞等觀念,參考美國密西根大學 EECS 498「Applied Agentic Software Engineering」課程(2026 秋季);93% 核准率的觀察來自 Anthropic 公開說明其 Claude Code 自動模式的設計文章。本節內容依商學院情境重新撰寫。