F.6 評估基準、成本優化與生產落地

學完本節,你能夠:

  1. 說明為什麼評估 Agent 要看「整條執行軌跡」,而不只看最終答案。
  2. 用假設單價試算一個 Agent 任務的費用,並說出三種降低成本的做法。
  3. 列出 Agent 從原型走到正式上線前要通過的五道檢查。

壹、開場情境:展示會上很成功,上線第一週就出事

📌 以下為教學情境(依企業導入實務改編)。

物流部門做了一個「找最便宜的 3 天內海空聯運方案」的 Agent。展示會上,它對 5 個範例全部答對,主管當場同意上線。上線第一週:

事件 問題出在哪
答案對了,但它查了 25 次報價網站才得出結論 只看答案,沒看過程
網路逾時重送,系統建立了兩張相同的訂艙單 沒有防重複機制
月底帳單是預估的 4 倍 沒算過每次任務的成本

本節要解決的問題: 怎麼判斷一個 Agent「真的可以上線」?


貳、核心概念

1. 軌跡評估:不只看答案,也看過程

傳統的分類模型看準確率就夠了;Agent 會自己決定走哪些步驟,所以同樣的正確答案,可能是 4 步走到,也可能是 25 步繞到,甚至中間做了不該做的事。軌跡(Trajectory) 指 Agent 從接到任務到交出結果的完整步驟紀錄。

指標 問的問題 開場情境中
任務成功率 最終結果是否正確、符合所有限制? 是否真的找到 3 天內最便宜的方案
工具呼叫正確性 每一步呼叫的工具是否必要?參數是否正確? 有沒有查錯港口、重複查同一家
步驟效率 用了幾步?和合理步數比差多少? 4 步 vs. 25 步
規則遵守 過程中有沒有越權或違反底線? 有沒有未經核准就訂艙

評估題庫怎麼設計(正常題、邊界題、攻擊題、歷史錯題)詳見 10.2 節;指標怎麼避免被「刷分」詳見 10.1 節。

2. 用模型當評審(LLM-as-a-Judge)

有些品質無法用程式比對,例如「回覆是否有根據」「語氣是否得體」。常見做法是讓另一個模型依照評分量表(Rubric)打分:

面向 評分問題 能不能用程式檢查?
安全性 是否守住底價、沒有洩漏機密? 大部分可以(9.3、13.1 節),優先用程式
有根據 每個數字是否能對應到檢索到的資料? 部分可以;其餘交給評審模型
穩健性 外部系統報錯時,是否重試一次後停下來回報? 可以:故意讓工具失敗,看紀錄

⚠️ 評審模型也會出錯。 它可能偏好較長的回答,或偏好和自己風格相近的輸出。上線前要先拿一批人工評過分的題目,確認評審模型和人的判斷大致一致,之後也要定期抽查。能用程式檢查的,就不要交給評審模型。

3. 成本:Agent 比聊天機器人貴得多

聊天機器人一問一答;Agent 一個任務可能跑 20 輪 ReAct 迴圈,而且每一輪都要把累積的上下文重送一次。

以下用假設單價試算(輸入每百萬 Token US$ 3、輸出 US$ 15,假設值,實際以各家價目表為準)。假設一個任務跑 20 輪,每輪平均輸入 8,000 Token(其中 6,000 是固定的系統指令與工具定義)、輸出 500 Token:

輸入:20 × 8,000 = 160,000 Token × US$ 3 / 百萬 = US$ 0.48
輸出:20 × 500   =  10,000 Token × US$ 15 / 百萬 = US$ 0.15
每次任務合計 US$ 0.63;每月 1,000 次 ≈ US$ 630

三種降低成本的做法:

做法 怎麼做 試算(每次任務) 代價
不做任何優化 —— US$ 0.63 ——
① 上下文快取 固定的 6,000 Token 使用廠商的快取功能;假設快取讀取只收 10% 約 US$ 0.31 固定內容必須放在開頭且不變動;折扣比例依廠商而定
② +模型分級 再把 20 輪中 14 輪簡單步驟(整理格式、分類)交給單價約 1/10 的輕量模型 約 US$ 0.11 要驗證輕量模型在這些步驟的正確率沒有下降
③ 費用上限 程式設定單次任務上限(例:MAX_COST_USD = 0.50),接近時停止並通知人 防止失控 太低會讓正常任務做不完
① 快取:120,000 × 3 × 10% + 40,000 × 3(÷ 百萬)+ 0.15 = 0.036 + 0.12 + 0.15 ≈ 0.31
② 分級:0.306 × 6/20 + 0.306 × 14/20 × 1/10 ≈ 0.092 + 0.021 ≈ 0.11(簡化:假設每輪費用相同)

③ 是安全網,不是省錢工具:開場情境「25 步繞路」這類失控,靠它及時停下來。


參、應用到情境:上線前的五道檢查

flowchart LR P["原型"] --> G1["① 邊界測試"] --> G2["② 防重複"] --> G3["③ 斷路與降級"] --> G4["④ 可觀測性"] --> G5["⑤ 投資報酬"] --> R["正式上線"]
檢查 要確認什麼 開場情境的問題 正文
① 邊界測試 空白、負數、未見過的幣別、多語混雜的輸入,系統是否明確拒絕而不是當掉或亂猜 只測了 5 個正常範例 2.4、5.4、10.2
② 防重複(冪等性) 同一個請求送兩次,結果只發生一次(例如用冪等鍵) 逾時重送,建了兩張訂艙單 3.3
③ 斷路與降級 外部系統故障時,不無限重試,而是停止、通知人、改走人工流程 —— 9.4
④ 可觀測性 每一次任務的軌跡、費用、耗時都能查得到 不知道它查了 25 次 F.5、10.4
⑤ 投資報酬 省下的工時價值,扣除模型費用、維護與人工覆核成本後仍為正 帳單是預估的 4 倍 10.3

五道都通過不代表從此不用管:上線後要持續收集錯誤、補進題庫、修正後重測(10.4 節)。


肆、判斷看看:常見誤解

說法 對嗎? 說明
「展示時全對,就可以上線」 ❌ 展示題通常是正常題;邊界題與攻擊題才是上線的關鍵(10.2 節)
「答案對就好,過程不重要」 ❌ 過程決定成本、速度與風險;繞路的 Agent 遲早會在某一步出錯
「換更便宜的模型就能省錢」 ⚠️ 如果因此步數變多或錯誤率上升,總成本可能反而更高
「讓評審模型打分就不用人工評估」 ❌ 評審模型本身要先和人工評分校準

伍、回到情境

如果物流 Agent 上線前通過五道檢查:25 步繞路會在軌跡評估中被發現;重複訂艙會被冪等鍵擋下;月底帳單在試算階段就看得到。仍有限制:

限制 後果 在哪裡處理
模型價格與能力持續變動 今天的試算明天就不準 14.2 節 定期重評
題庫跟不上業務變化 分數好看,實際出錯 10.4 節 持續進化閉環
投資報酬只算了省下的工時 忽略了錯誤造成的損失 10.3 節

本節小結

  1. 評估 Agent 要看軌跡:成功率、工具呼叫、步驟效率、規則遵守。
  2. 評審模型可以輔助,但要先與人工評分校準;能用程式檢查的就用程式。
  3. Agent 的成本來自「多輪 × 重送上下文」;快取、模型分級、費用上限是三個主要槓桿。
  4. 上線前五道檢查:邊界、防重複、斷路降級、可觀測性、投資報酬。

參考資源

  • Microsoft AI Agents for Beginners 中關於 Agent 上線與營運的單元。
  • 李博傑《深入理解 AI Agent》、Nicolepcx 的 AI Agent 工程指南中關於評估與成本的討論。
  • 各模型廠商官方文件中的價目表與上下文快取說明(價格經常更新)。

陸、練習

  1. 改數字(5 分鐘):如果任務從 20 輪降到 12 輪(其他假設不變、未使用快取),每次任務費用是多少?每月 1,000 次呢?
  2. 設計評估(20 分鐘):替開場的物流 Agent 寫 5 題評估題(至少 2 題邊界題、1 題外部系統故障),每題寫出「正確結果」與「合理步數上限」。
  3. 管理反思(討論):財務長說:「Agent 每次任務 US$ 0.63,比人便宜太多了,直接上線。」請從第參段的五道檢查中,挑兩道向財務長說明為什麼還不能上線。

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。