F.6 評估基準、成本優化與生產落地
學完本節,你能夠:
- 說明為什麼評估 Agent 要看「整條執行軌跡」,而不只看最終答案。
- 用假設單價試算一個 Agent 任務的費用,並說出三種降低成本的做法。
- 列出 Agent 從原型走到正式上線前要通過的五道檢查。
壹、開場情境:展示會上很成功,上線第一週就出事
📌 以下為教學情境(依企業導入實務改編)。
物流部門做了一個「找最便宜的 3 天內海空聯運方案」的 Agent。展示會上,它對 5 個範例全部答對,主管當場同意上線。上線第一週:
| 事件 | 問題出在哪 |
|---|---|
| 答案對了,但它查了 25 次報價網站才得出結論 | 只看答案,沒看過程 |
| 網路逾時重送,系統建立了兩張相同的訂艙單 | 沒有防重複機制 |
| 月底帳單是預估的 4 倍 | 沒算過每次任務的成本 |
本節要解決的問題: 怎麼判斷一個 Agent「真的可以上線」?
貳、核心概念
1. 軌跡評估:不只看答案,也看過程
傳統的分類模型看準確率就夠了;Agent 會自己決定走哪些步驟,所以同樣的正確答案,可能是 4 步走到,也可能是 25 步繞到,甚至中間做了不該做的事。軌跡(Trajectory) 指 Agent 從接到任務到交出結果的完整步驟紀錄。
| 指標 | 問的問題 | 開場情境中 |
|---|---|---|
| 任務成功率 | 最終結果是否正確、符合所有限制? | 是否真的找到 3 天內最便宜的方案 |
| 工具呼叫正確性 | 每一步呼叫的工具是否必要?參數是否正確? | 有沒有查錯港口、重複查同一家 |
| 步驟效率 | 用了幾步?和合理步數比差多少? | 4 步 vs. 25 步 |
| 規則遵守 | 過程中有沒有越權或違反底線? | 有沒有未經核准就訂艙 |
評估題庫怎麼設計(正常題、邊界題、攻擊題、歷史錯題)詳見 10.2 節;指標怎麼避免被「刷分」詳見 10.1 節。
2. 用模型當評審(LLM-as-a-Judge)
有些品質無法用程式比對,例如「回覆是否有根據」「語氣是否得體」。常見做法是讓另一個模型依照評分量表(Rubric)打分:
| 面向 | 評分問題 | 能不能用程式檢查? |
|---|---|---|
| 安全性 | 是否守住底價、沒有洩漏機密? | 大部分可以(9.3、13.1 節),優先用程式 |
| 有根據 | 每個數字是否能對應到檢索到的資料? | 部分可以;其餘交給評審模型 |
| 穩健性 | 外部系統報錯時,是否重試一次後停下來回報? | 可以:故意讓工具失敗,看紀錄 |
⚠️ 評審模型也會出錯。 它可能偏好較長的回答,或偏好和自己風格相近的輸出。上線前要先拿一批人工評過分的題目,確認評審模型和人的判斷大致一致,之後也要定期抽查。能用程式檢查的,就不要交給評審模型。
3. 成本:Agent 比聊天機器人貴得多
聊天機器人一問一答;Agent 一個任務可能跑 20 輪 ReAct 迴圈,而且每一輪都要把累積的上下文重送一次。
以下用假設單價試算(輸入每百萬 Token US$ 3、輸出 US$ 15,假設值,實際以各家價目表為準)。假設一個任務跑 20 輪,每輪平均輸入 8,000 Token(其中 6,000 是固定的系統指令與工具定義)、輸出 500 Token:
輸入:20 × 8,000 = 160,000 Token × US$ 3 / 百萬 = US$ 0.48
輸出:20 × 500 = 10,000 Token × US$ 15 / 百萬 = US$ 0.15
每次任務合計 US$ 0.63;每月 1,000 次 ≈ US$ 630
三種降低成本的做法:
| 做法 | 怎麼做 | 試算(每次任務) | 代價 |
|---|---|---|---|
| 不做任何優化 | —— | US$ 0.63 | —— |
| ① 上下文快取 | 固定的 6,000 Token 使用廠商的快取功能;假設快取讀取只收 10% | 約 US$ 0.31 | 固定內容必須放在開頭且不變動;折扣比例依廠商而定 |
| ② +模型分級 | 再把 20 輪中 14 輪簡單步驟(整理格式、分類)交給單價約 1/10 的輕量模型 | 約 US$ 0.11 | 要驗證輕量模型在這些步驟的正確率沒有下降 |
| ③ 費用上限 | 程式設定單次任務上限(例:MAX_COST_USD = 0.50),接近時停止並通知人 |
防止失控 | 太低會讓正常任務做不完 |
① 快取:120,000 × 3 × 10% + 40,000 × 3(÷ 百萬)+ 0.15 = 0.036 + 0.12 + 0.15 ≈ 0.31
② 分級:0.306 × 6/20 + 0.306 × 14/20 × 1/10 ≈ 0.092 + 0.021 ≈ 0.11(簡化:假設每輪費用相同)
③ 是安全網,不是省錢工具:開場情境「25 步繞路」這類失控,靠它及時停下來。
參、應用到情境:上線前的五道檢查
| 檢查 | 要確認什麼 | 開場情境的問題 | 正文 |
|---|---|---|---|
| ① 邊界測試 | 空白、負數、未見過的幣別、多語混雜的輸入,系統是否明確拒絕而不是當掉或亂猜 | 只測了 5 個正常範例 | 2.4、5.4、10.2 |
| ② 防重複(冪等性) | 同一個請求送兩次,結果只發生一次(例如用冪等鍵) | 逾時重送,建了兩張訂艙單 | 3.3 |
| ③ 斷路與降級 | 外部系統故障時,不無限重試,而是停止、通知人、改走人工流程 | —— | 9.4 |
| ④ 可觀測性 | 每一次任務的軌跡、費用、耗時都能查得到 | 不知道它查了 25 次 | F.5、10.4 |
| ⑤ 投資報酬 | 省下的工時價值,扣除模型費用、維護與人工覆核成本後仍為正 | 帳單是預估的 4 倍 | 10.3 |
五道都通過不代表從此不用管:上線後要持續收集錯誤、補進題庫、修正後重測(10.4 節)。
肆、判斷看看:常見誤解
| 說法 | 對嗎? | 說明 |
|---|---|---|
| 「展示時全對,就可以上線」 | ❌ | 展示題通常是正常題;邊界題與攻擊題才是上線的關鍵(10.2 節) |
| 「答案對就好,過程不重要」 | ❌ | 過程決定成本、速度與風險;繞路的 Agent 遲早會在某一步出錯 |
| 「換更便宜的模型就能省錢」 | ⚠️ | 如果因此步數變多或錯誤率上升,總成本可能反而更高 |
| 「讓評審模型打分就不用人工評估」 | ❌ | 評審模型本身要先和人工評分校準 |
伍、回到情境
如果物流 Agent 上線前通過五道檢查:25 步繞路會在軌跡評估中被發現;重複訂艙會被冪等鍵擋下;月底帳單在試算階段就看得到。仍有限制:
| 限制 | 後果 | 在哪裡處理 |
|---|---|---|
| 模型價格與能力持續變動 | 今天的試算明天就不準 | 14.2 節 定期重評 |
| 題庫跟不上業務變化 | 分數好看,實際出錯 | 10.4 節 持續進化閉環 |
| 投資報酬只算了省下的工時 | 忽略了錯誤造成的損失 | 10.3 節 |
本節小結
- 評估 Agent 要看軌跡:成功率、工具呼叫、步驟效率、規則遵守。
- 評審模型可以輔助,但要先與人工評分校準;能用程式檢查的就用程式。
- Agent 的成本來自「多輪 × 重送上下文」;快取、模型分級、費用上限是三個主要槓桿。
- 上線前五道檢查:邊界、防重複、斷路降級、可觀測性、投資報酬。
參考資源
- Microsoft AI Agents for Beginners 中關於 Agent 上線與營運的單元。
- 李博傑《深入理解 AI Agent》、Nicolepcx 的 AI Agent 工程指南中關於評估與成本的討論。
- 各模型廠商官方文件中的價目表與上下文快取說明(價格經常更新)。
陸、練習
- 改數字(5 分鐘):如果任務從 20 輪降到 12 輪(其他假設不變、未使用快取),每次任務費用是多少?每月 1,000 次呢?
- 設計評估(20 分鐘):替開場的物流 Agent 寫 5 題評估題(至少 2 題邊界題、1 題外部系統故障),每題寫出「正確結果」與「合理步數上限」。
- 管理反思(討論):財務長說:「Agent 每次任務 US$ 0.63,比人便宜太多了,直接上線。」請從第參段的五道檢查中,挑兩道向財務長說明為什麼還不能上線。