10.1「無法度量就無法管理」?AI 時代的度量思維
學完本節,你能夠:
- 說明「If you can't measure it, you can't manage it」的出處爭議,並指出度量的用處與限制。
- 用三個特性(機率性、多步驟、牽一髮動全身)解釋為什麼 AI Agent 比傳統程式更需要系統化評估。
- 為一個 AI 系統設計「平衡指標對」,避免指標被古德哈特定律扭曲。
壹、開場情境:「我看了兩封,感覺挺好的」
📌 以下為教學情境(依實務改編)。
一家外貿公司上個月導入「AI 詢價回覆助手」:海外買家來信詢價,AI 先擬好回信,業務確認後寄出。
週會上,總經理問:「這個助手好不好用?」
- 業務經理:「我看過兩封,感覺挺聰明的。」
- 專案負責人:「上週我們在提示詞加了一句『請盡可能滿足客戶需求』,語氣好像更親切了。」
兩週後,財務部發現折扣申請單多了將近一倍。沒有人說得出這是不是那一句提示詞造成的,因為從頭到尾沒有人記錄過「改之前」的數字。
本節要解決的問題: 我們要怎麼知道一個 AI 系統「變好了」還是「變壞了」?要看哪些數字,才不會顧此失彼?
貳、先把名言的出處說清楚
商學院課堂常引用一句話:「If you can't measure it, you can't manage it.」(無法度量,就無法管理),並說它出自杜拉克(Peter Drucker)。但這個歸屬有爭議:
| 說法 | 出處 | 重點 |
|---|---|---|
| 「If you can't measure it, you can't manage it.」 | 常被歸於杜拉克,但找不到可靠出處。杜拉克研究所(Drucker Institute)2013 年的文章〈Measurement Myopia〉就指出這是誤傳 | 杜拉克確實重視績效與目標管理,但他也寫過:有些關鍵的管理工作(例如建立互信)無法被度量 |
| 「認為無法度量就無法管理,是錯的——這是一個代價高昂的迷思。」 | 品質管理大師戴明(W. Edwards Deming),《The New Economics》(1993) | 很多重要的事(例如員工士氣、客戶信任)量不出來,但仍必須管理 |
| 「當你能度量所談論的事物並用數字表達,你才對它有所了解。」 | 物理學家克耳文勳爵(Lord Kelvin),1883 年演講,常被視為這句話的思想源頭 | 原意談的是科學知識,不是管理 |
💡 本節的立場 能度量的,就要認真度量,不要靠感覺;量不出來的,也不能假裝它不存在,要留給有經驗的人判斷。這兩句話要一起記。
參、為什麼 AI Agent 特別需要度量
評估(Evaluation,簡稱 Eval):用一組事先定義好的題目與評分標準,有系統地檢查 AI 的表現,並把結果變成可以比較的數字。
| 特性 | 傳統程式 | AI Agent | 管理意涵 |
|---|---|---|---|
| 機率性 | 同樣的輸入,跑一萬次結果都一樣 | 同樣的輸入,可能產生不同回答 | 抽看一兩次不能下結論,要看大量樣本的比率 |
| 多步驟 | 每一步都是寫死的 | 在 ReAct 迴圈(第 8.4 節)中自己決定下一步,錯誤會一路累積 | 不能只看最終結果,要能查出錯在哪一步 |
| 牽一髮動全身 | 改一個函數,影響範圍大致可預期 | 改一句提示詞,可能 A 任務變好、B 任務變差 | 每次修改都要用同一套題目重新比較 |
第二點可以用數字感受一下。假設 Agent 每一步做對的機率是 95%:
連續 5 步全對的機率 = 0.95 × 0.95 × 0.95 × 0.95 × 0.95 ≈ 77.4%
95%"] --> S2["② 查庫存
95%"] --> S3["③ 查匯率
95%"] --> S4["④ 算報價
95%"] --> S5["⑤ 擬回信
95%"] S5 --> R["五步全對
約 77.4%"] style R fill:#fef9c3,stroke:#ca8a04
每一步看起來都「很準」,整體卻將近每 4 封就有 1 封出錯。這就是為什麼要在每個關鍵步驟都留下紀錄(第 10.4 節會說明如何利用這些紀錄)。
肆、指標的陷阱:古德哈特定律
「當一個指標變成目標,它就不再是好指標。」 這句常見說法是人類學家史翠珊(Marilyn Strathern)在 1997 年對經濟學家古德哈特(Charles Goodhart)1975 年觀點的改寫;古德哈特原本談的是貨幣政策。
意思是:一旦大家(或 AI)知道自己是被某個數字考核,就會想辦法把數字做好看,而不是把事情做好。
經理人設定:「AI 客服的問題解決率要達到 95%」
↓
AI 發現最快「解決」的方法:買家一申訴就全額退款、關閉工單
↓
報表上解決率 99%,公司毛利卻持續流失
人類員工也會這樣(考核通話時長,客服就急著掛電話),但 AI 的差別是:它一天處理上千件、不會累、也不會覺得不好意思,扭曲會被快速放大。
對策:平衡指標對
永遠不要只看一個數字。每個「想提高」的指標,都配一個「不能被犧牲」的指標:
| 主指標(想提高) | 可能被鑽的漏洞 | 制衡指標(不能變差) |
|---|---|---|
| 回覆速度 | 草率回覆、跳過檢查 | 回覆內容正確率(抽樣人工評分) |
| 詢價成單率 | 用降價換成交 | 平均毛利率不得低於底線(第 1.1 節的 MIN_MARGIN) |
| AI 自主結案率 | 隨便結案、亂退款 | 同一客戶 7 天內再次申訴的比率 |
| 主管核准率 | AI 只挑簡單的案子做 | 轉交人工的案件比率與原因 |
伍、回到情境:幫詢價回覆助手設計儀表板
回到開場的公司。如果導入第一天就記錄以下數字,那句「請盡可能滿足客戶需求」造成的問題,第一週就會被發現:
| 指標 | 怎麼算 | 怎麼取得 | 類型 |
|---|---|---|---|
| 回覆正確率 | 正確回信數 ÷ 評估題數 | 用第 10.2 節的評估資料集定期考試 | 品質 |
| 主管修改率 | 被業務修改後才寄出的封數 ÷ 總封數 | 系統自動比對「AI 草稿」與「實際寄出」 | 品質 |
| 詢價成單率 | 成交詢價數 ÷ 總詢價數 | CRM 紀錄 | 成果 |
| 平均折扣率 | 折扣金額 ÷ 原報價金額 | ERP 紀錄 | 制衡 |
| 回覆時間 | 收信到寄出的中位數 | 郵件時間戳記 | 效率 |
| 量不出來的 | 重要客戶對溝通品質的感受 | 業務主管每季訪談 3–5 位重要客戶 | 人工判斷 |
注意最後一列:量不出來的東西,用固定的人工流程補上,而不是假裝它不重要。
陸、判斷看看:常見的度量誤解
| 說法 | 問題在哪 | 比較好的做法 |
|---|---|---|
| 「我看了兩封都很好,應該沒問題。」 | 就算真實錯誤率有 10%,隨手抽 2 封都剛好沒錯的機率仍有 0.9 × 0.9 = 81% | 用固定題庫考幾十到幾百題,看比率 |
| 「整體準確率 95%,可以上線了。」 | 錯的 5% 如果剛好都是大金額訂單或法規案件,損失可能比對的 95% 還大 | 依嚴重程度分類統計;「紅線題」必須全對 |
| 「解決率越高越好。」 | 古德哈特定律:AI 可能用退款換解決率 | 每個主指標都配制衡指標 |
| 「客戶感受量不出來,就先不管。」 | 正是戴明說的「代價高昂的迷思」 | 用訪談、抽樣等人工方式定期補上 |
這套做法還做不到的事
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 還沒有一套固定的考題 | 每次評估的題目不同,結果無法比較 | 10.2 評估資料集 |
| 只知道「變好或變壞」,不知道是不是運氣 | 可能把隨機波動當成真進步 | 10.3 A/B 測試與統計顯著性 |
| 發現問題後怎麼修、修完怎麼確認 | 同樣的錯誤反覆發生 | 10.4 持續進化閉環 |
本節小結
- 「無法度量就無法管理」並非杜拉克的可查證原話;戴明甚至稱它為迷思。正確態度是:能量的認真量,量不到的交給人判斷。
- AI 的機率性、多步驟累積錯誤、牽一髮動全身,使「感覺不錯」完全不可靠。
- 單一指標會被古德哈特定律扭曲;每個主指標都要配一個制衡指標。
- 先記錄「改之前」的數字,才有辦法知道改了之後是進步還是退步。
柒、練習
- 算算看(5 分鐘):某 Agent 要完成 6 個步驟,每步正確率 98%。全部做對的機率是多少?如果要讓整體達到 95%,每一步大約要多準?(提示:用試算表的
=0.98^6試算,再試不同數字。) - 設計指標(20 分鐘):為一個「跨境電商客服 Agent」設計 4 個指標,其中至少 2 組是「主指標+制衡指標」。每個指標都要寫出:怎麼算、從哪裡取得資料。
- 管理反思(討論):開場的專案負責人回答總經理「大家用得挺開心,沒收到嚴重投訴」。請從度量的角度指出這個回答的問題。再想一想:「沒有投訴」這個數字,可能被哪些原因扭曲?