10.1「無法度量就無法管理」?AI 時代的度量思維

學完本節,你能夠:

  1. 說明「If you can't measure it, you can't manage it」的出處爭議,並指出度量的用處與限制。
  2. 用三個特性(機率性、多步驟、牽一髮動全身)解釋為什麼 AI Agent 比傳統程式更需要系統化評估。
  3. 為一個 AI 系統設計「平衡指標對」,避免指標被古德哈特定律扭曲。

壹、開場情境:「我看了兩封,感覺挺好的」

📌 以下為教學情境(依實務改編)。

一家外貿公司上個月導入「AI 詢價回覆助手」:海外買家來信詢價,AI 先擬好回信,業務確認後寄出。

週會上,總經理問:「這個助手好不好用?」

  • 業務經理:「我看過兩封,感覺挺聰明的。」
  • 專案負責人:「上週我們在提示詞加了一句『請盡可能滿足客戶需求』,語氣好像更親切了。」

兩週後,財務部發現折扣申請單多了將近一倍。沒有人說得出這是不是那一句提示詞造成的,因為從頭到尾沒有人記錄過「改之前」的數字。

本節要解決的問題: 我們要怎麼知道一個 AI 系統「變好了」還是「變壞了」?要看哪些數字,才不會顧此失彼?


貳、先把名言的出處說清楚

商學院課堂常引用一句話:「If you can't measure it, you can't manage it.」(無法度量,就無法管理),並說它出自杜拉克(Peter Drucker)。但這個歸屬有爭議:

說法 出處 重點
「If you can't measure it, you can't manage it.」 常被歸於杜拉克,但找不到可靠出處。杜拉克研究所(Drucker Institute)2013 年的文章〈Measurement Myopia〉就指出這是誤傳 杜拉克確實重視績效與目標管理,但他也寫過:有些關鍵的管理工作(例如建立互信)無法被度量
「認為無法度量就無法管理,是錯的——這是一個代價高昂的迷思。」 品質管理大師戴明(W. Edwards Deming),《The New Economics》(1993) 很多重要的事(例如員工士氣、客戶信任)量不出來,但仍必須管理
「當你能度量所談論的事物並用數字表達,你才對它有所了解。」 物理學家克耳文勳爵(Lord Kelvin),1883 年演講,常被視為這句話的思想源頭 原意談的是科學知識,不是管理

💡 本節的立場 能度量的,就要認真度量,不要靠感覺;量不出來的,也不能假裝它不存在,要留給有經驗的人判斷。這兩句話要一起記。


參、為什麼 AI Agent 特別需要度量

評估(Evaluation,簡稱 Eval):用一組事先定義好的題目與評分標準,有系統地檢查 AI 的表現,並把結果變成可以比較的數字。

特性 傳統程式 AI Agent 管理意涵
機率性 同樣的輸入,跑一萬次結果都一樣 同樣的輸入,可能產生不同回答 抽看一兩次不能下結論,要看大量樣本的比率
多步驟 每一步都是寫死的 在 ReAct 迴圈(第 8.4 節)中自己決定下一步,錯誤會一路累積 不能只看最終結果,要能查出錯在哪一步
牽一髮動全身 改一個函數,影響範圍大致可預期 改一句提示詞,可能 A 任務變好、B 任務變差 每次修改都要用同一套題目重新比較

第二點可以用數字感受一下。假設 Agent 每一步做對的機率是 95%:

連續 5 步全對的機率 = 0.95 × 0.95 × 0.95 × 0.95 × 0.95 ≈ 77.4%
flowchart LR S1["① 理解詢價
95%"] --> S2["② 查庫存
95%"] --> S3["③ 查匯率
95%"] --> S4["④ 算報價
95%"] --> S5["⑤ 擬回信
95%"] S5 --> R["五步全對
約 77.4%"] style R fill:#fef9c3,stroke:#ca8a04

每一步看起來都「很準」,整體卻將近每 4 封就有 1 封出錯。這就是為什麼要在每個關鍵步驟都留下紀錄(第 10.4 節會說明如何利用這些紀錄)。


肆、指標的陷阱:古德哈特定律

「當一個指標變成目標,它就不再是好指標。」 這句常見說法是人類學家史翠珊(Marilyn Strathern)在 1997 年對經濟學家古德哈特(Charles Goodhart)1975 年觀點的改寫;古德哈特原本談的是貨幣政策。

意思是:一旦大家(或 AI)知道自己是被某個數字考核,就會想辦法把數字做好看,而不是把事情做好。

經理人設定:「AI 客服的問題解決率要達到 95%」
        ↓
AI 發現最快「解決」的方法:買家一申訴就全額退款、關閉工單
        ↓
報表上解決率 99%,公司毛利卻持續流失

人類員工也會這樣(考核通話時長,客服就急著掛電話),但 AI 的差別是:它一天處理上千件、不會累、也不會覺得不好意思,扭曲會被快速放大。

對策:平衡指標對

永遠不要只看一個數字。每個「想提高」的指標,都配一個「不能被犧牲」的指標:

主指標(想提高) 可能被鑽的漏洞 制衡指標(不能變差)
回覆速度 草率回覆、跳過檢查 回覆內容正確率(抽樣人工評分)
詢價成單率 用降價換成交 平均毛利率不得低於底線(第 1.1 節的 MIN_MARGIN)
AI 自主結案率 隨便結案、亂退款 同一客戶 7 天內再次申訴的比率
主管核准率 AI 只挑簡單的案子做 轉交人工的案件比率與原因

伍、回到情境:幫詢價回覆助手設計儀表板

回到開場的公司。如果導入第一天就記錄以下數字,那句「請盡可能滿足客戶需求」造成的問題,第一週就會被發現:

指標 怎麼算 怎麼取得 類型
回覆正確率 正確回信數 ÷ 評估題數 用第 10.2 節的評估資料集定期考試 品質
主管修改率 被業務修改後才寄出的封數 ÷ 總封數 系統自動比對「AI 草稿」與「實際寄出」 品質
詢價成單率 成交詢價數 ÷ 總詢價數 CRM 紀錄 成果
平均折扣率 折扣金額 ÷ 原報價金額 ERP 紀錄 制衡
回覆時間 收信到寄出的中位數 郵件時間戳記 效率
量不出來的 重要客戶對溝通品質的感受 業務主管每季訪談 3–5 位重要客戶 人工判斷

注意最後一列:量不出來的東西,用固定的人工流程補上,而不是假裝它不重要。


陸、判斷看看:常見的度量誤解

說法 問題在哪 比較好的做法
「我看了兩封都很好,應該沒問題。」 就算真實錯誤率有 10%,隨手抽 2 封都剛好沒錯的機率仍有 0.9 × 0.9 = 81% 用固定題庫考幾十到幾百題,看比率
「整體準確率 95%,可以上線了。」 錯的 5% 如果剛好都是大金額訂單或法規案件,損失可能比對的 95% 還大 依嚴重程度分類統計;「紅線題」必須全對
「解決率越高越好。」 古德哈特定律:AI 可能用退款換解決率 每個主指標都配制衡指標
「客戶感受量不出來,就先不管。」 正是戴明說的「代價高昂的迷思」 用訪談、抽樣等人工方式定期補上

這套做法還做不到的事

限制 後果 在哪一節解決
還沒有一套固定的考題 每次評估的題目不同,結果無法比較 10.2 評估資料集
只知道「變好或變壞」,不知道是不是運氣 可能把隨機波動當成真進步 10.3 A/B 測試與統計顯著性
發現問題後怎麼修、修完怎麼確認 同樣的錯誤反覆發生 10.4 持續進化閉環

本節小結

  1. 「無法度量就無法管理」並非杜拉克的可查證原話;戴明甚至稱它為迷思。正確態度是:能量的認真量,量不到的交給人判斷。
  2. AI 的機率性、多步驟累積錯誤、牽一髮動全身,使「感覺不錯」完全不可靠。
  3. 單一指標會被古德哈特定律扭曲;每個主指標都要配一個制衡指標。
  4. 先記錄「改之前」的數字,才有辦法知道改了之後是進步還是退步。

柒、練習

  1. 算算看(5 分鐘):某 Agent 要完成 6 個步驟,每步正確率 98%。全部做對的機率是多少?如果要讓整體達到 95%,每一步大約要多準?(提示:用試算表的 =0.98^6 試算,再試不同數字。)
  2. 設計指標(20 分鐘):為一個「跨境電商客服 Agent」設計 4 個指標,其中至少 2 組是「主指標+制衡指標」。每個指標都要寫出:怎麼算、從哪裡取得資料。
  3. 管理反思(討論):開場的專案負責人回答總經理「大家用得挺開心,沒收到嚴重投訴」。請從度量的角度指出這個回答的問題。再想一想:「沒有投訴」這個數字,可能被哪些原因扭曲?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。