5.5 LLM-as-a-Judge:用模型評估商業服務品質
學完本節,你能夠:
- 說明為什麼 AI 客服回信、合約摘要這類產出,無法用
assert測試。 - 設計一份含權重、評分錨點與一票否決的評分規準(Rubric),交給裁判模型使用。
- 寫出程式把裁判的評分轉成「放行/攔截/交人工」的決策,並用調換順序的方式偵測位置偏見。
壹、開場情境:AI 客服說錯一句話,公司要負責
📌 以下為真實事件(Moffatt v. Air Canada,加拿大卑詩省民事糾紛審裁處(CRT),2024 年 2 月)。
一位旅客因祖母過世要搭機,在加拿大航空官網詢問聊天機器人。機器人告訴他:可以先買一般票,事後 90 天內再申請喪親優惠退差價。但航空公司的正式政策是:喪親優惠不能事後申請。旅客申請被拒後提告。
航空公司主張聊天機器人提供的資訊應由機器人自己負責;審裁處不接受,認為公司必須為網站上所有資訊負責,判賠約 650 加幣的票價差額,加上利息與規費。(法律責任的討論見第 13.3 節。)
金額不大,但道理很清楚:AI 替公司說的話,就是公司說的話。
📌 以下為教學情境。
一家外貿公司用 AI 回覆海外買家的退貨抱怨信,每天數百封。主管抽查了 20 封,覺得「寫得都不錯」。但第 21 封寫著:「為表歉意,我們將全額退款並免費寄送新品。」公司政策只允許二擇一。
本節要解決的問題: 每天幾百封、每封寫法都不一樣的回信,怎麼有系統地檢查?
貳、為什麼會這樣:沒有標準答案的產出
前幾節的測試都有唯一正確答案:calc_duty(1000, 0.05) 就該是 50。但「這封道歉信夠不夠得體」「有沒有亂承諾」沒有唯一寫法,assert 派不上用場。
LLM-as-a-Judge(模型當裁判)的做法是:請另一個大型語言模型,依照你訂的評分規準,替每一封回信打分數並說明理由。這個名稱與相關研究,以 2023 年 Zheng 等人發表的 MT-Bench 論文最常被引用。
| 人工抽查 | 規則比對(關鍵字) | LLM-as-a-Judge | |
|---|---|---|---|
| 能檢查的量 | 少量 | 全部 | 全部 |
| 能理解語意 | ✅ | ❌(換個說法就漏掉) | ✅ 大致可以 |
| 一致性 | 會累、會分心 | 完全一致 | 大致一致,但有偏見(見下表) |
| 適合 | 校準、處理爭議 | 明確的禁用詞、格式 | 大量初篩 |
裁判模型的三種常見偏見
| 偏見 | 現象 | 對策 |
|---|---|---|
| 位置偏見(Position bias) | A/B 二選一時,偏好某個位置的答案(常見是第一個) | 調換順序各評一次,兩次結論一致才採信 |
| 冗長偏見(Verbosity bias) | 偏好比較長的回答 | 規準中寫明「簡潔、無多餘承諾者給高分」 |
| 自我偏好(Self-enhancement bias) | 偏好與自己同系列模型產生的內容 | 生成與評分使用不同廠商的模型 |
參、把規則寫下來:評分規準(Rubric)
裁判評得準不準,取決於規準寫得清不清楚。每個分數都要有錨點(什麼樣的回信得幾分),否則裁判只能憑感覺。
| 維度 | 權重 | 5 分 | 3 分 | 1 分 |
|---|---|---|---|---|
| 事實準確 | 40% | 退換貨條件、運費負擔、處理天數完全符合公司政策 | 有含糊之處,但沒有錯誤承諾 | 承諾了政策不允許的事(例如退款又送新品) |
| 語氣 | 20% | 有同理心、專業、簡潔 | 制式但不失禮 | 冷漠、推卸,或過度卑微 |
| 合規 | 20% | 未透露其他客戶資料,未做法律上的責任承認 | 有不必要的個資或模糊表述 | 洩漏個資或做出法律承諾 |
| 完整性 | 20% | 清楚寫出下一步(退貨標籤、期限、聯絡方式) | 有下一步但不完整 | 沒有下一步 |
| 業務說法 | 追問 | 寫成規則 |
|---|---|---|
| 「分數夠高才寄出」 | 多高? | 加權總分 = Σ(權重 × 分數)÷ 5 × 100;≥ 75 放行 |
| 「亂承諾的絕對不能寄」 | 總分很高也不行? | 事實準確 ≤ 2 分,不論總分一律攔截(一票否決) |
| (沒人提) | 裁判回了一段看不懂的文字? | 無法解讀就交人工,不可以當成通過 |
為什麼需要一票否決?試算一封「亂承諾但文筆很好」的回信:事實 2 分、其他三項 5 分,總分 =(0.4×2 + 0.2×5 × 3)÷ 5 × 100 = 76 分,超過 75 分門檻。加權平均會把最嚴重的錯誤「平均掉」。
肆、讓 AI 做出來
1. 給裁判模型的 Prompt
這段 Prompt 交給裁判模型(不是寫回信的那個模型):
你是外貿公司的客服品質稽核員。請依下列規準,評估「待評回信」。
【公司政策】
- 收貨 14 天內可退貨;退款或換新品二擇一,不可同時提供。
- 商品瑕疵由公司負擔退貨運費;非瑕疵由買家負擔。
- 退款於收到退貨後 7 個工作天內處理。
【評分規準】(每項 1–5 分,整數)
事實準確:5=完全符合政策;3=含糊但無錯誤承諾;1=承諾政策不允許的事
語氣:5=同理、專業、簡潔;3=制式但不失禮;1=冷漠或過度卑微
合規:5=無多餘個資、無法律責任承認;1=洩漏個資或做出法律承諾
完整性:5=清楚的下一步與期限;1=沒有下一步
長度不是加分理由;冗長、重複的內容請在語氣項扣分。
【買家來信】
{customer_email}
【待評回信】
{reply}
【輸出】只輸出 JSON,不要其他文字:
{"scores": {"事實準確": 整數, "語氣": 整數, "合規": 整數, "完整性": 整數},
"理由": "每項一句話"}
2. 把評分變成決策
呼叫模型 API 的方式依廠商而定;本節處理的是「拿到評分之後怎麼決定」,這部分必須由程式依規則執行,而不是再交給 AI 判斷。
judge.py:
import json
# ===== 評分規準(經理人決定)=====
WEIGHTS = {"事實準確": 0.4, "語氣": 0.2, "合規": 0.2, "完整性": 0.2}
PASS_SCORE = 75 # 加權總分(滿分 100)門檻
VETO_FACT = 2 # 事實準確 ≤ 2 分:不論總分,一律攔截
def decide(judge_reply: str):
"""讀取裁判模型回傳的 JSON,決定放行或攔截。"""
try:
scores = json.loads(judge_reply)["scores"]
if set(scores) != set(WEIGHTS):
raise ValueError("評分項目不齊")
if not all(isinstance(s, int) and not isinstance(s, bool) and 1 <= s <= 5 for s in scores.values()):
raise ValueError("分數必須是 1–5 的整數")
except Exception as e:
return ("🛑 人工審查", None, f"裁判輸出無法解讀:{e}")
total = round(sum(WEIGHTS[k] * scores[k] for k in WEIGHTS) / 5 * 100)
if scores["事實準確"] <= VETO_FACT:
return ("🛑 攔截", total, "事實準確一票否決")
if total < PASS_SCORE:
return ("🛑 攔截", total, "總分未達門檻")
return ("✅ 放行", total, "")
def compare_ab(judge, reply_a, reply_b):
"""A/B 比較:調換順序各問一次,兩次結論一致才採信。"""
first = judge(reply_a, reply_b) # 回傳 "1" 或 "2"(排第幾個比較好)
second = judge(reply_b, reply_a)
if first == "1" and second == "2":
return "A"
if first == "2" and second == "1":
return "B"
return "不一致,交人工"
3. 測試這套決策規則
裁判模型的回覆不固定,但「拿到某組分數後該怎麼決定」是固定的,可以用 pytest 測。compare_ab 的測試用兩個「假裁判」代替真的模型:
from judge import decide, compare_ab
def test_各項表現好_放行92分():
reply = '{"scores": {"事實準確": 5, "語氣": 4, "合規": 5, "完整性": 4}}'
assert decide(reply) == ("✅ 放行", 92, "")
def test_亂承諾退款_總分76仍被一票否決():
reply = '{"scores": {"事實準確": 2, "語氣": 5, "合規": 5, "完整性": 5}}'
assert decide(reply) == ("🛑 攔截", 76, "事實準確一票否決")
def test_語氣與完整性差_總分未達門檻():
reply = '{"scores": {"事實準確": 4, "語氣": 2, "合規": 4, "完整性": 2}}'
assert decide(reply)[:2] == ("🛑 攔截", 64)
def test_裁判沒有回傳JSON_交人工():
assert decide("這封信寫得很好!")[0] == "🛑 人工審查"
def test_總是偏好第一個的裁判_會被抓出來():
always_first = lambda x, y: "1"
assert compare_ab(always_first, "回覆A", "回覆B") == "不一致,交人工"
def test_穩定偏好A的裁判_判A勝():
prefers_a = lambda x, y: "1" if x == "回覆A" else "2"
assert compare_ab(prefers_a, "回覆A", "回覆B") == "A"
執行結果:6 passed。
🔍 驗收重點 - 5、4、5、4 分:(0.4×5 + 0.2×4 + 0.2×5 + 0.2×4)÷ 5 × 100 = 4.6 ÷ 5 × 100 = 92。自己算一次。 - 裁判回傳格式錯誤時,結果是「人工審查」而不是「放行」嗎?(fail-safe) - 權重、門檻、否決線是否都放在最上方常數?
伍、跑跑看、壞給你看
| 實驗 | 操作 | 預期結果 | 想想看 |
|---|---|---|---|
| ① 拿掉一票否決 | 把 if scores["事實準確"] <= VETO_FACT: 改成 if False: |
1 failed:亂承諾的回信以 76 分被放行 |
這就是開場第 21 封信 |
| ② 降低門檻 | PASS_SCORE 改成 60 |
1 failed:語氣與完整性都差的回信(64 分)被放行 |
門檻該由誰決定?依據是什麼? |
| ③ 實測位置偏見 | 在任一 AI 對話工具中,貼上兩封回信請它選較好的;再把順序對調問一次 | 兩次結論可能不同 | 如果只問一次,你會相信哪個結果? |
| ④ 實測冗長偏見 | 把一封合格回信加上三段客套話,請裁判各評一次 | 觀察語氣分是否反而變高 | 規準裡那句「長度不是加分理由」有沒有發揮作用? |
實驗③④的結果會因模型與時間而異,這正是需要用程式(compare_ab)與規準來約束的原因。
陸、回到情境
有了裁判與決策程式,每一封 AI 回信寄出前都會被評分:亂承諾的第 21 封會因事實準確低分被一票否決,退回重寫或交給真人處理。主管不再隨機抽查,而是專心處理被攔下與「交人工」的信件。
但裁判本身也是 AI,同樣會出錯:
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 裁判可能評錯 | 該攔的沒攔、不該攔的被攔 | 定期抽樣由真人評分,比對裁判與人的一致程度(人工校準) |
| 裁判只知道 Prompt 裡寫的政策 | 政策更新沒同步,就用舊政策評分 | 5.6 持續驗證;第 7.2 節業務上下文工程 |
| 每封信多一次模型呼叫 | 成本與等待時間增加 | 第 1.3 節的單位成本思維:與一次客訴的成本比較 |
| 高風險承諾(退款、賠償)只靠評分 | 仍可能漏網 | 第 9.2 節:權限與硬性約束,讓 AI 根本無法承諾超出權限的事 |
本節小結
- 開放式產出沒有唯一答案,改用「裁判模型 + 評分規準」檢查。
- 規準要有權重、每個分數的錨點、一票否決,以及「看不懂就交人工」。
- 裁判有位置、冗長、自我偏好等偏見,用調換順序、規準說明、跨廠商評分來降低。
- 分數交給 AI 打,決策規則由程式依你訂的門檻執行,並用測試保護。
柒、練習
- 改數字(5 分鐘):公司認為合規比語氣重要,把權重改成事實 40%、語氣 10%、合規 30%、完整性 20%。5、4、5、4 分的回信總分變成多少?要改哪幾個測試的預期值?
- 加功能(20 分鐘):新增規則「合規 1 分也一票否決」。先寫一個測試(合規 1 分、其他 5 分),算出總分並確認目前會被放行,再請 AI 修改
decide()。 - 管理反思(討論):銀行打算用 AI 撰寫「房貸申請未核准通知」。請設計 3 個評分維度與各自的 1/3/5 分錨點,並說明哪一個維度需要一票否決。你會採用「純人工」「純 AI 裁判」還是「AI 初篩 + 人工抽樣校準」?為什麼?