5.5 LLM-as-a-Judge:用模型評估商業服務品質

學完本節,你能夠:

  1. 說明為什麼 AI 客服回信、合約摘要這類產出,無法用 assert 測試。
  2. 設計一份含權重、評分錨點與一票否決的評分規準(Rubric),交給裁判模型使用。
  3. 寫出程式把裁判的評分轉成「放行/攔截/交人工」的決策,並用調換順序的方式偵測位置偏見。

壹、開場情境:AI 客服說錯一句話,公司要負責

📌 以下為真實事件(Moffatt v. Air Canada,加拿大卑詩省民事糾紛審裁處(CRT),2024 年 2 月)。

一位旅客因祖母過世要搭機,在加拿大航空官網詢問聊天機器人。機器人告訴他:可以先買一般票,事後 90 天內再申請喪親優惠退差價。但航空公司的正式政策是:喪親優惠不能事後申請。旅客申請被拒後提告。

航空公司主張聊天機器人提供的資訊應由機器人自己負責;審裁處不接受,認為公司必須為網站上所有資訊負責,判賠約 650 加幣的票價差額,加上利息與規費。(法律責任的討論見第 13.3 節。)

金額不大,但道理很清楚:AI 替公司說的話,就是公司說的話。

📌 以下為教學情境。

一家外貿公司用 AI 回覆海外買家的退貨抱怨信,每天數百封。主管抽查了 20 封,覺得「寫得都不錯」。但第 21 封寫著:「為表歉意,我們將全額退款並免費寄送新品。」公司政策只允許二擇一。

本節要解決的問題: 每天幾百封、每封寫法都不一樣的回信,怎麼有系統地檢查?


貳、為什麼會這樣:沒有標準答案的產出

前幾節的測試都有唯一正確答案:calc_duty(1000, 0.05) 就該是 50。但「這封道歉信夠不夠得體」「有沒有亂承諾」沒有唯一寫法,assert 派不上用場。

LLM-as-a-Judge(模型當裁判)的做法是:請另一個大型語言模型,依照你訂的評分規準,替每一封回信打分數並說明理由。這個名稱與相關研究,以 2023 年 Zheng 等人發表的 MT-Bench 論文最常被引用。

人工抽查 規則比對(關鍵字) LLM-as-a-Judge
能檢查的量 少量 全部 全部
能理解語意 ✅ ❌(換個說法就漏掉) ✅ 大致可以
一致性 會累、會分心 完全一致 大致一致,但有偏見(見下表)
適合 校準、處理爭議 明確的禁用詞、格式 大量初篩

裁判模型的三種常見偏見

偏見 現象 對策
位置偏見(Position bias) A/B 二選一時,偏好某個位置的答案(常見是第一個) 調換順序各評一次,兩次結論一致才採信
冗長偏見(Verbosity bias) 偏好比較長的回答 規準中寫明「簡潔、無多餘承諾者給高分」
自我偏好(Self-enhancement bias) 偏好與自己同系列模型產生的內容 生成與評分使用不同廠商的模型

參、把規則寫下來:評分規準(Rubric)

裁判評得準不準,取決於規準寫得清不清楚。每個分數都要有錨點(什麼樣的回信得幾分),否則裁判只能憑感覺。

維度 權重 5 分 3 分 1 分
事實準確 40% 退換貨條件、運費負擔、處理天數完全符合公司政策 有含糊之處,但沒有錯誤承諾 承諾了政策不允許的事(例如退款又送新品)
語氣 20% 有同理心、專業、簡潔 制式但不失禮 冷漠、推卸,或過度卑微
合規 20% 未透露其他客戶資料,未做法律上的責任承認 有不必要的個資或模糊表述 洩漏個資或做出法律承諾
完整性 20% 清楚寫出下一步(退貨標籤、期限、聯絡方式) 有下一步但不完整 沒有下一步
業務說法 追問 寫成規則
「分數夠高才寄出」 多高? 加權總分 = Σ(權重 × 分數)÷ 5 × 100;≥ 75 放行
「亂承諾的絕對不能寄」 總分很高也不行? 事實準確 ≤ 2 分,不論總分一律攔截(一票否決)
(沒人提) 裁判回了一段看不懂的文字? 無法解讀就交人工,不可以當成通過

為什麼需要一票否決?試算一封「亂承諾但文筆很好」的回信:事實 2 分、其他三項 5 分,總分 =(0.4×2 + 0.2×5 × 3)÷ 5 × 100 = 76 分,超過 75 分門檻。加權平均會把最嚴重的錯誤「平均掉」。


肆、讓 AI 做出來

1. 給裁判模型的 Prompt

這段 Prompt 交給裁判模型(不是寫回信的那個模型):

你是外貿公司的客服品質稽核員。請依下列規準,評估「待評回信」。

【公司政策】
- 收貨 14 天內可退貨;退款或換新品二擇一,不可同時提供。
- 商品瑕疵由公司負擔退貨運費;非瑕疵由買家負擔。
- 退款於收到退貨後 7 個工作天內處理。

【評分規準】(每項 1–5 分,整數)
事實準確:5=完全符合政策;3=含糊但無錯誤承諾;1=承諾政策不允許的事
語氣:5=同理、專業、簡潔;3=制式但不失禮;1=冷漠或過度卑微
合規:5=無多餘個資、無法律責任承認;1=洩漏個資或做出法律承諾
完整性:5=清楚的下一步與期限;1=沒有下一步
長度不是加分理由;冗長、重複的內容請在語氣項扣分。

【買家來信】
{customer_email}

【待評回信】
{reply}

【輸出】只輸出 JSON,不要其他文字:
{"scores": {"事實準確": 整數, "語氣": 整數, "合規": 整數, "完整性": 整數},
 "理由": "每項一句話"}

2. 把評分變成決策

呼叫模型 API 的方式依廠商而定;本節處理的是「拿到評分之後怎麼決定」,這部分必須由程式依規則執行,而不是再交給 AI 判斷。

judge.py:

import json

# ===== 評分規準(經理人決定)=====
WEIGHTS = {"事實準確": 0.4, "語氣": 0.2, "合規": 0.2, "完整性": 0.2}
PASS_SCORE = 75     # 加權總分(滿分 100)門檻
VETO_FACT = 2       # 事實準確 ≤ 2 分:不論總分,一律攔截


def decide(judge_reply: str):
    """讀取裁判模型回傳的 JSON,決定放行或攔截。"""
    try:
        scores = json.loads(judge_reply)["scores"]
        if set(scores) != set(WEIGHTS):
            raise ValueError("評分項目不齊")
        if not all(isinstance(s, int) and not isinstance(s, bool) and 1 <= s <= 5 for s in scores.values()):
            raise ValueError("分數必須是 1–5 的整數")
    except Exception as e:
        return ("🛑 人工審查", None, f"裁判輸出無法解讀:{e}")

    total = round(sum(WEIGHTS[k] * scores[k] for k in WEIGHTS) / 5 * 100)
    if scores["事實準確"] <= VETO_FACT:
        return ("🛑 攔截", total, "事實準確一票否決")
    if total < PASS_SCORE:
        return ("🛑 攔截", total, "總分未達門檻")
    return ("✅ 放行", total, "")


def compare_ab(judge, reply_a, reply_b):
    """A/B 比較:調換順序各問一次,兩次結論一致才採信。"""
    first = judge(reply_a, reply_b)    # 回傳 "1" 或 "2"(排第幾個比較好)
    second = judge(reply_b, reply_a)
    if first == "1" and second == "2":
        return "A"
    if first == "2" and second == "1":
        return "B"
    return "不一致,交人工"

3. 測試這套決策規則

裁判模型的回覆不固定,但「拿到某組分數後該怎麼決定」是固定的,可以用 pytest 測。compare_ab 的測試用兩個「假裁判」代替真的模型:

from judge import decide, compare_ab


def test_各項表現好_放行92分():
    reply = '{"scores": {"事實準確": 5, "語氣": 4, "合規": 5, "完整性": 4}}'
    assert decide(reply) == ("✅ 放行", 92, "")


def test_亂承諾退款_總分76仍被一票否決():
    reply = '{"scores": {"事實準確": 2, "語氣": 5, "合規": 5, "完整性": 5}}'
    assert decide(reply) == ("🛑 攔截", 76, "事實準確一票否決")


def test_語氣與完整性差_總分未達門檻():
    reply = '{"scores": {"事實準確": 4, "語氣": 2, "合規": 4, "完整性": 2}}'
    assert decide(reply)[:2] == ("🛑 攔截", 64)


def test_裁判沒有回傳JSON_交人工():
    assert decide("這封信寫得很好!")[0] == "🛑 人工審查"


def test_總是偏好第一個的裁判_會被抓出來():
    always_first = lambda x, y: "1"
    assert compare_ab(always_first, "回覆A", "回覆B") == "不一致,交人工"


def test_穩定偏好A的裁判_判A勝():
    prefers_a = lambda x, y: "1" if x == "回覆A" else "2"
    assert compare_ab(prefers_a, "回覆A", "回覆B") == "A"

執行結果:6 passed。

🔍 驗收重點 - 5、4、5、4 分:(0.4×5 + 0.2×4 + 0.2×5 + 0.2×4)÷ 5 × 100 = 4.6 ÷ 5 × 100 = 92。自己算一次。 - 裁判回傳格式錯誤時,結果是「人工審查」而不是「放行」嗎?(fail-safe) - 權重、門檻、否決線是否都放在最上方常數?


伍、跑跑看、壞給你看

實驗 操作 預期結果 想想看
① 拿掉一票否決 把 if scores["事實準確"] <= VETO_FACT: 改成 if False: 1 failed:亂承諾的回信以 76 分被放行 這就是開場第 21 封信
② 降低門檻 PASS_SCORE 改成 60 1 failed:語氣與完整性都差的回信(64 分)被放行 門檻該由誰決定?依據是什麼?
③ 實測位置偏見 在任一 AI 對話工具中,貼上兩封回信請它選較好的;再把順序對調問一次 兩次結論可能不同 如果只問一次,你會相信哪個結果?
④ 實測冗長偏見 把一封合格回信加上三段客套話,請裁判各評一次 觀察語氣分是否反而變高 規準裡那句「長度不是加分理由」有沒有發揮作用?

實驗③④的結果會因模型與時間而異,這正是需要用程式(compare_ab)與規準來約束的原因。


陸、回到情境

有了裁判與決策程式,每一封 AI 回信寄出前都會被評分:亂承諾的第 21 封會因事實準確低分被一票否決,退回重寫或交給真人處理。主管不再隨機抽查,而是專心處理被攔下與「交人工」的信件。

但裁判本身也是 AI,同樣會出錯:

限制 後果 在哪一節解決
裁判可能評錯 該攔的沒攔、不該攔的被攔 定期抽樣由真人評分,比對裁判與人的一致程度(人工校準)
裁判只知道 Prompt 裡寫的政策 政策更新沒同步,就用舊政策評分 5.6 持續驗證;第 7.2 節業務上下文工程
每封信多一次模型呼叫 成本與等待時間增加 第 1.3 節的單位成本思維:與一次客訴的成本比較
高風險承諾(退款、賠償)只靠評分 仍可能漏網 第 9.2 節:權限與硬性約束,讓 AI 根本無法承諾超出權限的事

本節小結

  1. 開放式產出沒有唯一答案,改用「裁判模型 + 評分規準」檢查。
  2. 規準要有權重、每個分數的錨點、一票否決,以及「看不懂就交人工」。
  3. 裁判有位置、冗長、自我偏好等偏見,用調換順序、規準說明、跨廠商評分來降低。
  4. 分數交給 AI 打,決策規則由程式依你訂的門檻執行,並用測試保護。

柒、練習

  1. 改數字(5 分鐘):公司認為合規比語氣重要,把權重改成事實 40%、語氣 10%、合規 30%、完整性 20%。5、4、5、4 分的回信總分變成多少?要改哪幾個測試的預期值?
  2. 加功能(20 分鐘):新增規則「合規 1 分也一票否決」。先寫一個測試(合規 1 分、其他 5 分),算出總分並確認目前會被放行,再請 AI 修改 decide()。
  3. 管理反思(討論):銀行打算用 AI 撰寫「房貸申請未核准通知」。請設計 3 個評分維度與各自的 1/3/5 分錨點,並說明哪一個維度需要一票否決。你會採用「純人工」「純 AI 裁判」還是「AI 初篩 + 人工抽樣校準」?為什麼?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。