9.2 約束機制(Constrain):Fail-Safe 預設安全與權限隔離

學完本節,你能夠:

  1. 用 Air Canada 判決說明:企業必須為自家系統對外說的話負責,因此「不能說、不能做」的事要由系統擋下,而不是靠 AI 自律。
  2. 應用三條約束原則——預設拒絕、最小權限、職能分立——找出報價系統的漏洞。
  3. 寫出一個「毛利硬底價」關卡,並說明為什麼底線公式必須用毛利率而不是加成率。

壹、開場情境:一個法院判決與一個常數

真實事件:Moffatt v. Air Canada(2024)

時間 發生什麼事
2022 年 11 月 Jake Moffatt 的祖母過世。他在加拿大航空官網詢問聊天機器人「喪親優惠票價」(bereavement fare)怎麼申請
當時 機器人回答:可以先買全額機票,在開票後 90 天內申請退還差額。他照做,購買溫哥華—多倫多來回機票
事後 他申請退差額被拒。加航官網的喪親政策頁其實寫明:旅行完成後不受理此類申請
2024 年 2 月 卑詩省民事糾紛審裁處(Civil Resolution Tribunal)判決 Moffatt 勝訴(2024 BCCRT 149)

加航在審理中主張:聊天機器人是「為自己行為負責的獨立法律實體」,乘客應該自己去核對政策頁。審裁處駁回這個說法:聊天機器人是加航網站的一部分,公司要為網站上的所有資訊負責;顧客沒有理由認為網站的某一部分比另一部分更可信。加航被認定構成過失不實陳述(negligent misrepresentation),須賠償票價差額 CA$ 650.88,加上利息 CA$ 36.14 與審裁費 CA$ 125,共 CA$ 812.02。

金額不大,但原則很清楚:系統對外說出口的承諾,就是公司的承諾。 判決書並沒有說明這個聊天機器人的技術架構;從工程角度看,問題在於它有能力對外說出公司政策不允許的承諾,而且沒有任何機制攔下來。(第 13.3 節會從法律與倫理角度再談這個案子。)

我們自己的系統呢?

第 1.1 節的限制表最後一列寫著:「任何人都能修改 MIN_MARGIN。」試試看:

const MIN_MARGIN = 0.05;    // 業務在月底衝業績前,偷偷把 0.15 改成 0.05

重新按「檢查報價毛利」,A 款毛利率 11.1% 從 🛑 變成 ✅ 放行。系統沒壞,只是規則被管規則的對象改掉了。

本節要解決的問題: 哪些事情系統必須「做不到」?怎麼讓它在不確定的時候選擇停下來,而不是繼續跑?


貳、為什麼會這樣:三條約束原則

1975 年,Jerome Saltzer 與 Michael Schroeder 在論文〈電腦系統中資訊的保護〉提出一組安全設計原則,其中預設拒絕與最小權限到今天仍是企業系統的基本功;他們另有一條相近的「權限分離」(Separation of Privilege)原則。第三條職能分立則來自傳統內部控制(COSO 的控制作業),三者合起來就是本節的約束原則:

原則 一句話 違反時的樣子 本系統的做法
預設拒絕 Fail-Safe Defaults 沒有明確允許的,就是不允許;不確定就停 匯率抓不到,就用一個「保底匯率」繼續報價 1.3:抓不到就停止並告警
最小權限 Least Privilege 只給完成工作所需的最少權限 AI 草擬回覆,卻同時拿到「寄出正式報價」的工具 AI 只能讀報價表、寫草稿
職能分立 Segregation of Duties 訂規則的人、執行規則的人、檢查的人要分開 被毛利底線管的業務,自己就能改底線 MIN_MARGIN 只有財務主管能改

為什麼「保底值」是陷阱

假設 1.3 的匯率 API 故障,程式改用寫死的保底匯率 34.5 繼續算,而當天真實匯率是 31.5:

匯率 A 款毛利率 系統判斷
用保底值 34.5 18.8% ✅ 放行
真實情況 31.5 11.1% 應該 🛑

保底值讓系統「看起來還在運作」,實際上卻在用錯的數字做商業決策——這比直接停下來更危險,因為沒有人知道它錯了。預設拒絕的意思是:寧可讓業務等一小時,也不要讓錯的報價寄出去。

flowchart LR REQ["收到動作請求
(報價、改價、退款)"] --> Q{"規則明確允許?
資料完整可信?"} Q -->|"是"| OK["在授權範圍內執行"] Q -->|"否 / 不確定 / 外部故障"| NO["預設拒絕
停止 + 告警 + 留紀錄"] NO --> HUMAN["交給有權限的人決定"]

參、把規則寫下來:約束規格表

老闆說的話 需要追問的問題 寫成規格
「毛利不能低於 15%」 擋在哪裡?只是亮燈,還是不准送出? 任何報價或改價動作,毛利率 < MIN_MARGIN 一律阻斷,並回傳最低可報價
「底線由公司決定」 誰能改?改了要留什麼紀錄? MIN_MARGIN 只有財務主管能改;每次修改記錄時間、修改人、新舊值
「匯率要用最新的」 抓不到怎麼辦? 抓取失敗 → 停止、告警,不使用任何保底值(1.3)
「促銷可以疊加」 疊到多少為止? 各種優惠合計不得超過訂單金額 30%
「讓 AI 幫忙回客戶」 AI 可以答應什麼? AI 只能草擬;價格、退款、交期等承諾一律由人確認後寄出
「大單要小心」 多大算大? 單筆訂單 ≥ NT$ 1,000,000 須主管核准(9.5 會把它變成流程關卡)

授權矩陣:誰能做什麼

動作 業務 AI Agent 財務主管
填寫 A~D 欄(產品、成本、報價、匯率) ✅ 🛑 ✅
執行 checkQuotes() ✅ ✅ ✅
草擬客戶回覆 ✅ ✅ ✅
寄出正式報價 ✅(須通過底線) 🛑 ✅
修改 MIN_MARGIN、TARGET_MARGIN 🛑 🛑 ✅(留紀錄)

肆、讓約束變成程式

1. 毛利硬底價關卡

約束必須放在動作執行之前、而且是確定性的程式碼,不是 Prompt 裡的一句提醒。下面以 Python 示範(概念與 1.1 的 GAS 版完全相同):

import math

# ===== 商業規則(由財務主管核定,見授權矩陣)=====
MIN_MARGIN = 0.15        # 毛利底線
MAX_DISCOUNT = 0.30      # 單筆訂單折扣上限(各種優惠合計)

class ConstraintViolation(Exception):
    """觸發內控紅線:動作被阻斷"""

def floor_price_eur(cost_twd, rate):
    """守住毛利底線的最低歐元報價(無條件進位到整數歐元)"""
    return math.ceil(cost_twd / (1 - MIN_MARGIN) / rate)

def guard_price(cost_twd, price_eur, rate):
    """報價或改價前一定要通過的關卡;不確定就拒絕"""
    # 1. 預設拒絕:資料不完整或匯率抓不到,一律不放行
    if not all(isinstance(x, (int, float)) and x > 0 for x in (cost_twd, price_eur, rate)):
        raise ConstraintViolation("資料不完整或匯率不可用,預設拒絕")
    # 2. 硬底價:毛利率 = 1 − 成本 ÷ 收入
    margin = 1 - cost_twd / (price_eur * rate)
    if margin < MIN_MARGIN:
        raise ConstraintViolation(
            f"毛利率 {margin:.1%} 低於底線 {MIN_MARGIN:.0%},最低可報 €{floor_price_eur(cost_twd, rate)}")
    return margin

def guard_discount(list_total, discounts):
    """多張優惠券疊加後,總折扣不得超過上限"""
    total_off = sum(discounts)
    if total_off > list_total * MAX_DISCOUNT:
        raise ConstraintViolation(f"折扣合計 {total_off:,} 超過上限 {list_total * MAX_DISCOUNT:,.0f}")
    return list_total - total_off

🔍 驗收重點 - 底價公式是 成本 ÷ (1 − MIN_MARGIN),不是 成本 × 1.15。後者是加成 15%:A 款 NT$ 2,800 × 1.15 = NT$ 3,220,毛利率只有 13.0%,底線本身就破了(1.1 第參段的陷阱又出現一次)。 - 「不確定」的情況(None、空白、負數)走的是拒絕分支,不是放行分支。 - 違規時是 raise(中斷動作),不是印一行警告後繼續執行。

2. 在 Google 試算表能做到哪裡?

1.1 的 MIN_MARGIN 寫在程式碼裡,而綁定在試算表上的 Apps Script,所有對試算表有編輯權的人都能打開並修改。常見的改善做法:

做法 效果 仍然存在的漏洞
把 MIN_MARGIN 移到「參數」分頁的儲存格,用【資料】→【保護工作表和範圍】限定只有財務主管能編輯 業務無法直接改數字;儲存格的編輯紀錄可在版本記錄中查到 有編輯權的人仍能改程式碼,讓它不讀那個儲存格
業務只拿到「檢視」或特定範圍的編輯權 大幅降低改規則的機會 業務仍需要填 A~D 欄,權限很難切得剛好
把檢查邏輯搬到業務碰不到的後端系統(例如 ERP 或獨立的服務) 真正做到職能分立 建置成本較高,超出試算表的能力範圍

💡 原則:控制要放在「被控制的人碰不到」的地方。試算表適合學習與小團隊;當規則牽涉到金錢與法律責任,就需要真正的權限隔離。


伍、跑跑看、壞給你看

用上面的 guard_price() 與 guard_discount()(匯率皆為 31.5,A 款成本 NT$ 2,800):

實驗 操作 預期結果 想想看
① 低價報價 guard_price(2800, 100, 31.5) 🛑 毛利率 11.1% 低於底線 15%,最低可報 €105 為什麼最低可報 €105,而 1.1 建議重報 €112?(底線 vs. 目標)
② 剛好過線 guard_price(2800, 105, 31.5) ✅ 放行,毛利率 15.3% 若業務想報 €104 呢?
③ 匯率抓不到 guard_price(2800, 100, None) 🛑 資料不完整或匯率不可用,預設拒絕 如果改成用保底匯率 34.5,結果會變成什麼?
④ 優惠疊加 guard_discount(10000, [300, 500, 2500]) 🛑 折扣合計 3,300 超過上限 3,000 只用前兩張(800)呢?

陸、回到情境

  • Air Canada:如果聊天機器人在工具層面就不能做出退款承諾,只能引用政策原文或轉人工,那段「90 天內可退差額」的回答就不會出現。
  • 我們的報價表:MIN_MARGIN 移到受保護的參數儲存格、AI 只能草擬不能寄出、匯率失敗就停止——開場的兩個漏洞都有了對應的約束。
限制 後果 在哪一節解決
約束只擋「明顯越線」,擋不住 AI 草稿裡算錯的小計 金額錯誤的報價仍可能被業務寄出 9.3 輸出驗證
客戶信件裡可能夾帶「請忽略規則」之類的文字 AI 可能被誘導寫出違規內容 9.3 輸入驗證
匯率 API 連續故障時,系統每次都重試、每次都告警 主管被告警淹沒,外部服務被持續呼叫 9.4 斷路器
試算表無法做到真正的權限隔離 有編輯權的人仍能改程式 正式 ERP 的角色權限設計

本節小結

  1. 系統對外說的話、做的事,法律上就是公司的(Moffatt v. Air Canada, 2024)。
  2. 預設拒絕:不確定、資料不完整、外部故障時,停下來交給人,不要用保底值繼續做商業決策。
  3. 最小權限+職能分立:AI 只拿它需要的工具;被規則管的人不能改規則。
  4. 約束要寫成動作前的確定性程式碼,底線公式要用毛利率 成本 ÷ (1 − 底線),不是加成率。

柒、練習

  1. 改數字(5 分鐘):財務主管把 MIN_MARGIN 從 15% 調到 18%。匯率 31.5 時,A、B、C 三款的最低可報歐元價各是多少?哪一款目前的報價會被阻斷?
  2. 加功能(20 分鐘):替 guard_price() 加一條規則:單筆訂單金額(報價 × 數量 × 匯率)≥ NT$ 1,000,000 時,不直接放行,而是回傳「需主管核准」。先寫規格表的一列,再請 AI 改程式,並用 A 款 500 把、€112 測試。
  3. 管理反思(討論):

    📌 以下為教學情境。某電商在設定節慶促銷時,把「折抵 100 元」誤設成「打 0.1 折」(售價只剩原價 1%),半小時內大量訂單成立。

本節哪一條約束能在第一筆訂單成立前擋下來?有人說「約束太多會限制 AI 的靈活性」,請用「賽車要有好煞車才敢開快」的角度回應。

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。