9.1 Harness 五要素(C-T-C-V-C)與企業內部控制 COSO 框架
學完本節,你能夠:
- 用
Agent = Model + Harness說明:企業 AI 的可靠度主要取決於模型「外面」的控制,而不是模型本身。 - 說出 Harness 五要素(Context、Tools、Constrain、Verify、Correct),並把報價系統的每一個防線歸到正確的要素。
- 正確列出 COSO 內部控制的五個組成要素,判斷哪些可以寫進系統、哪些只能由管理階層負責。
壹、開場情境:老闆問「AI 會不會亂報價?」
📌 以下為教學情境(依外貿實務改編)。
延續第 1.1 節的鍵盤外銷公司。報價表已經會自己算毛利、跌破 15% 亮紅燈(1.1),匯率也改成連網自動抓取,抓不到就停止並告警(1.3)。
現在公司想更進一步:讓 AI Agent(第 8 章)直接讀客戶的詢價信、查報價表、草擬回覆。試用第一週就出了一件事:
| 時間 | 發生什麼事 |
|---|---|
| 週一 | 德國客戶來信:「競爭對手只報 €95,你們能跟嗎?」 |
| 週一 | AI 草擬回覆:「沒問題,A 款可以 €95 成交。」業務差點直接寄出 |
| 週二 | 主管驗算:匯率 31.5 時,€95 的毛利率只有 6.4%,遠低於 15% 底線 |
老闆的第一反應是:「換一個更聰明的模型就好了吧?」
這個反應很自然,但方向錯了。大型語言模型的輸出是機率性的:同一個問題問兩次,答案可能不一樣,而且你無法事先證明它「每一次都對」。換更好的模型能降低出錯率,但降不到零。
本節要解決的問題: 既然模型不可能保證不出錯,企業要靠什麼讓 AI 系統值得信任?
貳、為什麼會這樣:Agent = Model + Harness
第 8 章的公式是 Agent = LLM + Context + Tools,回答的是「Agent 怎麼做得到事情」。本章要補上另一半:「Agent 怎麼不做錯事情」。業界常用的說法是:
Agent = Model(模型)+ Harness(模型外面的整套控制)
Harness 原意是馬具、韁繩:馬跑多快由馬決定,往哪裡跑、什麼時候停,由韁繩決定。本書把 Harness 拆成五個要素,取英文字首簡稱 C-T-C-V-C:
| 要素 | 回答的問題 | 在報價系統裡的例子 | 詳見 |
|---|---|---|---|
| Context 上下文 | 模型看得到什麼? | 報價規格表、產品成本、今日匯率 | 第 7 章 |
| Tools 工具 | 模型做得到什麼? | 「查報價表」可以用;「寄出正式報價」不給 | 第 8 章 |
| Constrain 約束 | 哪些線絕對不能越過? | 毛利率 < MIN_MARGIN(15%)不准報;MIN_MARGIN 只有財務主管能改 |
9.2 |
| Verify 驗證 | 進來的資料可信嗎?產出的數字對嗎? | 用程式重算 AI 草稿裡的單價、小計與毛利 | 9.3 |
| Correct 糾正 | 出錯或外部故障時怎麼收拾? | 匯率抓不到就停止並告警(1.3);連續失敗就暫停呼叫 | 9.4 |
給它看什麼"] T["Tools
給它什麼工具"] end M["Model
機率性推理"] subgraph CONTROL["安全治理:不做錯"] C2["Constrain
事前劃紅線"] V["Verify
事中檢查"] C3["Correct
事後收拾"] end SUPPLY --> M --> CONTROL --> OUT["對外行動
(寄報價、改價、付款)"]
回到開場:如果 Harness 完整,AI 寫出 €95 時,Verify 會用程式重算毛利、發現 6.4% 而退回草稿;即使驗證漏掉,Tools 根本沒給它「寄出報價」的權限;Constrain 則保證沒有人能偷偷把底線改低讓 €95 過關。三道防線都不需要模型變聰明。
💡 關鍵觀念:前兩個要素決定 AI 的能力上限,後三個要素決定企業敢不敢把事情交給它。
參、對照 COSO:你早就學過的內部控制
會計與企管課程裡的內部控制,最常引用的是 COSO 內部控制整合框架(Internal Control — Integrated Framework)。COSO 是美國「反舞弊性財務報導全國委員會」(Treadway Commission)的五個贊助組織所組成的委員會,1992 年發布此框架,2013 年更新為現行版本。它包含 5 個組成要素、17 項原則:
| COSO 組成要素 | 意思 | 在 AI 報價系統裡 | 能寫進 Harness 嗎? |
|---|---|---|---|
| 控制環境 Control Environment | 誠信價值、治理結構、權責分派 | 誰決定 MIN_MARGIN?誰對 AI 寄出的報價負責? |
❌ 管理階層的責任;Context 只能「傳達」,無法「建立」 |
| 風險評估 Risk Assessment | 辨識並分析達成目標的風險 | 列出 AI 可能出錯的地方:降價、算錯、被客戶話術誘導 | ⚠️ 由人來做;Red Teaming(刻意攻擊測試)是工具 |
| 控制作業(又稱控制活動) Control Activities | 用政策與程序降低風險,含一般資訊科技控制 | 毛利底線、權限隔離、程式驗算、失敗即停止 | ✅ Constrain、Verify、Correct 的主戰場 |
| 資訊與溝通 Information & Communication | 取得、產生並傳遞品質良好的資訊 | 正確的成本與匯率(Context)、每次呼叫留下紀錄 | ✅ Context、Tools 的紀錄功能 |
| 監督作業 Monitoring Activities | 持續或個別評估內控是否有效,並改正缺失 | 每週抽查 AI 草稿、用固定題庫定期測試 | ⚠️ 半自動;評估方法見第 10 章 |
注意這張表不是一對一對應。Harness 主要實作的是「控制活動」,再加上「資訊與溝通」與部分「監督」。最上層的兩個要素——控制環境與風險評估——寫不進程式碼,只能由人負責。
這正是商管背景的優勢所在:工程師可以把 MIN_MARGIN 寫成常數,但「底線該訂多少、誰有權改、改了要經過誰核准」,是內部控制與公司治理的問題。
肆、動手:替報價系統做一次內控盤點
下表列出目前(1.1+1.3+AI 草擬回覆)已有或應該有的控制點。請先遮住右邊兩欄,自己判斷每一列屬於哪一個 Harness 要素、對應 COSO 哪一個組成要素,再對答案。
| # | 控制點 | Harness 要素 | COSO 組成要素 |
|---|---|---|---|
| 1 | 把報價規格表與產品成本提供給 AI | Context | 資訊與溝通 |
| 2 | AI 只能「讀」報價表,不能寄出報價 | Tools + Constrain | 控制活動 |
| 3 | 毛利率 < 15% 亮紅燈、不准放行 | Constrain | 控制活動 |
| 4 | B~D 欄空白就亮黃燈、不判斷(1.1) | Verify | 控制活動 |
| 5 | 匯率抓不到就停止並告警(1.3) | Correct | 控制活動 |
| 6 | 董事會核定 15% 底線並寫進公司政策 | (不在 Harness 內) | 控制環境 |
| 7 | 每月抽 20 封 AI 草稿請主管覆核 | (人工) | 監督作業 |
🔍 盤點後的發現 - 第 6 列做好了,但系統裡任何有編輯權的人都能改
MIN_MARGIN(1.1 的限制表已經提過)。政策有了,執行面沒有守住——這是 9.2 要解決的。 - 目前沒有任何控制檢查「AI 寫在草稿裡的數字」是否和報價表一致。這是 9.3 要解決的。
伍、常見誤解
| 誤解 | 為什麼不對 |
|---|---|
| 「在 Prompt 裡寫『請遵守公司規章』就算有控制了。」 | 那只是傳達,不是控制。COSO 的控制活動要能防止或偵測錯誤;一句話無法阻止模型被客戶話術說動,也不會留下紀錄。 |
| 「模型越強,需要的 Harness 越少。」 | 強模型錯得少,但錯起來一樣能寄出報價。能力越強、權限越大,越需要控制。 |
| 「Harness 是工程師的事。」 | 五要素中最難的部分(底線訂多少、誰能改、哪些動作要人核准)都是管理決策。 |
| 「COSO 五要素和 C-T-C-V-C 剛好一對一。」 | 不是。Harness 主要落在控制活動;控制環境與風險評估仍要靠人。 |
陸、回到情境
老闆問「換更聰明的模型就好嗎?」現在你可以回答:模型決定 AI 能做多少事,Harness 決定公司敢讓它做多少事。€95 事件要靠 Constrain、Verify、Tools 權限三道防線來擋,不是靠換模型。
本章接下來的安排:
| 要解決的問題 | 對應要素 | 在哪一節 |
|---|---|---|
誰都能改 MIN_MARGIN;AI 能做的動作太多 |
Constrain | 9.2 |
| AI 草稿裡的數字沒人檢查;客戶信件可能夾帶指令 | Verify | 9.3 |
| 匯率 API 連續故障時一直重試、客戶看到錯誤畫面 | Correct | 9.4 |
| 多步驟流程(抓匯率 → 檢查 → 主管核准 → 寄出)怎麼串起來 | 流程設計 | 9.5 |
| 怎麼知道這些控制真的有效 | 監督 | 第 10 章 |
本節小結
- 模型是機率性的,無法保證每次都對;企業 AI 的可靠度主要來自模型外面的 Harness。
- Harness 五要素:Context、Tools 供給能力;Constrain、Verify、Correct 負責不出錯、出錯能收拾。
- COSO 五要素是控制環境、風險評估、控制活動、資訊與溝通、監督作業。Harness 主要實作控制活動,前兩項仍是管理階層的責任。
- 在 Prompt 裡「提醒」不等於控制;控制要能阻止或偵測錯誤。
柒、練習
- 歸類(5 分鐘):公司新增三條規則——(a) AI 回覆一律附上「本報價以正式報價單為準」;(b) 單筆訂單超過 NT$ 1,000,000 需主管核准;(c) 每季檢討一次毛利底線。請分別歸入 Harness 要素與 COSO 組成要素,並說明哪一條無法寫進系統。
- 設計(20 分鐘):替「AI 客服回覆退貨申請」設計 C-T-C-V-C 五個要素,每個要素至少寫一條具體規則。(提示:先問「AI 可以答應退款嗎?」)
- 管理反思(討論):一家新創對投資人說:「我們的核心競爭力是獨家微調的模型,所以不需要複雜的後台風控。」請用 Model 與 Harness 的區分,以及 COSO 的控制環境,評論這句話的風險。