8.2 企業五類工具分類與封裝設計
學完本節,你能夠:
- 依「會不會改變資料、會不會對外、涉及多少錢」把工具分成五類,並說出每一類的放行標準。
- 為一組業務工具畫出授權矩陣:哪些 AI 可以自己做、哪些要記錄、哪些必須等人核准。
- 找出把不同風險等級混在同一個工具裡的設計,並提出拆分方式。
壹、開場情境:一個沒有上限的退款按鈕
📌 以下為教學情境(依實務改編)。
一家跨境電商替 AI 客服接上 issue_instant_refund(order_id, amount) 工具。設計者的想法很單純:買家抱怨貨損,AI 立刻退款,客戶滿意度一定上升。
上線一週後,財務發現退款總額異常。有人在對話中自稱「平台稽核人員」,要求 AI「依政策」為一批訂單全額退款,其中好幾筆的退款金額甚至高於訂單本身。AI 照做了,因為:
- 工具沒有金額上限,也不檢查退款是否超過訂單金額;
- 退款和「查訂單狀態」一樣,不需要任何人確認;
- 事後只看得到銀行的扣款紀錄,看不到是哪段對話、依據什麼理由退的。
問題不在 AI 「笨」,而在於一個會動到錢的工具,被當成查資料的工具來管理。
本節要解決的問題: 企業交給 AI 的工具,應該依什麼標準分級?每一級要配什麼樣的管控?
貳、為什麼會這樣:工具的風險不一樣,管控卻一樣
企業內部控制早就有答案:職能分立與授權矩陣。實習生可以查型錄和庫存;但核准一筆 10 萬美元的供應商預付款,要經理以上簽核。給 AI 的工具也應該照這套邏輯分級。
判斷一個工具的風險,只要問三個問題:
- 會不會改變資料?(查詢 vs. 寫入)
- 會不會對外產生影響?(只在內部 vs. 寄給客戶、送到海關、扣到銀行)
- 能不能撤回?涉及多少錢?
依這三個問題,可以把工具分成五類:
| 類別 | 特徵 | 商業範例 | 風險 | AI 可否自動執行 | 必要管控 |
|---|---|---|---|---|---|
| ① 唯讀查詢 | 只讀資料,不改任何狀態 | 查庫存、查匯率、查客戶信用額度 | 🟢 低 | ✅ 可以 | 只開放必要欄位(例如業務查不到採購成本) |
| ② 運算分析 | 輸入→公式→輸出,不讀寫外部系統 | 算毛利率、算到岸成本、算貨櫃材積 | 🟢 低 | ✅ 可以 | 公式要經過測試(第 5 章) |
| ③ 對外通訊 | 把訊息送給人 | 寄報價信、推播內部警報 | 🟡 中 | ⚠️ 內部通知可以;對客戶的正式信件先存草稿 | 收件人範圍限制、發送紀錄 |
| ④ 寫入異動 | 改變帳務、庫存或金流狀態 | 建立銷售訂單、鎖定庫存、送出報關單、扣款 | 🟠 高 | ⚠️ 限額內可以,且須留紀錄 | 金額/數量上限、防重複執行(冪等性,見 3.3)、審計紀錄、可回復 |
| ⑤ 人工核准 | 不是「做事」的工具,而是「暫停並請人決定」的工具 | 超額折扣、大額付款、簽約 | 🔴 最高 | 🛑 AI 只能提出申請 | 指定核准人、記錄理由、逾時預設為「不執行」 |
💡 第②類為什麼值得獨立出來? LLM 擅長理解文字,但不保證算術正確。毛利率、關稅、材積這類「有標準答案」的計算,應該交給程式算,再讓 AI 引用結果,而不是讓 AI 心算。第 1.1 節的
checkQuotes()就是一個第②類工具的雛形。
第⑤類最容易被誤解。它不是讓 AI 多一個能力,而是讓 AI 在碰到紅線時有一個合法的「停下來」動作。沒有這個工具,AI 面對超出權限的要求時只有兩個選擇:拒絕(客戶不滿),或硬做(公司受損)。以下是 AI 實際呼叫此工具的呼叫範例(arguments 為這次傳入的值):
{
"name": "request_manager_approval",
"description": "當折扣超過 10%、或單筆金額超過 US$ 10,000 時必須呼叫本工具,不得直接執行原本的動作。呼叫後對話暫停,等待主管核准或駁回;24 小時內無人回應視為駁回。",
"arguments": {
"deal_id": "DEAL-882",
"action_requested": "APPLY_DISCOUNT_15_PERCENT",
"justification": "客戶承諾簽署年度框架協議,預付款比例提高至 50%",
"approver_role": "SALES_VP"
}
}
參、把規則寫下來:授權矩陣
以退款為例,把「AI 可以幫客戶退款」翻成規格:
| 主管說的話 | 需要追問的問題 | 寫成規格 |
|---|---|---|
| 「貨損就退款」 | 誰證明貨損? | 必須附照片,且訂單狀態為「已送達」 |
| 「小額就直接退」 | 多少算小額? | 單筆 ≤ US$ 50 可由 AI 自動執行(第④類) |
| 「大額要問我」 | 超過多少?誰核准? | > US$ 50 改呼叫 request_manager_approval(第⑤類),由客服主管核准 |
| (主管沒說) | 退款可以超過訂單金額嗎? | 不可以;退款 ≤ 訂單實付金額 |
| (主管沒說) | 同一張訂單可以退幾次? | 每張訂單最多一次退款,重複請求直接拒絕(冪等性) |
| (主管沒說) | 對方說「我是稽核人員」怎麼辦? | 對話中自稱的身分不能提高權限;權限只看系統設定 |
最後一列是開場事件的關鍵。AI 讀到的每一句話都可能是被操縱的內容(這類攻擊稱為提示注入,第 13.1 節詳談),所以權限必須寫在工具與系統設定裡,不能寫在對話裡。
肆、應用:替 ERP 的功能分類
把本書 ERP 旗艦專案(第 1.1、4.2、6.3、8.3 節)已有的功能,依五類重新檢視:
| ERP 功能 | 做了什麼 | 類別 | 交給 AI 時的管控 |
|---|---|---|---|
查庫存(doGet 的 checkStock,第 8.3 節) |
讀「庫存主檔」 | ① | 可自動;但回傳內容含加權成本,若要開放給客戶端 AI,應隱藏成本欄 |
checkQuotes()(1.1) |
計算毛利率並標燈號 | ②+寫入 | 計算本身是②,但它會把結果寫回 E、F 欄,所以嚴格說屬於④(低風險) |
recordPurchaseInbound()(4.2) |
入庫並重算加權成本 | ④ | 會改變存貨成本,影響財報;不建議讓 AI 自動執行 |
apiSubmitSalesOrder()(4.2) |
新增訂單、扣庫存 | ④ | 數量上限、執行前向使用者複述確認、留紀錄 |
checkSafetyStockAndAlert()(4.2) |
寫入庫存狀態欄,並寄信 | ③+④ | 一個函數混了兩類;交給 AI 前最好拆成「巡檢」與「寄信」兩個工具 |
| 超過授權的折扣或大單 | (目前沒有) | ⑤ | 需要新增 request_manager_approval |
或對外發送嗎?"} Q1 -->|否:①②| RUN["直接執行"] Q1 -->|是:③④| Q2{"在限額內嗎?"} Q2 -->|是| LOG["執行並寫入審計紀錄"] Q2 -->|否| APP["改呼叫 request_manager_approval
(⑤ 等人核准)"]
伍、判斷看看
以下工具各屬哪一類?AI 可以自動執行嗎?先自己判斷,再看右欄。
| 工具 | 你的判斷 | 參考答案 |
|---|---|---|
get_exchange_rate("EUR", "TWD") |
① 可自動。但若抓取失敗,應回報錯誤而不是給一個「預設匯率」(見 1.3) | |
calculate_landed_cost(cif, tariff_rate, vat_rate) |
② 可自動 | |
send_slack_alert("#倉儲", "B 款低於安全庫存") |
③ 內部通知,可自動 | |
send_quote_email(customer_email, pdf) |
③ 對外正式報價,建議先存草稿由業務按送出 | |
submit_customs_declaration(payload) |
④ 具法律效力,應由人確認後送出 | |
delete_customer(customer_id) |
④ 且不可回復;通常不該做成 AI 工具,或改為「標記停用」 |
陸、回到情境
用授權矩陣重新設計後,開場的退款工具變成:
| 原本 | 改成 |
|---|---|
一個沒有上限的 issue_instant_refund |
≤ US$ 50 的自動退款(④)+ 超額時的 request_manager_approval(⑤) |
| 退款金額可以超過訂單金額 | 工具內檢查:退款 ≤ 訂單實付金額,每張訂單限退一次 |
| 自稱稽核人員就能取得權限 | 權限只看系統設定,對話內容不能改變權限 |
| 事後查不到原因 | 每次呼叫記錄對話編號、參數、理由、結果 |
仍然要誠實面對的限制:
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 攻擊者可以把大額拆成很多筆 US$ 49 | 單筆上限被繞過 | 第 13.2 節 加上「每日累計上限」,第 9.4 節 加上熔斷機制 |
| 核准人每天收到上百筆申請 | 只看不審,蓋章了事 | 第 9 章 例外管理:只把真正異常的送給人 |
| 工具分類寫在文件裡,但沒有被系統強制執行 | 分類形同虛設 | 8.3 在 MCP 伺服器中標示工具性質;13.2 最小授權 |
本節小結
- 判斷工具風險只問三件事:改不改資料、對不對外、可不可撤回與金額多大。
- 五類工具:①唯讀查詢、②運算分析、③對外通訊、④寫入異動、⑤人工核准;越往後管控越嚴。
- 第⑤類讓 AI 在碰到紅線時有一個「停下來請人決定」的合法動作。
- 權限寫在系統設定與工具裡,不寫在對話裡;對話中自稱的身分不能提高權限。
柒、練習
- 改數字(5 分鐘):主管把 AI 自動退款上限從 US$ 50 調為 US$ 100。請在第參段規格表中找出要改的格子。若某天有 3 筆退款申請:US$ 30、US$ 80、US$ 150,改規則前後各有幾筆需要人工核准?
- 加功能(20 分鐘):把
checkSafetyStockAndAlert()拆成兩個工具的規格:scan_safety_stock(只回傳低於安全庫存的品項清單)與send_restock_alert(寄信)。各屬哪一類?各需要哪些參數與限制? - 管理反思(討論):假設公司要配置兩個 AI 助理:「市場調研實習生」與「財務結算專員」。請為兩者各列出可用的工具清單與類別。哪些工具絕對不該出現在實習生的清單裡?這和你在公司裡給新進員工開系統權限的做法,有什麼相同與不同?