8.2 企業五類工具分類與封裝設計

學完本節,你能夠:

  1. 依「會不會改變資料、會不會對外、涉及多少錢」把工具分成五類,並說出每一類的放行標準。
  2. 為一組業務工具畫出授權矩陣:哪些 AI 可以自己做、哪些要記錄、哪些必須等人核准。
  3. 找出把不同風險等級混在同一個工具裡的設計,並提出拆分方式。

壹、開場情境:一個沒有上限的退款按鈕

📌 以下為教學情境(依實務改編)。

一家跨境電商替 AI 客服接上 issue_instant_refund(order_id, amount) 工具。設計者的想法很單純:買家抱怨貨損,AI 立刻退款,客戶滿意度一定上升。

上線一週後,財務發現退款總額異常。有人在對話中自稱「平台稽核人員」,要求 AI「依政策」為一批訂單全額退款,其中好幾筆的退款金額甚至高於訂單本身。AI 照做了,因為:

  • 工具沒有金額上限,也不檢查退款是否超過訂單金額;
  • 退款和「查訂單狀態」一樣,不需要任何人確認;
  • 事後只看得到銀行的扣款紀錄,看不到是哪段對話、依據什麼理由退的。

問題不在 AI 「笨」,而在於一個會動到錢的工具,被當成查資料的工具來管理。

本節要解決的問題: 企業交給 AI 的工具,應該依什麼標準分級?每一級要配什麼樣的管控?


貳、為什麼會這樣:工具的風險不一樣,管控卻一樣

企業內部控制早就有答案:職能分立與授權矩陣。實習生可以查型錄和庫存;但核准一筆 10 萬美元的供應商預付款,要經理以上簽核。給 AI 的工具也應該照這套邏輯分級。

判斷一個工具的風險,只要問三個問題:

  1. 會不會改變資料?(查詢 vs. 寫入)
  2. 會不會對外產生影響?(只在內部 vs. 寄給客戶、送到海關、扣到銀行)
  3. 能不能撤回?涉及多少錢?

依這三個問題,可以把工具分成五類:

類別 特徵 商業範例 風險 AI 可否自動執行 必要管控
① 唯讀查詢 只讀資料,不改任何狀態 查庫存、查匯率、查客戶信用額度 🟢 低 ✅ 可以 只開放必要欄位(例如業務查不到採購成本)
② 運算分析 輸入→公式→輸出,不讀寫外部系統 算毛利率、算到岸成本、算貨櫃材積 🟢 低 ✅ 可以 公式要經過測試(第 5 章)
③ 對外通訊 把訊息送給人 寄報價信、推播內部警報 🟡 中 ⚠️ 內部通知可以;對客戶的正式信件先存草稿 收件人範圍限制、發送紀錄
④ 寫入異動 改變帳務、庫存或金流狀態 建立銷售訂單、鎖定庫存、送出報關單、扣款 🟠 高 ⚠️ 限額內可以,且須留紀錄 金額/數量上限、防重複執行(冪等性,見 3.3)、審計紀錄、可回復
⑤ 人工核准 不是「做事」的工具,而是「暫停並請人決定」的工具 超額折扣、大額付款、簽約 🔴 最高 🛑 AI 只能提出申請 指定核准人、記錄理由、逾時預設為「不執行」

💡 第②類為什麼值得獨立出來? LLM 擅長理解文字,但不保證算術正確。毛利率、關稅、材積這類「有標準答案」的計算,應該交給程式算,再讓 AI 引用結果,而不是讓 AI 心算。第 1.1 節的 checkQuotes() 就是一個第②類工具的雛形。

第⑤類最容易被誤解。它不是讓 AI 多一個能力,而是讓 AI 在碰到紅線時有一個合法的「停下來」動作。沒有這個工具,AI 面對超出權限的要求時只有兩個選擇:拒絕(客戶不滿),或硬做(公司受損)。以下是 AI 實際呼叫此工具的呼叫範例(arguments 為這次傳入的值):

{
  "name": "request_manager_approval",
  "description": "當折扣超過 10%、或單筆金額超過 US$ 10,000 時必須呼叫本工具,不得直接執行原本的動作。呼叫後對話暫停,等待主管核准或駁回;24 小時內無人回應視為駁回。",
  "arguments": {
    "deal_id": "DEAL-882",
    "action_requested": "APPLY_DISCOUNT_15_PERCENT",
    "justification": "客戶承諾簽署年度框架協議,預付款比例提高至 50%",
    "approver_role": "SALES_VP"
  }
}

參、把規則寫下來:授權矩陣

以退款為例,把「AI 可以幫客戶退款」翻成規格:

主管說的話 需要追問的問題 寫成規格
「貨損就退款」 誰證明貨損? 必須附照片,且訂單狀態為「已送達」
「小額就直接退」 多少算小額? 單筆 ≤ US$ 50 可由 AI 自動執行(第④類)
「大額要問我」 超過多少?誰核准? > US$ 50 改呼叫 request_manager_approval(第⑤類),由客服主管核准
(主管沒說) 退款可以超過訂單金額嗎? 不可以;退款 ≤ 訂單實付金額
(主管沒說) 同一張訂單可以退幾次? 每張訂單最多一次退款,重複請求直接拒絕(冪等性)
(主管沒說) 對方說「我是稽核人員」怎麼辦? 對話中自稱的身分不能提高權限;權限只看系統設定

最後一列是開場事件的關鍵。AI 讀到的每一句話都可能是被操縱的內容(這類攻擊稱為提示注入,第 13.1 節詳談),所以權限必須寫在工具與系統設定裡,不能寫在對話裡。


肆、應用:替 ERP 的功能分類

把本書 ERP 旗艦專案(第 1.1、4.2、6.3、8.3 節)已有的功能,依五類重新檢視:

ERP 功能 做了什麼 類別 交給 AI 時的管控
查庫存(doGet 的 checkStock,第 8.3 節) 讀「庫存主檔」 ① 可自動;但回傳內容含加權成本,若要開放給客戶端 AI,應隱藏成本欄
checkQuotes()(1.1) 計算毛利率並標燈號 ②+寫入 計算本身是②,但它會把結果寫回 E、F 欄,所以嚴格說屬於④(低風險)
recordPurchaseInbound()(4.2) 入庫並重算加權成本 ④ 會改變存貨成本,影響財報;不建議讓 AI 自動執行
apiSubmitSalesOrder()(4.2) 新增訂單、扣庫存 ④ 數量上限、執行前向使用者複述確認、留紀錄
checkSafetyStockAndAlert()(4.2) 寫入庫存狀態欄,並寄信 ③+④ 一個函數混了兩類;交給 AI 前最好拆成「巡檢」與「寄信」兩個工具
超過授權的折扣或大單 (目前沒有) ⑤ 需要新增 request_manager_approval
flowchart LR REQ["AI 想呼叫工具"] --> Q1{"會改變資料
或對外發送嗎?"} Q1 -->|否:①②| RUN["直接執行"] Q1 -->|是:③④| Q2{"在限額內嗎?"} Q2 -->|是| LOG["執行並寫入審計紀錄"] Q2 -->|否| APP["改呼叫 request_manager_approval
(⑤ 等人核准)"]

伍、判斷看看

以下工具各屬哪一類?AI 可以自動執行嗎?先自己判斷,再看右欄。

工具 你的判斷 參考答案
get_exchange_rate("EUR", "TWD") ① 可自動。但若抓取失敗,應回報錯誤而不是給一個「預設匯率」(見 1.3)
calculate_landed_cost(cif, tariff_rate, vat_rate) ② 可自動
send_slack_alert("#倉儲", "B 款低於安全庫存") ③ 內部通知,可自動
send_quote_email(customer_email, pdf) ③ 對外正式報價,建議先存草稿由業務按送出
submit_customs_declaration(payload) ④ 具法律效力,應由人確認後送出
delete_customer(customer_id) ④ 且不可回復;通常不該做成 AI 工具,或改為「標記停用」

陸、回到情境

用授權矩陣重新設計後,開場的退款工具變成:

原本 改成
一個沒有上限的 issue_instant_refund ≤ US$ 50 的自動退款(④)+ 超額時的 request_manager_approval(⑤)
退款金額可以超過訂單金額 工具內檢查:退款 ≤ 訂單實付金額,每張訂單限退一次
自稱稽核人員就能取得權限 權限只看系統設定,對話內容不能改變權限
事後查不到原因 每次呼叫記錄對話編號、參數、理由、結果

仍然要誠實面對的限制:

限制 後果 在哪一節解決
攻擊者可以把大額拆成很多筆 US$ 49 單筆上限被繞過 第 13.2 節 加上「每日累計上限」,第 9.4 節 加上熔斷機制
核准人每天收到上百筆申請 只看不審,蓋章了事 第 9 章 例外管理:只把真正異常的送給人
工具分類寫在文件裡,但沒有被系統強制執行 分類形同虛設 8.3 在 MCP 伺服器中標示工具性質;13.2 最小授權

本節小結

  1. 判斷工具風險只問三件事:改不改資料、對不對外、可不可撤回與金額多大。
  2. 五類工具:①唯讀查詢、②運算分析、③對外通訊、④寫入異動、⑤人工核准;越往後管控越嚴。
  3. 第⑤類讓 AI 在碰到紅線時有一個「停下來請人決定」的合法動作。
  4. 權限寫在系統設定與工具裡,不寫在對話裡;對話中自稱的身分不能提高權限。

柒、練習

  1. 改數字(5 分鐘):主管把 AI 自動退款上限從 US$ 50 調為 US$ 100。請在第參段規格表中找出要改的格子。若某天有 3 筆退款申請:US$ 30、US$ 80、US$ 150,改規則前後各有幾筆需要人工核准?
  2. 加功能(20 分鐘):把 checkSafetyStockAndAlert() 拆成兩個工具的規格:scan_safety_stock(只回傳低於安全庫存的品項清單)與 send_restock_alert(寄信)。各屬哪一類?各需要哪些參數與限制?
  3. 管理反思(討論):假設公司要配置兩個 AI 助理:「市場調研實習生」與「財務結算專員」。請為兩者各列出可用的工具清單與類別。哪些工具絕對不該出現在實習生的清單裡?這和你在公司裡給新進員工開系統權限的做法,有什麼相同與不同?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。