11.2 即時互動與實體世界串接(多語商談與物流感知)

學完本節,你能夠:

  1. 用「資料形式 × 時效要求」兩個軸,判斷一項 AI 應用的技術難度。
  2. 說明即時語音系統為什麼對延遲特別敏感,以及兩種常見架構的差別。
  3. 比較傳統 RPA 與 AI 電腦操作(Computer Use)的優缺點,並說出它們各自需要的控管。

壹、開場情境:業務小林的一天

📌 以下為教學情境(依外貿實務改編)。

台中一家工具機出口商的業務小林,一天之內碰到三件事:

時間 事件 現在怎麼處理
上午 墨西哥買家打電話來,用西班牙語詢價、殺價 小林不會西語,只能請對方改寫 Email,報價晚了兩天
下午 某進口國的報關網站很老舊,沒有 API,每天要手動填 40 張申報表 工讀生複製貼上 3 小時,偶爾填錯欄位
傍晚 貨櫃到倉,有兩箱外箱破損,貨代和陸運互相推責任 沒有拍照存證,索賠沒有依據

前一節處理的是「系統對系統」的資料流;這三件事卻是語音、老舊畫面、實體貨物——都不是乾淨的 JSON。

本節要解決的問題: 這三件事 AI 能幫上忙嗎?各自要多快?人要在哪裡把關?


貳、核心概念

1. 兩個評估軸:資料形式 × 時效要求

時效寬鬆(分鐘到小時) 時效嚴格(1 秒內)
純文字 / 結構化資料 批次報表、Email 詢價回覆 交易即時風控攔截
語音、影像、實體動作 提單 OCR、貨損照片判讀 即時語音談判、倉庫無人搬運車避障

右下角最難:資料又亂、又要快。

時效等級 大約範圍 例子
非即時 數分鐘至數小時 Email 報價、供應商年度評鑑
近即時 1~3 秒 網站文字客服、關稅查詢
即時 1 秒以內,越短越好 電話對談、同步口譯、機器避障

2. 即時語音:為什麼延遲這麼要命

語言學研究發現,人類對話中輪流說話的空檔平均只有約 200 毫秒(Stivers 等人,2009,比較 10 種語言)。AI 回應如果慢上兩三秒,對方會以為斷線,或開始重複說話。

flowchart TB subgraph A["串接式:三個模型接力(延遲累加,常達數秒)"] A1["對方說話"] --> A2["語音轉文字"] --> A3["語言模型產生回覆"] --> A4["文字轉語音"] --> A5["播放"] end subgraph B["原生語音模型:直接聽、直接說(可壓到 1 秒內)"] B1["對方音訊串流"] --> B2["語音對語音模型
邊聽邊產生"] --> B3["音訊串流播放"] end
串接式 原生語音模型
延遲 三段相加,通常數秒 較低,可做到自然對話
優點 每段可換廠商;中間有文字可稽核 保留語氣、停頓,較自然
缺點 慢、語氣資訊在轉文字時遺失 較難逐字檢查;選擇較少

商業語音系統還要處理四件事:

考量 說明
插話處理 買家說「等等,太貴了」,系統要立刻停止說話、改為聆聽(靠語音活動偵測 VAD)
術語保護 「FOB Keelung」「L/C at sight」這類術語容易聽錯,要提供企業術語表
語氣與禮節 不同市場對寒暄、直接程度的期待不同
授權邊界 折扣上限、付款條件、交期承諾——哪些 AI 可以說、哪些必須轉真人

最後一項最重要:系統聽得懂、說得快,不代表它有權答應。

3. Computer Use:讓 AI 操作沒有 API 的老系統

許多海關、銀行、報關行的系統只有網頁或桌面程式,沒有 API。Computer Use(電腦操作能力) 指的是:AI 看螢幕截圖、判斷按鈕在哪裡,再送出滑鼠與鍵盤動作,像人一樣操作畫面。Anthropic 的 Computer Use 工具、各家的瀏覽器操作 Agent 都屬於這一類。

flowchart LR S["截圖"] --> V["視覺模型判讀
按鈕、欄位位置"] --> D["決定下一步
例:點「送出申報」"] --> Act["送出滑鼠 / 鍵盤動作"] --> Chk["再截圖確認結果"] Chk --> S
傳統 RPA(如 UiPath、Power Automate) AI Computer Use
怎麼找到按鈕 主要靠預先錄好的元素路徑或座標 看畫面理解
網頁改版 容易失效,需要重錄 小幅改版通常還能辨識
意外彈窗 沒寫到的情況就停住 能讀懂內容,但也可能判斷錯
速度與成本 快、便宜、每次結果相同 較慢、每步都要呼叫模型、結果不保證每次相同
適合 畫面穩定、步驟固定、大量重複 畫面常變、步驟需要判斷

兩者不是誰取代誰。高頻、固定的流程,RPA 仍然比較便宜可靠;Computer Use 適合 RPA 很難維護的部分。

4. 物流感知:把實體狀態變成資料

應用 做什麼 商業價值
封條檢查 拍攝貨櫃門封條,辨識編號並比對文件,檢查是否有剪斷或更換痕跡 交接時就確認責任歸屬
外箱破損檢查 卸貨時拍照,辨識水漬、凹陷、傾倒,寫入收貨驗收紀錄 保險索賠有照片與時間證據
箱嘜與危險品標誌辨識 讀取多語品名、批號、國際海運危險品(IMDG)標誌 避免危險品被放進一般倉位

這類影像辨識常在現場的設備上直接運算(稱為「邊緣運算」),不必每張照片都上傳雲端,速度較快,也較不受網路影響。


參、應用到情境:小林的三件事

事件 適用技術 時效要求 人要在哪裡把關
西語電話詢價 即時語音翻譯,或語音 Agent 先接聽、整理需求 即時 報價金額、折扣、付款條件一律由小林確認後才承諾
老舊報關網站 Computer Use 或 RPA 代填 非即時 送出前由人核對;先在測試帳號或少量申報試跑
外箱破損責任 卸貨口攝影 + 影像辨識,自動寫入驗收紀錄 近即時 有瑕疵時由倉管確認,再啟動索賠

注意第二件事:報關資料錯了會有法律責任。能自動填,不代表能自動送出。


肆、判斷看看:常見誤解

說法 對嗎? 說明
「Computer Use 可以完全取代 RPA」 錯 對固定流程而言,RPA 更快、更便宜、結果更穩定
「AI 看得懂畫面,所以可以放心讓它登入網銀」 錯 畫面上可能出現惡意指示(第 13.1 節的提示注入),錯點一次就是真金白銀
「語音 Agent 只要夠快就能上線」 錯 更重要的是授權邊界與轉真人的條件
「影像辨識有 95% 準確率就夠了」 看情況 每天 2,000 箱,5% 就是 100 箱誤判;要看誤判由誰處理、成本多少

伍、回到情境

小林的三件事都能用 AI 改善:電話不必再拖兩天、工讀生不必每天複製貼上 3 小時、貨損有照片可索賠。但三件事有共同點:AI 負責「聽、看、填」,人負責「承諾、送出、索賠」。

限制 後果 在哪一節解決
語音 Agent 在電話中做出未授權的承諾 公司可能要履行 第 13.3 節(加拿大航空聊天機器人判決)
Computer Use 帳號權限過大 被誘導執行錯誤操作 第 9.2 節(權限隔離)、第 13.2 節(最小授權)
影像辨識誤判 錯誤索賠或漏賠 第 10.2 節(用評估資料集量測準確率)

本節小結

  1. 用「資料形式 × 時效要求」評估難度:資料越亂、時效越嚴,越難做。
  2. 即時對話對延遲極度敏感;原生語音模型比三段串接更自然,但較難逐字稽核。
  3. Computer Use 與 RPA 各有適用範圍,不是新的取代舊的。
  4. 實體世界的 AI 應用,最後一步的承諾與送出仍要由人負責。

陸、練習

  1. 算算看(5 分鐘):一家水果進口商每年因碰撞與失溫產生的索賠爭議約 US$ 200 萬。導入卸貨口影像檢查,一次性成本 US$ 15 萬、每年維運 US$ 2 萬。假設能讓爭議損失減少 20%,每年淨效益多少?幾個月回本?如果只減少 5% 呢?
  2. 寫授權規格(20 分鐘):公司打算讓語音 Agent 接聽海外詢價電話。請仿照第 1.1 節的「說法 → 追問 → 規格」表,至少寫出 5 條:Agent 能報的價格範圍、能給的折扣上限、不能承諾的條款,以及哪些情況必須立刻轉接真人。
  3. 管理反思(討論):如果讓 AI 自動登入海關申報系統代填資料,可能有哪些資安與法律風險?你會怎麼設計「誰可以按送出」?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。