11.2 即時互動與實體世界串接(多語商談與物流感知)
學完本節,你能夠:
- 用「資料形式 × 時效要求」兩個軸,判斷一項 AI 應用的技術難度。
- 說明即時語音系統為什麼對延遲特別敏感,以及兩種常見架構的差別。
- 比較傳統 RPA 與 AI 電腦操作(Computer Use)的優缺點,並說出它們各自需要的控管。
壹、開場情境:業務小林的一天
📌 以下為教學情境(依外貿實務改編)。
台中一家工具機出口商的業務小林,一天之內碰到三件事:
| 時間 | 事件 | 現在怎麼處理 |
|---|---|---|
| 上午 | 墨西哥買家打電話來,用西班牙語詢價、殺價 | 小林不會西語,只能請對方改寫 Email,報價晚了兩天 |
| 下午 | 某進口國的報關網站很老舊,沒有 API,每天要手動填 40 張申報表 | 工讀生複製貼上 3 小時,偶爾填錯欄位 |
| 傍晚 | 貨櫃到倉,有兩箱外箱破損,貨代和陸運互相推責任 | 沒有拍照存證,索賠沒有依據 |
前一節處理的是「系統對系統」的資料流;這三件事卻是語音、老舊畫面、實體貨物——都不是乾淨的 JSON。
本節要解決的問題: 這三件事 AI 能幫上忙嗎?各自要多快?人要在哪裡把關?
貳、核心概念
1. 兩個評估軸:資料形式 × 時效要求
| 時效寬鬆(分鐘到小時) | 時效嚴格(1 秒內) | |
|---|---|---|
| 純文字 / 結構化資料 | 批次報表、Email 詢價回覆 | 交易即時風控攔截 |
| 語音、影像、實體動作 | 提單 OCR、貨損照片判讀 | 即時語音談判、倉庫無人搬運車避障 |
右下角最難:資料又亂、又要快。
| 時效等級 | 大約範圍 | 例子 |
|---|---|---|
| 非即時 | 數分鐘至數小時 | Email 報價、供應商年度評鑑 |
| 近即時 | 1~3 秒 | 網站文字客服、關稅查詢 |
| 即時 | 1 秒以內,越短越好 | 電話對談、同步口譯、機器避障 |
2. 即時語音:為什麼延遲這麼要命
語言學研究發現,人類對話中輪流說話的空檔平均只有約 200 毫秒(Stivers 等人,2009,比較 10 種語言)。AI 回應如果慢上兩三秒,對方會以為斷線,或開始重複說話。
flowchart TB
subgraph A["串接式:三個模型接力(延遲累加,常達數秒)"]
A1["對方說話"] --> A2["語音轉文字"] --> A3["語言模型產生回覆"] --> A4["文字轉語音"] --> A5["播放"]
end
subgraph B["原生語音模型:直接聽、直接說(可壓到 1 秒內)"]
B1["對方音訊串流"] --> B2["語音對語音模型
邊聽邊產生"] --> B3["音訊串流播放"] end
邊聽邊產生"] --> B3["音訊串流播放"] end
| 串接式 | 原生語音模型 | |
|---|---|---|
| 延遲 | 三段相加,通常數秒 | 較低,可做到自然對話 |
| 優點 | 每段可換廠商;中間有文字可稽核 | 保留語氣、停頓,較自然 |
| 缺點 | 慢、語氣資訊在轉文字時遺失 | 較難逐字檢查;選擇較少 |
商業語音系統還要處理四件事:
| 考量 | 說明 |
|---|---|
| 插話處理 | 買家說「等等,太貴了」,系統要立刻停止說話、改為聆聽(靠語音活動偵測 VAD) |
| 術語保護 | 「FOB Keelung」「L/C at sight」這類術語容易聽錯,要提供企業術語表 |
| 語氣與禮節 | 不同市場對寒暄、直接程度的期待不同 |
| 授權邊界 | 折扣上限、付款條件、交期承諾——哪些 AI 可以說、哪些必須轉真人 |
最後一項最重要:系統聽得懂、說得快,不代表它有權答應。
3. Computer Use:讓 AI 操作沒有 API 的老系統
許多海關、銀行、報關行的系統只有網頁或桌面程式,沒有 API。Computer Use(電腦操作能力) 指的是:AI 看螢幕截圖、判斷按鈕在哪裡,再送出滑鼠與鍵盤動作,像人一樣操作畫面。Anthropic 的 Computer Use 工具、各家的瀏覽器操作 Agent 都屬於這一類。
flowchart LR
S["截圖"] --> V["視覺模型判讀
按鈕、欄位位置"] --> D["決定下一步
例:點「送出申報」"] --> Act["送出滑鼠 / 鍵盤動作"] --> Chk["再截圖確認結果"] Chk --> S
按鈕、欄位位置"] --> D["決定下一步
例:點「送出申報」"] --> Act["送出滑鼠 / 鍵盤動作"] --> Chk["再截圖確認結果"] Chk --> S
| 傳統 RPA(如 UiPath、Power Automate) | AI Computer Use | |
|---|---|---|
| 怎麼找到按鈕 | 主要靠預先錄好的元素路徑或座標 | 看畫面理解 |
| 網頁改版 | 容易失效,需要重錄 | 小幅改版通常還能辨識 |
| 意外彈窗 | 沒寫到的情況就停住 | 能讀懂內容,但也可能判斷錯 |
| 速度與成本 | 快、便宜、每次結果相同 | 較慢、每步都要呼叫模型、結果不保證每次相同 |
| 適合 | 畫面穩定、步驟固定、大量重複 | 畫面常變、步驟需要判斷 |
兩者不是誰取代誰。高頻、固定的流程,RPA 仍然比較便宜可靠;Computer Use 適合 RPA 很難維護的部分。
4. 物流感知:把實體狀態變成資料
| 應用 | 做什麼 | 商業價值 |
|---|---|---|
| 封條檢查 | 拍攝貨櫃門封條,辨識編號並比對文件,檢查是否有剪斷或更換痕跡 | 交接時就確認責任歸屬 |
| 外箱破損檢查 | 卸貨時拍照,辨識水漬、凹陷、傾倒,寫入收貨驗收紀錄 | 保險索賠有照片與時間證據 |
| 箱嘜與危險品標誌辨識 | 讀取多語品名、批號、國際海運危險品(IMDG)標誌 | 避免危險品被放進一般倉位 |
這類影像辨識常在現場的設備上直接運算(稱為「邊緣運算」),不必每張照片都上傳雲端,速度較快,也較不受網路影響。
參、應用到情境:小林的三件事
| 事件 | 適用技術 | 時效要求 | 人要在哪裡把關 |
|---|---|---|---|
| 西語電話詢價 | 即時語音翻譯,或語音 Agent 先接聽、整理需求 | 即時 | 報價金額、折扣、付款條件一律由小林確認後才承諾 |
| 老舊報關網站 | Computer Use 或 RPA 代填 | 非即時 | 送出前由人核對;先在測試帳號或少量申報試跑 |
| 外箱破損責任 | 卸貨口攝影 + 影像辨識,自動寫入驗收紀錄 | 近即時 | 有瑕疵時由倉管確認,再啟動索賠 |
注意第二件事:報關資料錯了會有法律責任。能自動填,不代表能自動送出。
肆、判斷看看:常見誤解
| 說法 | 對嗎? | 說明 |
|---|---|---|
| 「Computer Use 可以完全取代 RPA」 | 錯 | 對固定流程而言,RPA 更快、更便宜、結果更穩定 |
| 「AI 看得懂畫面,所以可以放心讓它登入網銀」 | 錯 | 畫面上可能出現惡意指示(第 13.1 節的提示注入),錯點一次就是真金白銀 |
| 「語音 Agent 只要夠快就能上線」 | 錯 | 更重要的是授權邊界與轉真人的條件 |
| 「影像辨識有 95% 準確率就夠了」 | 看情況 | 每天 2,000 箱,5% 就是 100 箱誤判;要看誤判由誰處理、成本多少 |
伍、回到情境
小林的三件事都能用 AI 改善:電話不必再拖兩天、工讀生不必每天複製貼上 3 小時、貨損有照片可索賠。但三件事有共同點:AI 負責「聽、看、填」,人負責「承諾、送出、索賠」。
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 語音 Agent 在電話中做出未授權的承諾 | 公司可能要履行 | 第 13.3 節(加拿大航空聊天機器人判決) |
| Computer Use 帳號權限過大 | 被誘導執行錯誤操作 | 第 9.2 節(權限隔離)、第 13.2 節(最小授權) |
| 影像辨識誤判 | 錯誤索賠或漏賠 | 第 10.2 節(用評估資料集量測準確率) |
本節小結
- 用「資料形式 × 時效要求」評估難度:資料越亂、時效越嚴,越難做。
- 即時對話對延遲極度敏感;原生語音模型比三段串接更自然,但較難逐字稽核。
- Computer Use 與 RPA 各有適用範圍,不是新的取代舊的。
- 實體世界的 AI 應用,最後一步的承諾與送出仍要由人負責。
陸、練習
- 算算看(5 分鐘):一家水果進口商每年因碰撞與失溫產生的索賠爭議約 US$ 200 萬。導入卸貨口影像檢查,一次性成本 US$ 15 萬、每年維運 US$ 2 萬。假設能讓爭議損失減少 20%,每年淨效益多少?幾個月回本?如果只減少 5% 呢?
- 寫授權規格(20 分鐘):公司打算讓語音 Agent 接聽海外詢價電話。請仿照第 1.1 節的「說法 → 追問 → 規格」表,至少寫出 5 條:Agent 能報的價格範圍、能給的折扣上限、不能承諾的條款,以及哪些情況必須立刻轉接真人。
- 管理反思(討論):如果讓 AI 自動登入海關申報系統代填資料,可能有哪些資安與法律風險?你會怎麼設計「誰可以按送出」?