14.2 商業模型與 Harness 的共同演進飛輪
學完本節,你能夠:
- 正確說明 Sutton〈苦澀的教訓〉與 Brooks〈沒有銀彈〉各自的主張,以及兩者如何互補。
- 把一套 Harness 規則分成「補模型能力的」與「表達商業意志的」兩類,判斷哪些會隨模型升級而淘汰。
- 評估「Agent 自己生成規則」這類設計的好處與必要的管控。
壹、開場情境:三個月的心血,一次升級就沒用了
📌 以下為教學情境(依實務改編)。
一家貨代公司用 AI 讀取海運提單,自動建檔。早期的模型常把品名拼錯、把欄位對錯,工程團隊花了三個月,寫了數千行修正規則:「ELECTRNIC 改成 ELECTRONIC」「若毛重欄出現英文字母則重試三次」……
半年後換上新一代模型,辨識正確率大幅提升,那數千行規則幾乎不再被觸發,反而成了沒人敢刪、也沒人看得懂的技術債。
但同一套系統裡,有另一批規則一行都沒有過時:「申報價值與發票金額差異超過 5% 須人工確認」「收貨人須比對制裁名單」「毛利率低於 15% 不得自動報價」。
本節要解決的問題: 模型越來越強,哪些 Harness 會被淘汰、哪些永遠需要?經理人該把力氣花在哪裡?
貳、為什麼會這樣:兩篇經典文章
| 〈苦澀的教訓〉The Bitter Lesson | 〈沒有銀彈〉No Silver Bullet | |
|---|---|---|
| 作者 | Rich Sutton(強化學習奠基者之一,2024 年度圖靈獎得主) | Fred Brooks(第 1.1 節已介紹) |
| 年份 | 2019 年 3 月,個人網站短文 | 1986 年 |
| 核心主張 | 回顧 70 年 AI 研究:能善用大量運算的通用方法(搜尋與學習),長期而言最有效,而且差距很大。研究者把人類知識硬寫進系統,短期有幫助,長期會被規模化的通用方法超越 | 工具只能消除附屬性困難,問題本身的本質性困難不會消失 |
| 對開場的解讀 | 修正拼字的數千行規則,是「把人類知識硬寫進去補模型」,遲早被更強的模型取代 | 「差異超過 5% 要人確認」是公司的風險決策,模型再強也不會替你決定 |
兩者並不矛盾,它們談的是不同層次的東西:
💡 苦澀的教訓管「怎麼做」,沒有銀彈管「要做什麼」。 模型會越來越擅長「把事情做對」(讀對提單、算對數字),這是附屬性困難,會被運算吃掉。但「什麼才叫對」(毛利底線多少、誰有權放行、哪些國家不能賣)是本質性困難,永遠需要人來定義。
因此,Harness(第 9 章:約束、驗證、糾正等護欄)裡的規則可以分成兩類:
| 類型 | 目的 | 例子 | 模型升級後 |
|---|---|---|---|
| 補能力型 | 彌補模型目前做不好的事 | 拼字修正、JSON 格式重試、欄位對齊 | 📉 逐步淘汰 |
| 商業意志型 | 表達公司的政策、風險偏好、法律責任 | 毛利底線、付款雙簽、制裁名單比對、高風險話題轉真人 | 📌 永久保留,甚至變多 |
參、共同演進飛輪
可以刪除"] S --> F["省下的人力
投入商業意志型規則"] F --> N["系統敢承擔
更複雜的業務"] N --> E["遇到新的邊界與風險"] E --> M style S fill:#fee2e2,stroke:#ef4444 style F fill:#dcfce7,stroke:#16a34a
飛輪的關鍵在第二步到第三步:刪掉的程式碼不是損失,而是把精力移到更有價值的地方。開場的團隊若一開始就把補能力型規則集中在一個模組、並為它建立測試(第 10.2 節的評估資料集),換模型時只要重跑測試,就能放心刪除。
經理人的時間分配
| 時期 | 團隊花最多時間在 | 屬於哪一種困難 |
|---|---|---|
| 早期 | 調整提示措辭、處理格式錯誤、重試 | 附屬性 |
| 框架期 | 串接工具、處理流程卡住 | 大多是附屬性 |
| 現在與未來 | 定義規格、設計評估資料集、訂定護欄與權責 | 本質性 |
肆、案例觀察:會「自己長韁繩」的 Agent
Hermes Agent 是 Nous Research 推出的開源 Agent 框架。中文社群作者花叔(GitHub 帳號 alchaincyf)撰寫的免費指南《Hermes Agent 橙皮書》中,整理了它的幾個特點:
| 特點 | 說明 |
|---|---|
| 內建學習迴圈 | 完成任務後回顧經驗,自動建立或改進可重複使用的技能(Skill) |
| 多層記憶 | 保存使用者偏好與過去互動,下次直接沿用 |
| 多通道部署 | 指南中提到可接上多個通訊平台(如 Telegram、Slack、WhatsApp 等),在使用者常用的地方工作 |
橙皮書用了一個生動的比喻:Hermes 是「自帶韁繩,而且韁繩會自己長」的 Agent——它會把犯過的錯變成新的規則,約束未來的自己。
這正是飛輪的一個方向:部分補能力型規則,可以由 Agent 自己產生與維護,不必等工程師手寫。
但商管人要立刻追問:
| Agent 自己長出的規則 | 可以自動生效嗎? |
|---|---|
| 「這家船公司的提單日期格式是日/月/年」 | ✅ 可以,屬於補能力型,錯了影響有限 |
| 「這位客戶偏好用英式拼字回信」 | ✅ 可以 |
| 「這位客戶常砍價,報價時預留 5% 空間」 | ⚠️ 涉及定價策略,應由業務主管確認 |
「MIN_MARGIN 太嚴,常常擋單,自動改成 12%」 |
🛑 絕對不行。商業意志型規則只能由有權限的人修改(第 1.1 節留下的問題,第 9 章與 13.2 節的權限隔離) |
⚠️ 自我學習的邊界 讓 Agent 自己長韁繩,前提是它只能加嚴、不能放寬商業意志型規則,而且新規則要留紀錄、可被人審查與撤銷。否則「自我進化」就會變成「自我鬆綁」。
伍、判斷看看:這條規則會過時嗎?
以下規則都出自本書前面的章節。請判斷它屬於哪一類:
| 規則 | 類型 | 理由 |
|---|---|---|
| ① 毛利率 < 15% 亮紅燈(1.1) | 📌 商業意志 | 15% 是公司的決策 |
| ② AI 回傳的 JSON 缺欄位就重試三次 | 📉 補能力 | 模型的結構化輸出能力會進步 |
| ③ 抓匯率失敗就停止並告警,不用保底值(1.3) | 📌 商業意志 | 「寧可停,不可錯」是風險偏好 |
| ④ 把外部來信包在 untrusted 標籤內(13.1) | 兩者皆有 | 隔離的寫法會隨模型改變,但「外部輸入不可信」的原則不變 |
| ⑤ 付款超過 US$ 50,000 需兩位主管核准(13.2) | 📌 商業意志 | 內控與責任歸屬 |
| ⑥ 提單品名的拼字修正表 | 📉 補能力 | 開場的情境 |
陸、回到情境
開場的團隊可以這樣整理他們的系統:
- 把補能力型規則集中、加上測試;每次換模型就重跑,觸發率接近零的規則就刪除。
- 商業意志型規則獨立成一份清單,寫明誰訂的、誰能改、何時檢討。
- 省下的工程時間,投入新的商業規則,例如自動比對反傾銷稅清單。
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 很難事先判斷某條規則屬於哪一類 | 刪錯規則,或留下太多技術債 | 10.2 用評估資料集實測,而不是用猜的 |
| Agent 自己生成的規則可能互相衝突 | 規則越長越亂 | 定期人工審查;12.3 單一真實資料源 |
| 模型升級可能讓原本正常的行為改變 | 舊功能悄悄壞掉 | 5.6 持續驗證 |
本節小結
- 〈苦澀的教訓〉:長期來看,善用運算的通用方法勝過人工寫死的知識。
- 〈沒有銀彈〉:工具只能消除附屬性困難,本質性困難永遠存在。
- Harness 規則分兩類:補能力型會被淘汰,商業意志型會永久保留。
- Agent 可以自己長韁繩,但只能加嚴、不能放寬商業底線,而且要可審查、可撤銷。
柒、練習
- 分類(5 分鐘):再從本書任選三條規則,依伍段的表格判斷類型並說明理由。
- 設計(20 分鐘):為一個「會自己產生規則」的報價 Agent,寫一份「規則生成政策」:哪些類型的規則可以自動生效、哪些需要誰核准、哪些絕對禁止修改。至少各列兩條。
- 管理反思(討論):老闆問:「既然模型每年都變強,我們現在花錢做 Harness,會不會兩年後全部白做?」請用本節的兩篇文章回答他,並估算:你們公司的 Harness 中,大約有多少比例是補能力型?