14.2 商業模型與 Harness 的共同演進飛輪

學完本節,你能夠:

  1. 正確說明 Sutton〈苦澀的教訓〉與 Brooks〈沒有銀彈〉各自的主張,以及兩者如何互補。
  2. 把一套 Harness 規則分成「補模型能力的」與「表達商業意志的」兩類,判斷哪些會隨模型升級而淘汰。
  3. 評估「Agent 自己生成規則」這類設計的好處與必要的管控。

壹、開場情境:三個月的心血,一次升級就沒用了

📌 以下為教學情境(依實務改編)。

一家貨代公司用 AI 讀取海運提單,自動建檔。早期的模型常把品名拼錯、把欄位對錯,工程團隊花了三個月,寫了數千行修正規則:「ELECTRNIC 改成 ELECTRONIC」「若毛重欄出現英文字母則重試三次」……

半年後換上新一代模型,辨識正確率大幅提升,那數千行規則幾乎不再被觸發,反而成了沒人敢刪、也沒人看得懂的技術債。

但同一套系統裡,有另一批規則一行都沒有過時:「申報價值與發票金額差異超過 5% 須人工確認」「收貨人須比對制裁名單」「毛利率低於 15% 不得自動報價」。

本節要解決的問題: 模型越來越強,哪些 Harness 會被淘汰、哪些永遠需要?經理人該把力氣花在哪裡?


貳、為什麼會這樣:兩篇經典文章

〈苦澀的教訓〉The Bitter Lesson 〈沒有銀彈〉No Silver Bullet
作者 Rich Sutton(強化學習奠基者之一,2024 年度圖靈獎得主) Fred Brooks(第 1.1 節已介紹)
年份 2019 年 3 月,個人網站短文 1986 年
核心主張 回顧 70 年 AI 研究:能善用大量運算的通用方法(搜尋與學習),長期而言最有效,而且差距很大。研究者把人類知識硬寫進系統,短期有幫助,長期會被規模化的通用方法超越 工具只能消除附屬性困難,問題本身的本質性困難不會消失
對開場的解讀 修正拼字的數千行規則,是「把人類知識硬寫進去補模型」,遲早被更強的模型取代 「差異超過 5% 要人確認」是公司的風險決策,模型再強也不會替你決定

兩者並不矛盾,它們談的是不同層次的東西:

💡 苦澀的教訓管「怎麼做」,沒有銀彈管「要做什麼」。 模型會越來越擅長「把事情做對」(讀對提單、算對數字),這是附屬性困難,會被運算吃掉。但「什麼才叫對」(毛利底線多少、誰有權放行、哪些國家不能賣)是本質性困難,永遠需要人來定義。

因此,Harness(第 9 章:約束、驗證、糾正等護欄)裡的規則可以分成兩類:

類型 目的 例子 模型升級後
補能力型 彌補模型目前做不好的事 拼字修正、JSON 格式重試、欄位對齊 📉 逐步淘汰
商業意志型 表達公司的政策、風險偏好、法律責任 毛利底線、付款雙簽、制裁名單比對、高風險話題轉真人 📌 永久保留,甚至變多

參、共同演進飛輪

flowchart LR M["模型能力提升"] --> S["補能力型規則
可以刪除"] S --> F["省下的人力
投入商業意志型規則"] F --> N["系統敢承擔
更複雜的業務"] N --> E["遇到新的邊界與風險"] E --> M style S fill:#fee2e2,stroke:#ef4444 style F fill:#dcfce7,stroke:#16a34a

飛輪的關鍵在第二步到第三步:刪掉的程式碼不是損失,而是把精力移到更有價值的地方。開場的團隊若一開始就把補能力型規則集中在一個模組、並為它建立測試(第 10.2 節的評估資料集),換模型時只要重跑測試,就能放心刪除。

經理人的時間分配

時期 團隊花最多時間在 屬於哪一種困難
早期 調整提示措辭、處理格式錯誤、重試 附屬性
框架期 串接工具、處理流程卡住 大多是附屬性
現在與未來 定義規格、設計評估資料集、訂定護欄與權責 本質性

肆、案例觀察:會「自己長韁繩」的 Agent

Hermes Agent 是 Nous Research 推出的開源 Agent 框架。中文社群作者花叔(GitHub 帳號 alchaincyf)撰寫的免費指南《Hermes Agent 橙皮書》中,整理了它的幾個特點:

特點 說明
內建學習迴圈 完成任務後回顧經驗,自動建立或改進可重複使用的技能(Skill)
多層記憶 保存使用者偏好與過去互動,下次直接沿用
多通道部署 指南中提到可接上多個通訊平台(如 Telegram、Slack、WhatsApp 等),在使用者常用的地方工作

橙皮書用了一個生動的比喻:Hermes 是「自帶韁繩,而且韁繩會自己長」的 Agent——它會把犯過的錯變成新的規則,約束未來的自己。

這正是飛輪的一個方向:部分補能力型規則,可以由 Agent 自己產生與維護,不必等工程師手寫。

但商管人要立刻追問:

Agent 自己長出的規則 可以自動生效嗎?
「這家船公司的提單日期格式是日/月/年」 ✅ 可以,屬於補能力型,錯了影響有限
「這位客戶偏好用英式拼字回信」 ✅ 可以
「這位客戶常砍價,報價時預留 5% 空間」 ⚠️ 涉及定價策略,應由業務主管確認
「MIN_MARGIN 太嚴,常常擋單,自動改成 12%」 🛑 絕對不行。商業意志型規則只能由有權限的人修改(第 1.1 節留下的問題,第 9 章與 13.2 節的權限隔離)

⚠️ 自我學習的邊界 讓 Agent 自己長韁繩,前提是它只能加嚴、不能放寬商業意志型規則,而且新規則要留紀錄、可被人審查與撤銷。否則「自我進化」就會變成「自我鬆綁」。


伍、判斷看看:這條規則會過時嗎?

以下規則都出自本書前面的章節。請判斷它屬於哪一類:

規則 類型 理由
① 毛利率 < 15% 亮紅燈(1.1) 📌 商業意志 15% 是公司的決策
② AI 回傳的 JSON 缺欄位就重試三次 📉 補能力 模型的結構化輸出能力會進步
③ 抓匯率失敗就停止並告警,不用保底值(1.3) 📌 商業意志 「寧可停,不可錯」是風險偏好
④ 把外部來信包在 untrusted 標籤內(13.1) 兩者皆有 隔離的寫法會隨模型改變,但「外部輸入不可信」的原則不變
⑤ 付款超過 US$ 50,000 需兩位主管核准(13.2) 📌 商業意志 內控與責任歸屬
⑥ 提單品名的拼字修正表 📉 補能力 開場的情境

陸、回到情境

開場的團隊可以這樣整理他們的系統:

  1. 把補能力型規則集中、加上測試;每次換模型就重跑,觸發率接近零的規則就刪除。
  2. 商業意志型規則獨立成一份清單,寫明誰訂的、誰能改、何時檢討。
  3. 省下的工程時間,投入新的商業規則,例如自動比對反傾銷稅清單。
限制 後果 在哪一節解決
很難事先判斷某條規則屬於哪一類 刪錯規則,或留下太多技術債 10.2 用評估資料集實測,而不是用猜的
Agent 自己生成的規則可能互相衝突 規則越長越亂 定期人工審查;12.3 單一真實資料源
模型升級可能讓原本正常的行為改變 舊功能悄悄壞掉 5.6 持續驗證

本節小結

  1. 〈苦澀的教訓〉:長期來看,善用運算的通用方法勝過人工寫死的知識。
  2. 〈沒有銀彈〉:工具只能消除附屬性困難,本質性困難永遠存在。
  3. Harness 規則分兩類:補能力型會被淘汰,商業意志型會永久保留。
  4. Agent 可以自己長韁繩,但只能加嚴、不能放寬商業底線,而且要可審查、可撤銷。

柒、練習

  1. 分類(5 分鐘):再從本書任選三條規則,依伍段的表格判斷類型並說明理由。
  2. 設計(20 分鐘):為一個「會自己產生規則」的報價 Agent,寫一份「規則生成政策」:哪些類型的規則可以自動生效、哪些需要誰核准、哪些絕對禁止修改。至少各列兩條。
  3. 管理反思(討論):老闆問:「既然模型每年都變強,我們現在花錢做 Harness,會不會兩年後全部白做?」請用本節的兩篇文章回答他,並估算:你們公司的 Harness 中,大約有多少比例是補能力型?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。