C.5 營運崩盤與供應鏈中斷案例(Knight Capital 4.4 億美元高頻交易災難、Healthcare.gov 委外失控、left-pad 供應鏈單點潰敗)

學完本節,你能夠:

  1. 說明手動部署、殘留舊程式碼、缺少緊急停止機制三者如何疊加成重大損失。
  2. 分析大型委外專案失敗的組織原因,並提出合約與驗收上的改善做法。
  3. 盤點一個系統的外部相依性,找出單點故障並提出備援方案。

開場:自動化放大了錯誤的速度

自動化讓企業用更少的人處理更多交易,但也讓錯誤以同樣的速度擴散。本節三個案例分別發生在交易系統、政府委外專案與開源軟體生態,共同點是:沒有人能在問題擴大之前把它停下來。

案例 年份 失控的是什麼 一句話教訓
Knight Capital 2012 自動交易程式 部署要自動化,系統要有緊急停止鍵
Healthcare.gov 2013 多家承包商的大型專案 沒有人對「整體能用」負責
left-pad 2016 開源套件的相依鏈 你依賴的東西,可能不在你的控制範圍內

案例一:Knight Capital——45 分鐘虧損約 4.4 億美元

事件經過

Knight Capital 是美國主要的股票造市商之一,2012 年時在紐約證交所(NYSE)上市股票的交易量占比約 17%。

為了配合 NYSE 於 2012 年 8 月 1 日啟動的「零售流動性計畫」(RLP),Knight 更新了自動下單系統 SMARS。新程式要部署到 8 台伺服器,部署由技術人員手動進行,其中一台沒有更新到。

新程式重新使用了一個舊的設定旗標。這個旗標在舊程式中,會啟動一段名為「Power Peg」的功能,這段功能 2003 年起就沒在用,但程式碼一直沒有刪除。

flowchart LR A["7/27 起
手動部署新程式
8 台中漏了 1 台"] --> B["8/1 開盤前
系統自動寄出警示信
沒人處理"] B --> C["09:30 開盤
漏更新的伺服器
啟動舊 Power Peg 程式"] C --> D["約 45 分鐘
154 檔股票
成交約 3.97 億股"] D --> E["稅前損失約 4.4 億美元"] style C fill:#fef9c3,stroke:#ca8a04 style E fill:#fee2e2,stroke:#ef4444

開盤後,那台伺服器不斷送出大量訂單。根據美國證券交易委員會(SEC)的調查報告:

  • 約 45 分鐘內,在 154 檔股票上完成超過 400 萬筆交易、約 3.97 億股。
  • 開盤前,系統其實自動寄出了 97 封與 Power Peg 有關的錯誤通知信,但沒有被視為警報處理。
  • Knight 沒有一套能快速關閉問題來源的程序。工程師試圖修正時,把另外 7 台伺服器的新程式移除,結果反而讓 8 台都跑起舊邏輯,情況惡化。

Knight 最後認列約 4.4 億美元的稅前損失,資本嚴重不足。幾天後,Knight 向 Jefferies 等投資人籌得約 4 億美元緊急資金才得以存活;2012 年 12 月同意與 Getco 合併,2013 年完成。SEC 於 2013 年對 Knight 處以 1,200 萬美元罰款。

關鍵決策點

環節 實際做法 更好的做法
部署 人工逐台更新,沒有第二人複核 自動化部署,部署後自動比對每台版本是否一致
舊程式碼 停用九年但保留在系統中 不用的功能就刪除;旗標不重複使用
開盤前警示 系統寄了信,但沒人處理 警示要分級,重大警示要能阻止系統啟動
出事時 沒有既定程序,邊查邊改 事前定義「緊急停止」條件與權責

軟體工程/管理教訓

  1. 手動部署是可以避免的風險。 第 6.1 節的 CI/CD 與金絲雀發布,就是為了讓部署可重複、可驗證、可回復。
  2. 死掉的程式碼不一定是安全的。 只要還在系統裡,就可能被意外喚醒。
  3. 自動化系統需要「熔斷器」。 當交易量、虧損或下單速度超過門檻,系統要能自動停止,而不是等人發現(第 9.4 節)。
  4. 警示太多,等於沒有警示。 開盤前的 97 封信說明:沒有分級的通知會被忽略。

對應本書章節

  • 5.1 軟體缺陷的巨額商業代價與測試金字塔
  • 6.1 CI/CD 管線:商業敏捷性的發動機
  • 9.4 糾正機制:商業熔斷器與優雅降級
  • 12.4 數位內控護欄與自動化合規審查

討論題

  1. 如果你是 Knight 的營運長,請訂出三條「符合任一條就自動停止交易」的熔斷規則,並說明誰有權解除。
  2. 你的團隊每次更新 GAS 程式都是「複製貼上到每一份試算表」。這和 Knight 的部署方式有什麼相似之處?可以怎麼改善?

案例二:Healthcare.gov——沒有人對整體負責

事件經過

美國《平價醫療法案》(俗稱歐巴馬健保)於 2010 年通過,聯邦政府需建置網站 Healthcare.gov,讓民眾比較保險方案、確認補助資格並線上投保。專案由聯邦醫療保險暨補助服務中心(CMS)主導,委由數十家承包商開發(國會聽證時常被引用的數字是 55 家):

承包商 主要負責
CGI Federal 投保平台主系統,原始合約約 9,370 萬美元
QSSI 跨機關資料交換中樞、身分驗證
其他數十家 各自負責的子系統

2013 年 10 月 1 日網站上線,大量使用者無法註冊或登入。據國會公布的內部紀錄,上線首日只有 6 人完成投保。

問題包括:

  1. 整合測試太晚。 各承包商的模組分別開發,完整的端到端測試直到上線前幾週才進行,測試中已發現系統在少量使用者下就會出問題,但上線日期是政治承諾,沒有延後。
  2. 缺少統一的整合負責人。 CMS 自己擔任系統整合者,但缺乏管理這種規模專案的經驗;每家承包商只對自己的合約範圍負責。
  3. 需求很晚才確定。 部分規則因政策調整到很晚才定案,壓縮了開發與測試時間。
flowchart LR A["2010
法案通過"] --> B["2011–2013
多家承包商
分別開發"] B --> C["2013/09
上線前幾週
才做完整測試"] C --> D["2013/10/01
上線
首日 6 人完成投保"] D --> E["2013/10 下旬
白宮組成技術搶救小組"] E --> F["2013/12
多數使用者可正常使用"] style D fill:#fee2e2,stroke:#ef4444

10 月下旬,白宮指派 Jeffrey Zients 負責搶救,並從民間科技公司(包括 Google)找來工程師組成小組,採用每日站立會議、集中追蹤問題清單、建立監控儀表板等做法。到 12 月初,網站已能讓多數使用者正常使用。這次經驗促成美國政府在 2014 年成立「美國數位服務處」(USDS)。

成本方面,CGI 的合約從原本的 9,370 萬美元增加到上線前約 2.9 億美元;美國衛生部監察長辦公室 2014 年估計,相關支出約 17 億美元,但這個數字涵蓋約 60 份合約,也包含上線後的營運費用,不只是網站建置。

關鍵決策點

決策 當時的考量 後果
由 CMS 自己擔任整合者 政府機關掌握主導權 缺乏大型系統整合經驗
依原定日期上線 政治承諾,延期代價高 未完成的系統直接面對全國使用者
搶救時集中由一個小組統一指揮 需要有人對整體負責 兩個月內恢復可用

💡 關於「人月神話」:第 1.2 節介紹的布魯克斯法則說「替延遲的專案加人,只會讓它更延遲」。Healthcare.gov 的搶救也加了人,卻成功了。差別在於:搶救小組人數精簡、目標明確、由單一窗口統一排定優先順序,而不是單純增加人力。

軟體工程/管理教訓

  1. 委外可以,但整合責任不能委外。 業主必須有人對「整個系統能不能用」負責。
  2. 整合測試要盡早、持續地做。 各模組各自沒問題,不代表接起來能用(第 5.3 節)。
  3. 上線日期與品質要有取捨機制。 事先定義「什麼條件不滿足就延後」或「先開放部分功能」。
  4. 合約設計影響行為。 依投入成本計價的合約,讓承包商缺乏控制成本的誘因;可以考慮以可驗收的里程碑與服務水準(SLA)付款。

對應本書章節

  • 1.2 專案的商業經濟帳:人月神話與溝通稅
  • 5.3 跨國跨系統整合測試與端到端(E2E)驗收
  • 12.1 從瀑布到敏捷到 AI 原生組織

討論題

  1. 你的公司要委外建置一套跨國訂單系統,由三家廠商分別負責前台、庫存、金流。請設計一份驗收條款:什麼時候要做整合測試?付款要和哪些里程碑綁在一起?
  2. 主管說「上線日期已經對客戶宣布了,不能延」。你會提出什麼替代方案?

案例三:left-pad——11 行程式碼與整個生態系

事件經過

JavaScript 開發者常用 npm 這個套件平台下載別人寫好的程式模組(套件)。一個套件常常又依賴其他套件,形成層層的相依鏈。

left-pad 是一個很小的套件,功能是在字串左邊補上字元(例如把 "42" 補成 "00042"),完整程式只有 11 行:

module.exports = leftpad;
function leftpad (str, len, ch) {
  str = String(str);
  var i = -1;
  if (!ch && ch !== 0) ch = ' ';
  len = len - str.length;
  while (++i < len) {
    str = ch + str;
  }
  return str;
}

2016 年 3 月,通訊軟體公司 Kik 以商標為由,要求開發者 Azer Koçulu 交出他在 npm 上名為 kik 的套件名稱。Koçulu 拒絕,npm 公司後來將名稱轉給 Kik。Koçulu 不滿這個處理方式,於 3 月 22 日把自己在 npm 上的 273 個套件全部下架,其中包括 left-pad。

許多熱門工具(例如編譯工具 Babel,以及 React 相關的開發工具鏈)透過間接相依用到 left-pad,下架後,全世界大量專案在安裝套件或自動建置時失敗。約兩小時後,npm 破例將已下架的 left-pad 恢復上架。

flowchart LR A["你的專案"] --> B["Babel 等
建置工具"] --> C["中間層套件"] --> D["left-pad
11 行"] D -.->|"3/22 被下架"| X["相依鏈斷裂
建置失敗"] style D fill:#fef9c3,stroke:#ca8a04 style X fill:#fee2e2,stroke:#ef4444

事後 npm 修改規則:套件發布超過一段時間、且有其他套件依賴時,作者不能再自行下架。

關鍵決策點

角色 決策 帶來的問題
npm 公司 把套件名稱轉給 Kik 引發作者抗議
作者 一次下架所有套件 平台當時允許,影響卻遍及全球
使用者企業 直接從公開平台即時下載相依套件 沒有自己的備份,外部一斷就跟著斷
npm 公司 破例恢復套件 解了燃眉之急,但引發「平台能否推翻作者決定」的爭議

軟體工程/管理教訓

  1. 相依性就是供應鏈。 你用到的每個外部套件、API、雲端服務,都是供應商。供應商可能停產、改規則或消失。
  2. 重要的外部依賴要有本地備份。 企業常見做法是建立內部的套件鏡像,並鎖定版本,不在建置時才臨時下載。
  3. 要知道自己用了什麼。 軟體物料清單(SBOM)列出系統用到的所有元件與版本,出事時才能快速查出受影響範圍。
  4. 小不等於不重要。 11 行的套件,影響力取決於有多少東西依賴它。

對應本書章節

  • 3.2 架構模式的商業權衡(外部依賴的取捨)
  • 13.4 跨國數據合規、貿易管制與 AI 監管框架(SBOM)

討論題

  1. 第 1.3 節的報價系統依賴一個外部匯率 API。如果這個 API 停止服務或改成收費,你的系統會怎樣?請提出兩種備援做法,並說明為什麼「抓不到就用昨天的匯率繼續報價」不是好的備援。
  2. 除了軟體套件,一家出口貿易公司還有哪些「很小但不可或缺」的外部依賴?請列出三個,並評估替代難度。

本節小結

  1. 自動化系統需要自動化的保護。 部署要自動驗證,交易要有熔斷器,警示要分級。
  2. 不用的程式碼要刪除。 Knight 的損失來自一段停用九年的舊功能。
  3. 委外不等於卸責。 Healthcare.gov 的教訓是:業主必須有人對整體負責,並盡早做整合測試。
  4. 外部依賴就是供應鏈風險。 要知道自己用了什麼(SBOM),重要的依賴要有備份。

練習

盤點題(20 分鐘): 選一個你常用的線上工具或課程專題,畫出它的外部相依(用了哪些服務、API、平台),用 ✅(有備援)、⚠️(有替代品但要手動切換)、🛑(完全沒有替代)標示每一項,並針對 🛑 的項目提出一個改善方案。

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。