C.5 營運崩盤與供應鏈中斷案例(Knight Capital 4.4 億美元高頻交易災難、Healthcare.gov 委外失控、left-pad 供應鏈單點潰敗)
學完本節,你能夠:
- 說明手動部署、殘留舊程式碼、缺少緊急停止機制三者如何疊加成重大損失。
- 分析大型委外專案失敗的組織原因,並提出合約與驗收上的改善做法。
- 盤點一個系統的外部相依性,找出單點故障並提出備援方案。
開場:自動化放大了錯誤的速度
自動化讓企業用更少的人處理更多交易,但也讓錯誤以同樣的速度擴散。本節三個案例分別發生在交易系統、政府委外專案與開源軟體生態,共同點是:沒有人能在問題擴大之前把它停下來。
| 案例 | 年份 | 失控的是什麼 | 一句話教訓 |
|---|---|---|---|
| Knight Capital | 2012 | 自動交易程式 | 部署要自動化,系統要有緊急停止鍵 |
| Healthcare.gov | 2013 | 多家承包商的大型專案 | 沒有人對「整體能用」負責 |
| left-pad | 2016 | 開源套件的相依鏈 | 你依賴的東西,可能不在你的控制範圍內 |
案例一:Knight Capital——45 分鐘虧損約 4.4 億美元
事件經過
Knight Capital 是美國主要的股票造市商之一,2012 年時在紐約證交所(NYSE)上市股票的交易量占比約 17%。
為了配合 NYSE 於 2012 年 8 月 1 日啟動的「零售流動性計畫」(RLP),Knight 更新了自動下單系統 SMARS。新程式要部署到 8 台伺服器,部署由技術人員手動進行,其中一台沒有更新到。
新程式重新使用了一個舊的設定旗標。這個旗標在舊程式中,會啟動一段名為「Power Peg」的功能,這段功能 2003 年起就沒在用,但程式碼一直沒有刪除。
手動部署新程式
8 台中漏了 1 台"] --> B["8/1 開盤前
系統自動寄出警示信
沒人處理"] B --> C["09:30 開盤
漏更新的伺服器
啟動舊 Power Peg 程式"] C --> D["約 45 分鐘
154 檔股票
成交約 3.97 億股"] D --> E["稅前損失約 4.4 億美元"] style C fill:#fef9c3,stroke:#ca8a04 style E fill:#fee2e2,stroke:#ef4444
開盤後,那台伺服器不斷送出大量訂單。根據美國證券交易委員會(SEC)的調查報告:
- 約 45 分鐘內,在 154 檔股票上完成超過 400 萬筆交易、約 3.97 億股。
- 開盤前,系統其實自動寄出了 97 封與 Power Peg 有關的錯誤通知信,但沒有被視為警報處理。
- Knight 沒有一套能快速關閉問題來源的程序。工程師試圖修正時,把另外 7 台伺服器的新程式移除,結果反而讓 8 台都跑起舊邏輯,情況惡化。
Knight 最後認列約 4.4 億美元的稅前損失,資本嚴重不足。幾天後,Knight 向 Jefferies 等投資人籌得約 4 億美元緊急資金才得以存活;2012 年 12 月同意與 Getco 合併,2013 年完成。SEC 於 2013 年對 Knight 處以 1,200 萬美元罰款。
關鍵決策點
| 環節 | 實際做法 | 更好的做法 |
|---|---|---|
| 部署 | 人工逐台更新,沒有第二人複核 | 自動化部署,部署後自動比對每台版本是否一致 |
| 舊程式碼 | 停用九年但保留在系統中 | 不用的功能就刪除;旗標不重複使用 |
| 開盤前警示 | 系統寄了信,但沒人處理 | 警示要分級,重大警示要能阻止系統啟動 |
| 出事時 | 沒有既定程序,邊查邊改 | 事前定義「緊急停止」條件與權責 |
軟體工程/管理教訓
- 手動部署是可以避免的風險。 第 6.1 節的 CI/CD 與金絲雀發布,就是為了讓部署可重複、可驗證、可回復。
- 死掉的程式碼不一定是安全的。 只要還在系統裡,就可能被意外喚醒。
- 自動化系統需要「熔斷器」。 當交易量、虧損或下單速度超過門檻,系統要能自動停止,而不是等人發現(第 9.4 節)。
- 警示太多,等於沒有警示。 開盤前的 97 封信說明:沒有分級的通知會被忽略。
對應本書章節
- 5.1 軟體缺陷的巨額商業代價與測試金字塔
- 6.1 CI/CD 管線:商業敏捷性的發動機
- 9.4 糾正機制:商業熔斷器與優雅降級
- 12.4 數位內控護欄與自動化合規審查
討論題
- 如果你是 Knight 的營運長,請訂出三條「符合任一條就自動停止交易」的熔斷規則,並說明誰有權解除。
- 你的團隊每次更新 GAS 程式都是「複製貼上到每一份試算表」。這和 Knight 的部署方式有什麼相似之處?可以怎麼改善?
案例二:Healthcare.gov——沒有人對整體負責
事件經過
美國《平價醫療法案》(俗稱歐巴馬健保)於 2010 年通過,聯邦政府需建置網站 Healthcare.gov,讓民眾比較保險方案、確認補助資格並線上投保。專案由聯邦醫療保險暨補助服務中心(CMS)主導,委由數十家承包商開發(國會聽證時常被引用的數字是 55 家):
| 承包商 | 主要負責 |
|---|---|
| CGI Federal | 投保平台主系統,原始合約約 9,370 萬美元 |
| QSSI | 跨機關資料交換中樞、身分驗證 |
| 其他數十家 | 各自負責的子系統 |
2013 年 10 月 1 日網站上線,大量使用者無法註冊或登入。據國會公布的內部紀錄,上線首日只有 6 人完成投保。
問題包括:
- 整合測試太晚。 各承包商的模組分別開發,完整的端到端測試直到上線前幾週才進行,測試中已發現系統在少量使用者下就會出問題,但上線日期是政治承諾,沒有延後。
- 缺少統一的整合負責人。 CMS 自己擔任系統整合者,但缺乏管理這種規模專案的經驗;每家承包商只對自己的合約範圍負責。
- 需求很晚才確定。 部分規則因政策調整到很晚才定案,壓縮了開發與測試時間。
法案通過"] --> B["2011–2013
多家承包商
分別開發"] B --> C["2013/09
上線前幾週
才做完整測試"] C --> D["2013/10/01
上線
首日 6 人完成投保"] D --> E["2013/10 下旬
白宮組成技術搶救小組"] E --> F["2013/12
多數使用者可正常使用"] style D fill:#fee2e2,stroke:#ef4444
10 月下旬,白宮指派 Jeffrey Zients 負責搶救,並從民間科技公司(包括 Google)找來工程師組成小組,採用每日站立會議、集中追蹤問題清單、建立監控儀表板等做法。到 12 月初,網站已能讓多數使用者正常使用。這次經驗促成美國政府在 2014 年成立「美國數位服務處」(USDS)。
成本方面,CGI 的合約從原本的 9,370 萬美元增加到上線前約 2.9 億美元;美國衛生部監察長辦公室 2014 年估計,相關支出約 17 億美元,但這個數字涵蓋約 60 份合約,也包含上線後的營運費用,不只是網站建置。
關鍵決策點
| 決策 | 當時的考量 | 後果 |
|---|---|---|
| 由 CMS 自己擔任整合者 | 政府機關掌握主導權 | 缺乏大型系統整合經驗 |
| 依原定日期上線 | 政治承諾,延期代價高 | 未完成的系統直接面對全國使用者 |
| 搶救時集中由一個小組統一指揮 | 需要有人對整體負責 | 兩個月內恢復可用 |
💡 關於「人月神話」:第 1.2 節介紹的布魯克斯法則說「替延遲的專案加人,只會讓它更延遲」。Healthcare.gov 的搶救也加了人,卻成功了。差別在於:搶救小組人數精簡、目標明確、由單一窗口統一排定優先順序,而不是單純增加人力。
軟體工程/管理教訓
- 委外可以,但整合責任不能委外。 業主必須有人對「整個系統能不能用」負責。
- 整合測試要盡早、持續地做。 各模組各自沒問題,不代表接起來能用(第 5.3 節)。
- 上線日期與品質要有取捨機制。 事先定義「什麼條件不滿足就延後」或「先開放部分功能」。
- 合約設計影響行為。 依投入成本計價的合約,讓承包商缺乏控制成本的誘因;可以考慮以可驗收的里程碑與服務水準(SLA)付款。
對應本書章節
- 1.2 專案的商業經濟帳:人月神話與溝通稅
- 5.3 跨國跨系統整合測試與端到端(E2E)驗收
- 12.1 從瀑布到敏捷到 AI 原生組織
討論題
- 你的公司要委外建置一套跨國訂單系統,由三家廠商分別負責前台、庫存、金流。請設計一份驗收條款:什麼時候要做整合測試?付款要和哪些里程碑綁在一起?
- 主管說「上線日期已經對客戶宣布了,不能延」。你會提出什麼替代方案?
案例三:left-pad——11 行程式碼與整個生態系
事件經過
JavaScript 開發者常用 npm 這個套件平台下載別人寫好的程式模組(套件)。一個套件常常又依賴其他套件,形成層層的相依鏈。
left-pad 是一個很小的套件,功能是在字串左邊補上字元(例如把 "42" 補成 "00042"),完整程式只有 11 行:
module.exports = leftpad;
function leftpad (str, len, ch) {
str = String(str);
var i = -1;
if (!ch && ch !== 0) ch = ' ';
len = len - str.length;
while (++i < len) {
str = ch + str;
}
return str;
}
2016 年 3 月,通訊軟體公司 Kik 以商標為由,要求開發者 Azer Koçulu 交出他在 npm 上名為 kik 的套件名稱。Koçulu 拒絕,npm 公司後來將名稱轉給 Kik。Koçulu 不滿這個處理方式,於 3 月 22 日把自己在 npm 上的 273 個套件全部下架,其中包括 left-pad。
許多熱門工具(例如編譯工具 Babel,以及 React 相關的開發工具鏈)透過間接相依用到 left-pad,下架後,全世界大量專案在安裝套件或自動建置時失敗。約兩小時後,npm 破例將已下架的 left-pad 恢復上架。
建置工具"] --> C["中間層套件"] --> D["left-pad
11 行"] D -.->|"3/22 被下架"| X["相依鏈斷裂
建置失敗"] style D fill:#fef9c3,stroke:#ca8a04 style X fill:#fee2e2,stroke:#ef4444
事後 npm 修改規則:套件發布超過一段時間、且有其他套件依賴時,作者不能再自行下架。
關鍵決策點
| 角色 | 決策 | 帶來的問題 |
|---|---|---|
| npm 公司 | 把套件名稱轉給 Kik | 引發作者抗議 |
| 作者 | 一次下架所有套件 | 平台當時允許,影響卻遍及全球 |
| 使用者企業 | 直接從公開平台即時下載相依套件 | 沒有自己的備份,外部一斷就跟著斷 |
| npm 公司 | 破例恢復套件 | 解了燃眉之急,但引發「平台能否推翻作者決定」的爭議 |
軟體工程/管理教訓
- 相依性就是供應鏈。 你用到的每個外部套件、API、雲端服務,都是供應商。供應商可能停產、改規則或消失。
- 重要的外部依賴要有本地備份。 企業常見做法是建立內部的套件鏡像,並鎖定版本,不在建置時才臨時下載。
- 要知道自己用了什麼。 軟體物料清單(SBOM)列出系統用到的所有元件與版本,出事時才能快速查出受影響範圍。
- 小不等於不重要。 11 行的套件,影響力取決於有多少東西依賴它。
對應本書章節
- 3.2 架構模式的商業權衡(外部依賴的取捨)
- 13.4 跨國數據合規、貿易管制與 AI 監管框架(SBOM)
討論題
- 第 1.3 節的報價系統依賴一個外部匯率 API。如果這個 API 停止服務或改成收費,你的系統會怎樣?請提出兩種備援做法,並說明為什麼「抓不到就用昨天的匯率繼續報價」不是好的備援。
- 除了軟體套件,一家出口貿易公司還有哪些「很小但不可或缺」的外部依賴?請列出三個,並評估替代難度。
本節小結
- 自動化系統需要自動化的保護。 部署要自動驗證,交易要有熔斷器,警示要分級。
- 不用的程式碼要刪除。 Knight 的損失來自一段停用九年的舊功能。
- 委外不等於卸責。 Healthcare.gov 的教訓是:業主必須有人對整體負責,並盡早做整合測試。
- 外部依賴就是供應鏈風險。 要知道自己用了什麼(SBOM),重要的依賴要有備份。
練習
盤點題(20 分鐘): 選一個你常用的線上工具或課程專題,畫出它的外部相依(用了哪些服務、API、平台),用 ✅(有備援)、⚠️(有替代品但要手動切換)、🛑(完全沒有替代)標示每一項,並針對 🛑 的項目提出一個改善方案。