C.3 系統缺陷與巨額商業代價(Therac-25、火星探測器計量失誤、Ariane 5 程式重用災難)
學完本節,你能夠:
- 說明「把安全防護全部交給軟體」的風險,並指出哪些商業決策需要軟體以外的獨立防線。
- 解釋「介面契約」為什麼要明確寫出單位、格式與範圍,以及只寫在規格書上為什麼不夠。
- 判斷一段「過去用得好好的」程式或規則,搬到新環境前需要重新檢查哪些邊界條件。
開場:小錯誤,大代價
本節三個案例的直接原因都很「小」:一個時間差、一個單位、一個數字轉換。但它們分別造成了病人死亡、太空船失聯、火箭爆炸。
這些事件都發生在航太與醫療領域,但道理完全適用於商業系統:報價系統把「含稅」當「未稅」、匯率欄位把「每 1 美元」當「每 100 美元」,錯誤的性質是一樣的。
| 案例 | 年份 | 直接原因 | 核心教訓 |
|---|---|---|---|
| Therac-25 | 1985–1987 | 軟體競態條件,且拿掉了硬體安全裝置 | 安全不能只靠軟體 |
| 火星氣候軌道器 | 1999 | 英制與公制單位混用 | 介面契約要寫明單位,並且要被檢查 |
| Ariane 5 首飛 | 1996 | 舊程式在新火箭上數值溢位 | 重用程式前要重新檢查邊界 |
案例一:Therac-25——拿掉硬體保險的放射治療機
事件經過
Therac-25 是加拿大原子能有限公司(AECL)製造的放射治療機,可切換兩種模式:
- 電子束模式(E):低電流,直接照射。
- X 光模式(X):高電流電子束打在金屬靶上產生 X 光,靶與濾片會把能量大幅削減後才照到病人。
前一代機型 Therac-20 有機械式硬體互鎖:就算軟體出錯,實體裝置也會阻止危險照射。Therac-25 則移除了這些硬體互鎖,安全檢查改由軟體負責。
1985 到 1987 年間,美國與加拿大至少發生 6 起嚴重過量照射事故,至少 3 名病人因此死亡,劑量超出正常值數十到上百倍。
修改沒有被偵測到 S->>M: 以高電流照射,但靶不在路徑上 M-->>O: 顯示 MALFUNCTION 54 Note over O: 訊息沒有說明意義
操作員按下繼續
調查發現至少兩個軟體缺陷:
- 競態條件(Race Condition):兩件事的先後順序沒有被控制好,結果就取決於「誰先發生」。熟練的操作員打字很快,在機器設定完成前修改了模式,軟體沒有偵測到修改。
- 計數器溢位:某個安全檢查用的旗標變數是用「累加」而不是「設定為固定值」,累加到上限後會歸零,導致安全檢查在特定時刻被跳過。
另一個關鍵:Therac-20 其實也有類似的軟體缺陷,但硬體互鎖會在危險時燒斷保險絲,所以從未傷人。Therac-25 拿掉硬體互鎖後,同樣的缺陷就變成致命事故。
關鍵決策點
| 決策 | 當時的理由 | 實際後果 |
|---|---|---|
| 移除硬體互鎖,改用軟體檢查 | 降低成本、簡化設計,且舊軟體「用了很久沒出事」 | 軟體缺陷失去最後一道防線 |
| 錯誤訊息只顯示代碼(MALFUNCTION 54) | 介面簡潔 | 操作員不知道嚴重性,習慣性按繼續 |
| 初期事故報告時,廠商認為機器不可能過量照射 | 相信軟體已經過驗證 | 問題延誤處理,事故重複發生 |
軟體工程/管理教訓
- 高風險決策要有獨立於軟體之外的防線。 在商業系統中,這相當於大額付款需要第二人核准、資金系統設定硬性上限,而不是只相信程式「應該不會錯」。
- 「舊軟體沒出事」不代表它沒有缺陷。 可能只是另一道防線一直在默默擋住它。
- 錯誤訊息要讓使用者知道該做什麼。 只有代碼的錯誤訊息,等於訓練使用者忽略它。
對應本書章節
- 9.2 約束機制:Fail-Safe 預設安全與權限隔離
- 13.2 資金權限雙簽、最小授權與工具安全
討論題
- 公司打算讓 AI 自動審核並核准 NT$ 50,000 以下的採購單,取消人工覆核。請用 Therac-25 的經驗,提出至少兩道「不依賴 AI 判斷」的防線。
- 你用過的系統中,有沒有只顯示錯誤代碼、讓人看不懂的錯誤訊息?請改寫成一個「讓使用者知道該做什麼」的版本。
案例二:火星氣候軌道器——單位沒對上
事件經過
美國太空總署(NASA)的火星氣候軌道器(Mars Climate Orbiter)於 1998 年 12 月發射,任務是研究火星大氣。它與姊妹任務「火星極地登陸者」合計的開發、發射與營運成本約 3.27 億美元。
1999 年 9 月 23 日,軌道器抵達火星、點火進入軌道後,就再也沒有恢復通訊。
調查發現:
- 承包商洛克希德·馬丁(Lockheed Martin)的地面軟體,計算推進器衝量時輸出的是英制單位磅力·秒(lbf·s)。
- NASA 噴射推進實驗室(JPL)的導航軟體,預期收到的是公制單位牛頓·秒(N·s)。
- 1 磅力·秒 ≈ 4.45 牛頓·秒,所以每一筆資料都差了約 4.45 倍。
- 雙方的軟體介面規格其實已經要求使用公制,但輸出的程式沒有遵守,整合時也沒有被檢查出來。
航行途中的小誤差不斷累積,軌道器最後以約 57 公里的高度通過火星,遠低於約 80 公里的安全下限,推測在大氣中解體或偏離軌道。
地面軟體
輸出 lbf·s"] -->|"檔案只有數字
沒有標示單位"| B["JPL 導航軟體
當成 N·s 使用"] B --> C["每筆誤差約 4.45 倍
九個多月持續累積"] C --> D["以約 57 公里高度
通過火星
任務失敗"] style D fill:#fee2e2,stroke:#ef4444
關鍵決策點
這個案例的決策點不是「要不要用公制」——規格早就寫了。真正的決策點是:
| 環節 | 實際做法 | 應該怎麼做 |
|---|---|---|
| 介面規格 | 寫在文件裡 | 寫進資料本身(欄位名稱或格式帶單位) |
| 整合測試 | 沒有驗證這份檔案的數值是否合理 | 用已知答案的測試資料,跑完整流程比對 |
| 航行中的異常 | 導航人員曾察覺軌道有偏差,但沒有升級成正式調查 | 異常要有明確的通報與處理流程 |
軟體工程/管理教訓
- 規格寫了不等於被遵守。 要讓系統自動檢查,例如欄位名稱寫成
impulse_Ns,或用第 2.6 節的 OpenAPI 介面契約限定格式。 - 跨組織的資料交換最容易出錯。 兩邊各自測試都沒問題,接在一起才出錯,這正是第 5.3 節「整合測試」要處理的問題。
- 商業上的同類錯誤:公噸與短噸、含稅與未稅、千元與元、月利率與年利率。只要資料跨部門、跨公司、跨國家,就要問「單位是什麼?誰負責檢查?」
對應本書章節
- 2.6 Spec-Driven Development:商管人的可執行規格
- 3.3 API 經濟學與 ACI 商業介面設計
- 5.3 跨國跨系統整合測試與端到端(E2E)驗收
討論題
- 台灣出口商把報價單傳給美國代理商的系統,請列出至少三個可能「數字對、單位錯」的欄位,並說明如何讓系統自動擋下錯誤。
- 航行中已有人察覺軌道偏差,為什麼沒有被正式處理?組織要怎麼設計,才能讓「小異常」被認真對待?
案例三:Ariane 5 首飛——搬過來的舊程式
事件經過
1996 年 6 月 4 日,歐洲太空總署的新一代火箭 Ariane 5 進行首飛(Flight 501),搭載 4 顆科學衛星(Cluster 任務)。升空約 37 秒後,火箭在約 3,700 公尺高度偏離航道並解體,損失超過 3.7 億美元(各方估計不一)。
問題出在慣性參考系統(SRI)的軟體,這套軟體沿用自前一代 Ariane 4:
- 程式中有一段要把一個 64 位元浮點數(水平速度相關的數值)轉成 16 位元有號整數。16 位元有號整數最大只能存 32,767。
- Ariane 5 的飛行軌跡與 Ariane 4 不同,水平速度累積得快很多(調查報告指出水平速度明顯高於 Ariane 4),數值超過上限,發生數值溢位。
- 為了控制電腦負載,工程師當初只替 7 個可能溢位的變數中的 4 個加上保護,這個變數沒有保護,因為依 Ariane 4 的飛行資料分析,它不可能超過上限。
- 備援的 SRI 跑的是完全相同的程式,約 0.07 秒前就已經因為同樣原因故障。
- 主電腦把故障診斷資料當成飛行資料解讀,下達錯誤的轉向指令,火箭姿態失控而解體。
更諷刺的是:出錯的這段功能只在發射前有用,對 Ariane 5 升空後完全沒有用途,只是因為 Ariane 4 的需求而繼續執行。
多年飛行沒出事"] --> B["原封不動用在 Ariane 5
沒有用新軌跡資料測試"] B --> C["水平速度數值
超過 16 位元上限 32,767"] C --> D["主、備援 SRI
同時因相同錯誤故障"] D --> E["升空約 37 秒
火箭解體"] style E fill:#fee2e2,stroke:#ef4444
關鍵決策點
| 決策 | 當時的理由 | 漏掉的問題 |
|---|---|---|
| 沿用 Ariane 4 的 SRI 軟體 | 已驗證過、節省成本 | Ariane 5 的飛行條件不同 |
| 不替這個變數加溢位保護 | 依 Ariane 4 資料分析不會超過上限 | 這個「假設」沒有在新火箭上重新驗證 |
| 備援系統使用相同軟體 | 防硬體故障 | 防不了軟體設計錯誤 |
| 沒用 Ariane 5 軌跡做完整模擬測試 | 認為沿用的模組不需要 | 錯誤要到真正飛行才會出現 |
軟體工程/管理教訓
- 重用程式時,也重用了它的假設。 舊程式「沒出過事」是在舊環境中成立的;環境一變,要重新確認每一個邊界值。
- 備援要「不一樣」才有用。 兩台跑同樣程式的電腦,會在同一個時刻犯同樣的錯。
- 不需要的功能要關掉。 沒用到的程式碼仍然可能出錯(C.5 的 Knight Capital 也是同類問題)。
- 商業版本:把在台灣跑得好的定價規則直接套到東南亞市場,若沒檢查當地的匯率波動幅度、稅率級距、金額位數,就可能在新環境「溢位」。
對應本書章節
- 2.4 商業邊界條件與極端情境
- 5.2 測試驅動思維(TDD)與商業驗收測試(BDD)
- 5.4 AI 自動生成商業極端測試案例
討論題
- 你的公司把一套在台灣使用的訂單系統搬到印尼使用。印尼盾的金額位數比台幣多很多(1 新台幣約可換數百印尼盾)。請列出三個可能「溢位」或出錯的欄位,以及要怎麼測試。
- 「備援系統」在商業上有哪些例子(例如備用供應商、備用金流)?怎麼確保備援真的「不一樣」,不會跟主系統一起失效?
本節小結
- 安全不能只靠軟體。 Therac-25 移除硬體互鎖後,原本被擋住的軟體缺陷變成致命事故。
- 介面契約要能被自動檢查。 火星氣候軌道器的規格寫了公制,但沒有任何機制確保被遵守。
- 重用程式就是重用假設。 Ariane 5 的程式在舊火箭上正確,在新火箭上溢位。
- 三個案例的共同點:錯誤本身很小,缺的是能及時攔下它的設計與流程。
練習
判斷題(討論): 第 1.1 節的報價毛利檢查系統,如果有人把「今日匯率」欄位填成「每 100 歐元的台幣金額」(例如 3,150 而不是 31.5),系統會怎麼判斷?這屬於本節哪一個案例的同類錯誤?你會加上什麼檢查來攔住它?