C.3 系統缺陷與巨額商業代價(Therac-25、火星探測器計量失誤、Ariane 5 程式重用災難)

學完本節,你能夠:

  1. 說明「把安全防護全部交給軟體」的風險,並指出哪些商業決策需要軟體以外的獨立防線。
  2. 解釋「介面契約」為什麼要明確寫出單位、格式與範圍,以及只寫在規格書上為什麼不夠。
  3. 判斷一段「過去用得好好的」程式或規則,搬到新環境前需要重新檢查哪些邊界條件。

開場:小錯誤,大代價

本節三個案例的直接原因都很「小」:一個時間差、一個單位、一個數字轉換。但它們分別造成了病人死亡、太空船失聯、火箭爆炸。

這些事件都發生在航太與醫療領域,但道理完全適用於商業系統:報價系統把「含稅」當「未稅」、匯率欄位把「每 1 美元」當「每 100 美元」,錯誤的性質是一樣的。

案例 年份 直接原因 核心教訓
Therac-25 1985–1987 軟體競態條件,且拿掉了硬體安全裝置 安全不能只靠軟體
火星氣候軌道器 1999 英制與公制單位混用 介面契約要寫明單位,並且要被檢查
Ariane 5 首飛 1996 舊程式在新火箭上數值溢位 重用程式前要重新檢查邊界

案例一:Therac-25——拿掉硬體保險的放射治療機

事件經過

Therac-25 是加拿大原子能有限公司(AECL)製造的放射治療機,可切換兩種模式:

  • 電子束模式(E):低電流,直接照射。
  • X 光模式(X):高電流電子束打在金屬靶上產生 X 光,靶與濾片會把能量大幅削減後才照到病人。

前一代機型 Therac-20 有機械式硬體互鎖:就算軟體出錯,實體裝置也會阻止危險照射。Therac-25 則移除了這些硬體互鎖,安全檢查改由軟體負責。

1985 到 1987 年間,美國與加拿大至少發生 6 起嚴重過量照射事故,至少 3 名病人因此死亡,劑量超出正常值數十到上百倍。

sequenceDiagram participant O as 操作員 participant S as 控制軟體 participant M as 機器硬體 O->>S: 輸入 X(X 光模式) S->>M: 開始設定高電流(約需 8 秒) O->>S: 8 秒內改成 E(電子束模式)並確認 Note over S: 設定程序尚未結束
修改沒有被偵測到 S->>M: 以高電流照射,但靶不在路徑上 M-->>O: 顯示 MALFUNCTION 54 Note over O: 訊息沒有說明意義
操作員按下繼續

調查發現至少兩個軟體缺陷:

  1. 競態條件(Race Condition):兩件事的先後順序沒有被控制好,結果就取決於「誰先發生」。熟練的操作員打字很快,在機器設定完成前修改了模式,軟體沒有偵測到修改。
  2. 計數器溢位:某個安全檢查用的旗標變數是用「累加」而不是「設定為固定值」,累加到上限後會歸零,導致安全檢查在特定時刻被跳過。

另一個關鍵:Therac-20 其實也有類似的軟體缺陷,但硬體互鎖會在危險時燒斷保險絲,所以從未傷人。Therac-25 拿掉硬體互鎖後,同樣的缺陷就變成致命事故。

關鍵決策點

決策 當時的理由 實際後果
移除硬體互鎖,改用軟體檢查 降低成本、簡化設計,且舊軟體「用了很久沒出事」 軟體缺陷失去最後一道防線
錯誤訊息只顯示代碼(MALFUNCTION 54) 介面簡潔 操作員不知道嚴重性,習慣性按繼續
初期事故報告時,廠商認為機器不可能過量照射 相信軟體已經過驗證 問題延誤處理,事故重複發生

軟體工程/管理教訓

  1. 高風險決策要有獨立於軟體之外的防線。 在商業系統中,這相當於大額付款需要第二人核准、資金系統設定硬性上限,而不是只相信程式「應該不會錯」。
  2. 「舊軟體沒出事」不代表它沒有缺陷。 可能只是另一道防線一直在默默擋住它。
  3. 錯誤訊息要讓使用者知道該做什麼。 只有代碼的錯誤訊息,等於訓練使用者忽略它。

對應本書章節

  • 9.2 約束機制:Fail-Safe 預設安全與權限隔離
  • 13.2 資金權限雙簽、最小授權與工具安全

討論題

  1. 公司打算讓 AI 自動審核並核准 NT$ 50,000 以下的採購單,取消人工覆核。請用 Therac-25 的經驗,提出至少兩道「不依賴 AI 判斷」的防線。
  2. 你用過的系統中,有沒有只顯示錯誤代碼、讓人看不懂的錯誤訊息?請改寫成一個「讓使用者知道該做什麼」的版本。

案例二:火星氣候軌道器——單位沒對上

事件經過

美國太空總署(NASA)的火星氣候軌道器(Mars Climate Orbiter)於 1998 年 12 月發射,任務是研究火星大氣。它與姊妹任務「火星極地登陸者」合計的開發、發射與營運成本約 3.27 億美元。

1999 年 9 月 23 日,軌道器抵達火星、點火進入軌道後,就再也沒有恢復通訊。

調查發現:

  • 承包商洛克希德·馬丁(Lockheed Martin)的地面軟體,計算推進器衝量時輸出的是英制單位磅力·秒(lbf·s)。
  • NASA 噴射推進實驗室(JPL)的導航軟體,預期收到的是公制單位牛頓·秒(N·s)。
  • 1 磅力·秒 ≈ 4.45 牛頓·秒,所以每一筆資料都差了約 4.45 倍。
  • 雙方的軟體介面規格其實已經要求使用公制,但輸出的程式沒有遵守,整合時也沒有被檢查出來。

航行途中的小誤差不斷累積,軌道器最後以約 57 公里的高度通過火星,遠低於約 80 公里的安全下限,推測在大氣中解體或偏離軌道。

flowchart LR A["洛克希德·馬丁
地面軟體
輸出 lbf·s"] -->|"檔案只有數字
沒有標示單位"| B["JPL 導航軟體
當成 N·s 使用"] B --> C["每筆誤差約 4.45 倍
九個多月持續累積"] C --> D["以約 57 公里高度
通過火星
任務失敗"] style D fill:#fee2e2,stroke:#ef4444

關鍵決策點

這個案例的決策點不是「要不要用公制」——規格早就寫了。真正的決策點是:

環節 實際做法 應該怎麼做
介面規格 寫在文件裡 寫進資料本身(欄位名稱或格式帶單位)
整合測試 沒有驗證這份檔案的數值是否合理 用已知答案的測試資料,跑完整流程比對
航行中的異常 導航人員曾察覺軌道有偏差,但沒有升級成正式調查 異常要有明確的通報與處理流程

軟體工程/管理教訓

  1. 規格寫了不等於被遵守。 要讓系統自動檢查,例如欄位名稱寫成 impulse_Ns,或用第 2.6 節的 OpenAPI 介面契約限定格式。
  2. 跨組織的資料交換最容易出錯。 兩邊各自測試都沒問題,接在一起才出錯,這正是第 5.3 節「整合測試」要處理的問題。
  3. 商業上的同類錯誤:公噸與短噸、含稅與未稅、千元與元、月利率與年利率。只要資料跨部門、跨公司、跨國家,就要問「單位是什麼?誰負責檢查?」

對應本書章節

  • 2.6 Spec-Driven Development:商管人的可執行規格
  • 3.3 API 經濟學與 ACI 商業介面設計
  • 5.3 跨國跨系統整合測試與端到端(E2E)驗收

討論題

  1. 台灣出口商把報價單傳給美國代理商的系統,請列出至少三個可能「數字對、單位錯」的欄位,並說明如何讓系統自動擋下錯誤。
  2. 航行中已有人察覺軌道偏差,為什麼沒有被正式處理?組織要怎麼設計,才能讓「小異常」被認真對待?

案例三:Ariane 5 首飛——搬過來的舊程式

事件經過

1996 年 6 月 4 日,歐洲太空總署的新一代火箭 Ariane 5 進行首飛(Flight 501),搭載 4 顆科學衛星(Cluster 任務)。升空約 37 秒後,火箭在約 3,700 公尺高度偏離航道並解體,損失超過 3.7 億美元(各方估計不一)。

問題出在慣性參考系統(SRI)的軟體,這套軟體沿用自前一代 Ariane 4:

  1. 程式中有一段要把一個 64 位元浮點數(水平速度相關的數值)轉成 16 位元有號整數。16 位元有號整數最大只能存 32,767。
  2. Ariane 5 的飛行軌跡與 Ariane 4 不同,水平速度累積得快很多(調查報告指出水平速度明顯高於 Ariane 4),數值超過上限,發生數值溢位。
  3. 為了控制電腦負載,工程師當初只替 7 個可能溢位的變數中的 4 個加上保護,這個變數沒有保護,因為依 Ariane 4 的飛行資料分析,它不可能超過上限。
  4. 備援的 SRI 跑的是完全相同的程式,約 0.07 秒前就已經因為同樣原因故障。
  5. 主電腦把故障診斷資料當成飛行資料解讀,下達錯誤的轉向指令,火箭姿態失控而解體。

更諷刺的是:出錯的這段功能只在發射前有用,對 Ariane 5 升空後完全沒有用途,只是因為 Ariane 4 的需求而繼續執行。

flowchart LR A["Ariane 4 的 SRI 程式
多年飛行沒出事"] --> B["原封不動用在 Ariane 5
沒有用新軌跡資料測試"] B --> C["水平速度數值
超過 16 位元上限 32,767"] C --> D["主、備援 SRI
同時因相同錯誤故障"] D --> E["升空約 37 秒
火箭解體"] style E fill:#fee2e2,stroke:#ef4444

關鍵決策點

決策 當時的理由 漏掉的問題
沿用 Ariane 4 的 SRI 軟體 已驗證過、節省成本 Ariane 5 的飛行條件不同
不替這個變數加溢位保護 依 Ariane 4 資料分析不會超過上限 這個「假設」沒有在新火箭上重新驗證
備援系統使用相同軟體 防硬體故障 防不了軟體設計錯誤
沒用 Ariane 5 軌跡做完整模擬測試 認為沿用的模組不需要 錯誤要到真正飛行才會出現

軟體工程/管理教訓

  1. 重用程式時,也重用了它的假設。 舊程式「沒出過事」是在舊環境中成立的;環境一變,要重新確認每一個邊界值。
  2. 備援要「不一樣」才有用。 兩台跑同樣程式的電腦,會在同一個時刻犯同樣的錯。
  3. 不需要的功能要關掉。 沒用到的程式碼仍然可能出錯(C.5 的 Knight Capital 也是同類問題)。
  4. 商業版本:把在台灣跑得好的定價規則直接套到東南亞市場,若沒檢查當地的匯率波動幅度、稅率級距、金額位數,就可能在新環境「溢位」。

對應本書章節

  • 2.4 商業邊界條件與極端情境
  • 5.2 測試驅動思維(TDD)與商業驗收測試(BDD)
  • 5.4 AI 自動生成商業極端測試案例

討論題

  1. 你的公司把一套在台灣使用的訂單系統搬到印尼使用。印尼盾的金額位數比台幣多很多(1 新台幣約可換數百印尼盾)。請列出三個可能「溢位」或出錯的欄位,以及要怎麼測試。
  2. 「備援系統」在商業上有哪些例子(例如備用供應商、備用金流)?怎麼確保備援真的「不一樣」,不會跟主系統一起失效?

本節小結

  1. 安全不能只靠軟體。 Therac-25 移除硬體互鎖後,原本被擋住的軟體缺陷變成致命事故。
  2. 介面契約要能被自動檢查。 火星氣候軌道器的規格寫了公制,但沒有任何機制確保被遵守。
  3. 重用程式就是重用假設。 Ariane 5 的程式在舊火箭上正確,在新火箭上溢位。
  4. 三個案例的共同點:錯誤本身很小,缺的是能及時攔下它的設計與流程。

練習

判斷題(討論): 第 1.1 節的報價毛利檢查系統,如果有人把「今日匯率」欄位填成「每 100 歐元的台幣金額」(例如 3,150 而不是 31.5),系統會怎麼判斷?這屬於本節哪一個案例的同類錯誤?你會加上什麼檢查來攔住它?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。