7.2 業務上下文工程:決定商業 AI 能力上限的關鍵

學完本節,你能夠:

  1. 區分提示工程與上下文工程,說明為什麼後者決定 AI 在企業中的表現上限。
  2. 把一項商業判斷需要的資訊,分類為靜態、動態、即時三層上下文,並指出各自的資料來源。
  3. 判斷哪些資料該放進上下文、哪些不該,並估算「全部塞進去」的成本差異。

壹、開場情境:再厲害的顧問,沒有資料也只能說空話

📌 以下為教學情境(依採購實務改編)。

採購經理請 AI 評估:「請扮演資深供應鏈總監,評估我們是否該與越南供應商 V 公司續約三年。」

AI 回了一份結構完整的分析:「建議從價格競爭力、交期穩定度、品質一致性、地緣風險四個面向評估……」聽起來很專業,但每一句都適用於任何一家供應商。

因為 AI 不知道這些事:

經理知道、AI 不知道的事 資料在哪裡
V 公司近半年準時交貨率只有 65% ERP 進貨紀錄
上個月 V 公司工廠發生火災,停工兩週 採購部的往來郵件
品質退貨率從 1.5% 升到 4.2% 品管系統
公司規定:單一供應商占比不得超過 40% 採購管理辦法

本節要解決的問題: 指令寫得再好,AI 也只能根據它看到的內容回答。要怎麼有系統地把「該讓 AI 知道的事」在對的時候、用精簡的形式交給它?


貳、為什麼會這樣:提示工程 vs. 上下文工程

第 7.1 節說過,模型只根據上下文(這次請求中送進模型的所有內容)預測下一個 Token。上下文裡沒有的事,它只能用一般常識補,或乾脆編造。

Andrej Karpathy(OpenAI 創始成員之一、前 Tesla AI 總監)曾用電腦來比喻:模型像 CPU,上下文視窗像 RAM(記憶體),CPU 只能處理載入記憶體的資料。2025 年起,他與不少業界人士開始用「上下文工程」(Context Engineering)一詞,強調關鍵不只是「怎麼問」,而是「每次要放哪些資訊進去」。

提示工程 上下文工程
關注 怎麼問 給 AI 看什麼、何時給、給多少
類比 考題的出題方式 允許帶進考場的參考資料
主要手段 措辭、角色、範例、輸出格式(7.1 的 C-R-E-O) 從 ERP、CRM、文件庫自動撈取並整理資料
誰在做 使用者個人 系統設計者,通常是自動化流程
可複製性 高:別人抄走你的 Prompt 就能用 低:綁定公司自己的資料與規則

兩者不是二選一。C-R-E-O 裡的 C(Context)就是上下文工程的入口,本節把它展開成一套有系統的做法。

上下文的三層結構

層級 特徵 本案例的內容 常見放法
靜態層 長期穩定,很少變動 採購管理辦法、單一供應商占比上限 40%、評估報告格式 System Prompt 或專案規則檔(例如第 2.6 節的 AGENTS.md)
動態層 隨對象與時間變動,每次要重新查詢 V 公司的交貨率、退貨率、事故紀錄、目前採購占比 每次請求前由程式從 ERP/品管系統查詢後填入
即時層 只屬於這次對話或任務 經理剛補充的「下季預計擴產 30%」 對話紀錄、任務狀態(第 7.3 節)
flowchart LR S["靜態層
採購辦法、占比上限"] --> PACK["Context Pack
這次請求的上下文"] D["動態層
ERP 即時查詢
交貨率、退貨率"] --> PACK E["即時層
本次對話補充"] --> PACK PACK --> LLM["模型產出評估"]

這種「每次請求前,把三層資訊整理成一包」的做法,本書稱為 Context Pack。

越多越好嗎?不是

把 500 頁規章、十年訂單全部塞進去,會遇到兩個問題:

問題 說明
注意力被稀釋 研究發現,關鍵資訊放在長上下文的中段時,模型較容易忽略,稱為「迷失在中間」(Lost in the Middle,Liu 等人,2023)。新模型已有改善,但無關內容越多,表現仍可能下降
成本與等待時間增加 API 按 Token 計費,上下文越長,每次請求越貴、回應越慢

用假設單價算一筆帳(實際價格依模型與廠商而異,且經常調整):假設輸入每百萬 Token US$ 3,每天 2,000 次請求。

做法 每次輸入 每日輸入 Token 每日費用 30 天費用
全部塞進去 100,000 Token 2 億 US$ 600 US$ 18,000
精選 Context Pack 3,000 Token 600 萬 US$ 18 US$ 540

差距約 33 倍。即使廠商提供快取折扣能降低重複內容的費用,注意力被稀釋的問題仍然存在。

原則:在對的時間,只給完成這個任務所需的、乾淨的、最新的資訊。

上下文是預算,不是容器

上一段的試算說明了一件事:上下文視窗是一筆預算,不是一個越裝越滿越好的容器。 還有兩個常見現象值得注意:

現象 說明 對策
對話漂移 同一個對話聊得越久,前面的舊資訊越多;AI 分不清「第 3 則訊息時成立、現在已經改了」的內容 換一個新任務,就開一個新對話;把需要延續的結論寫成文件帶過去(第 2.8 節)
悄悄被截斷 有些工具在上下文超過上限時,會默默丟掉最前面的內容,而最前面往往是規則與重要文件 留意工具的上下文上限設定;AI 突然「忘記規則」時,先懷疑是不是被截斷了

出錯時的診斷順序:上下文 → 模型 → 提示

AI 的產出不對時,大多數人的第一反應是「這個模型不夠聰明」或「我的 Prompt 寫得不好」。實務上更常見的原因是它根本沒看到該看的資料。建議依下面的順序排查:

順序 要問的問題 典型症狀 處理方式
① 上下文 它有沒有看到完成任務所需的資料? 改了它看得到的檔案,卻漏改相關的檔案;編出一個看似合理的數字 補上資料,同一個 Prompt 再跑一次
② 模型 是能力不夠,還是知識不夠? 能力不夠:步驟一多就亂掉。知識不夠:用了過時的規定或舊版做法 能力不夠:換更強的模型或拆小任務;知識不夠:把最新資料放進上下文(第 7.5 節 RAG)
③ 提示 要求清楚嗎? 做出一個合理、但不是你要的東西 補上目標、例外與驗收標準(第 2.6 節)

這裡有一個重要區分:能力與知識是兩件事。能力是推理與同時處理多個條件的本事,通常隨模型規模提升;知識是它讀過的資料有多新、多深。一個較小但較新的模型,處理「今年剛修正的法規」時,可能比一個很大但較舊的模型更好。所以選模型時,要先問清楚:這個任務缺的是能力,還是知識?

💡 放資料前先問三個問題:這次任務要改哪些東西?改之前要讀哪些東西?還有哪些只是背景參考?只把前兩類放進上下文,第三類用摘要或索引代替。精選三份對的文件,比塞進三十份勉強相關的文件更有效。


參、應用到情境:設計「供應商續約評估」的 Context Pack

把開場情境的需求寫成規格表:

需要的資訊 層級 來源 更新頻率 放進去的形式
採購管理辦法中與續約相關的 3 條規定 靜態 規章文件 改版時 條文原文
近 6 個月準時交貨率、退貨率 動態 ERP、品管系統 每次查詢 一張小表,含月份
近 12 個月重大事故 動態 採購郵件、事故登錄 每次查詢 條列:日期+事件+影響
V 公司目前占同類採購比例 動態 ERP 每次查詢 一個數字+計算期間
經理補充的擴產計畫 即時 本次對話 本次 原話
(經理沒說)資料查不到怎麼辦? — — — 標註「資料缺漏」,要求 AI 不得自行假設

組成的 Context Pack 大致長這樣:

<policy>
第 12 條:續約評估須涵蓋交期、品質、價格三項指標。
第 15 條:單一供應商占同類採購金額不得超過 40%。
</policy>

<supplier_data source="ERP,查詢日 2026-10-01">
近 6 個月準時交貨率:65%(公司標準 90%)
近 6 個月品質退貨率:4.2%(前期 1.5%)
目前採購占比:38%
重大事故:2026-09 工廠火災,停工 2 週
</supplier_data>

<manager_note>
下季預計擴產 30%,採購量會增加。
</manager_note>

【任務】依 <policy> 評估是否續約三年,逐項引用 <supplier_data> 的數字。
若某項指標資料缺漏,請標示「資料缺漏」,不得自行推測。

注意第 15 條和經理補充的交叉影響:擴產後若仍向 V 公司加量採購,占比可能超過 40%。這種跨資料來源的推論,正是有了上下文之後 AI 才做得到的事。


肆、判斷看看:這筆資料該不該放進去?

針對「供應商續約評估」這個任務,判斷下列資料:

資料 放/不放 理由
V 公司近 6 個月交貨率 ✅ 直接對應評估指標
V 公司過去 10 年每一張進貨單明細 🛑 太細;改放彙總指標
公司完整 500 頁的採購管理辦法 🛑 只放相關條文
其他兩家備選供應商的報價與交貨率 ✅ 續約決策需要比較基準
採購經理個人對 V 公司業務員的印象 ⚠️ 可作參考,但要標註為主觀意見
一年前就已失效的舊版採購辦法 🛑 過期資訊會造成矛盾
V 公司銀行帳號 🛑 與評估無關,且屬敏感資料(第 13.1 節)

伍、常見誤解

說法 對嗎? 說明
「上下文視窗夠大,就不需要資料庫和檢索系統」 🛑 成本、等待時間、注意力稀釋都會隨長度增加;而且資料還是要先從系統撈出來
「只要 Prompt 寫得好,AI 就能做出好的商業判斷」 🛑 沒有公司自己的資料,只能給通用建議
「上下文給一次就好,之後 AI 會記得」 🛑 透過 API 呼叫時,模型本身不記得上一次請求(第 7.3 節)
「每個欄位都標明來源與查詢日期是多餘的」 🛑 標明來源才能追查錯誤,也方便 AI 引用

陸、回到情境

有了 Context Pack,AI 的評估會變成:「準時交貨率 65%,低於公司標準 90%;退貨率升至 4.2%;目前占比 38%,若依經理補充的擴產計畫加量,可能超過第 15 條的 40% 上限。建議不續約三年,改為一年短約並同步開發第二供應商。」每一句都有依據,主管可以逐項核對。

限制 後果 在哪一節解決
多輪對話後,上下文越來越長 成本上升,早期約定的條件可能被忽略 7.3 對話狀態管理
資料來源是幾百頁的長文件 無法整份放進去 7.4 長文本壓縮、7.5 RAG
各部門對同一指標定義不同 AI 拿到互相矛盾的數字 12.3 單一真實資料源

本節小結

  1. 提示工程決定「怎麼問」,上下文工程決定「AI 能根據什麼回答」,後者決定企業 AI 的表現上限。
  2. 上下文可分為靜態(規則)、動態(即時查詢的業務資料)、即時(本次對話)三層。
  3. 上下文不是越多越好:無關內容會稀釋注意力、增加成本,原則是「對的時間、最小足夠、乾淨最新」。
  4. 為每筆資料標明來源與日期,並規定「資料缺漏時不得推測」。

柒、練習

  1. 改數字(5 分鐘):如果每次請求的上下文從 3,000 Token 增加到 12,000 Token,其他條件不變(每百萬 Token US$ 3,每天 2,000 次),30 天的輸入費用是多少?
  2. 加功能(20 分鐘):一家外貿公司的 AI 客服常被老客戶抱怨「每次都像第一次認識我,還把新客戶優惠碼寄給合作五年的我」。請為它設計一份 Context Pack 規格表(欄位同參段:資訊、層級、來源、更新頻率、形式),至少 5 列,其中包含 1 列例外情況。
  3. 管理反思(討論):Context Pack 會用到 ERP、CRM、品管系統的資料。這些資料由不同部門維護,誰應該對「AI 拿到的資料正確」負責?如果 AI 因為 ERP 數字錯誤而給出錯誤建議,責任該怎麼劃分?

📚 本節補充內容出處:「上下文 → 模型 → 提示」診斷順序與「能力 vs. 知識」的區分參考美國密西根大學 EECS 498「Applied Agentic Software Engineering」課程(2026 秋季),內容依商學院情境重新撰寫。

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。