7.2 業務上下文工程:決定商業 AI 能力上限的關鍵
學完本節,你能夠:
- 區分提示工程與上下文工程,說明為什麼後者決定 AI 在企業中的表現上限。
- 把一項商業判斷需要的資訊,分類為靜態、動態、即時三層上下文,並指出各自的資料來源。
- 判斷哪些資料該放進上下文、哪些不該,並估算「全部塞進去」的成本差異。
壹、開場情境:再厲害的顧問,沒有資料也只能說空話
📌 以下為教學情境(依採購實務改編)。
採購經理請 AI 評估:「請扮演資深供應鏈總監,評估我們是否該與越南供應商 V 公司續約三年。」
AI 回了一份結構完整的分析:「建議從價格競爭力、交期穩定度、品質一致性、地緣風險四個面向評估……」聽起來很專業,但每一句都適用於任何一家供應商。
因為 AI 不知道這些事:
| 經理知道、AI 不知道的事 | 資料在哪裡 |
|---|---|
| V 公司近半年準時交貨率只有 65% | ERP 進貨紀錄 |
| 上個月 V 公司工廠發生火災,停工兩週 | 採購部的往來郵件 |
| 品質退貨率從 1.5% 升到 4.2% | 品管系統 |
| 公司規定:單一供應商占比不得超過 40% | 採購管理辦法 |
本節要解決的問題: 指令寫得再好,AI 也只能根據它看到的內容回答。要怎麼有系統地把「該讓 AI 知道的事」在對的時候、用精簡的形式交給它?
貳、為什麼會這樣:提示工程 vs. 上下文工程
第 7.1 節說過,模型只根據上下文(這次請求中送進模型的所有內容)預測下一個 Token。上下文裡沒有的事,它只能用一般常識補,或乾脆編造。
Andrej Karpathy(OpenAI 創始成員之一、前 Tesla AI 總監)曾用電腦來比喻:模型像 CPU,上下文視窗像 RAM(記憶體),CPU 只能處理載入記憶體的資料。2025 年起,他與不少業界人士開始用「上下文工程」(Context Engineering)一詞,強調關鍵不只是「怎麼問」,而是「每次要放哪些資訊進去」。
| 提示工程 | 上下文工程 | |
|---|---|---|
| 關注 | 怎麼問 | 給 AI 看什麼、何時給、給多少 |
| 類比 | 考題的出題方式 | 允許帶進考場的參考資料 |
| 主要手段 | 措辭、角色、範例、輸出格式(7.1 的 C-R-E-O) | 從 ERP、CRM、文件庫自動撈取並整理資料 |
| 誰在做 | 使用者個人 | 系統設計者,通常是自動化流程 |
| 可複製性 | 高:別人抄走你的 Prompt 就能用 | 低:綁定公司自己的資料與規則 |
兩者不是二選一。C-R-E-O 裡的 C(Context)就是上下文工程的入口,本節把它展開成一套有系統的做法。
上下文的三層結構
| 層級 | 特徵 | 本案例的內容 | 常見放法 |
|---|---|---|---|
| 靜態層 | 長期穩定,很少變動 | 採購管理辦法、單一供應商占比上限 40%、評估報告格式 | System Prompt 或專案規則檔(例如第 2.6 節的 AGENTS.md) |
| 動態層 | 隨對象與時間變動,每次要重新查詢 | V 公司的交貨率、退貨率、事故紀錄、目前採購占比 | 每次請求前由程式從 ERP/品管系統查詢後填入 |
| 即時層 | 只屬於這次對話或任務 | 經理剛補充的「下季預計擴產 30%」 | 對話紀錄、任務狀態(第 7.3 節) |
採購辦法、占比上限"] --> PACK["Context Pack
這次請求的上下文"] D["動態層
ERP 即時查詢
交貨率、退貨率"] --> PACK E["即時層
本次對話補充"] --> PACK PACK --> LLM["模型產出評估"]
這種「每次請求前,把三層資訊整理成一包」的做法,本書稱為 Context Pack。
越多越好嗎?不是
把 500 頁規章、十年訂單全部塞進去,會遇到兩個問題:
| 問題 | 說明 |
|---|---|
| 注意力被稀釋 | 研究發現,關鍵資訊放在長上下文的中段時,模型較容易忽略,稱為「迷失在中間」(Lost in the Middle,Liu 等人,2023)。新模型已有改善,但無關內容越多,表現仍可能下降 |
| 成本與等待時間增加 | API 按 Token 計費,上下文越長,每次請求越貴、回應越慢 |
用假設單價算一筆帳(實際價格依模型與廠商而異,且經常調整):假設輸入每百萬 Token US$ 3,每天 2,000 次請求。
| 做法 | 每次輸入 | 每日輸入 Token | 每日費用 | 30 天費用 |
|---|---|---|---|---|
| 全部塞進去 | 100,000 Token | 2 億 | US$ 600 | US$ 18,000 |
| 精選 Context Pack | 3,000 Token | 600 萬 | US$ 18 | US$ 540 |
差距約 33 倍。即使廠商提供快取折扣能降低重複內容的費用,注意力被稀釋的問題仍然存在。
原則:在對的時間,只給完成這個任務所需的、乾淨的、最新的資訊。
上下文是預算,不是容器
上一段的試算說明了一件事:上下文視窗是一筆預算,不是一個越裝越滿越好的容器。 還有兩個常見現象值得注意:
| 現象 | 說明 | 對策 |
|---|---|---|
| 對話漂移 | 同一個對話聊得越久,前面的舊資訊越多;AI 分不清「第 3 則訊息時成立、現在已經改了」的內容 | 換一個新任務,就開一個新對話;把需要延續的結論寫成文件帶過去(第 2.8 節) |
| 悄悄被截斷 | 有些工具在上下文超過上限時,會默默丟掉最前面的內容,而最前面往往是規則與重要文件 | 留意工具的上下文上限設定;AI 突然「忘記規則」時,先懷疑是不是被截斷了 |
出錯時的診斷順序:上下文 → 模型 → 提示
AI 的產出不對時,大多數人的第一反應是「這個模型不夠聰明」或「我的 Prompt 寫得不好」。實務上更常見的原因是它根本沒看到該看的資料。建議依下面的順序排查:
| 順序 | 要問的問題 | 典型症狀 | 處理方式 |
|---|---|---|---|
| ① 上下文 | 它有沒有看到完成任務所需的資料? | 改了它看得到的檔案,卻漏改相關的檔案;編出一個看似合理的數字 | 補上資料,同一個 Prompt 再跑一次 |
| ② 模型 | 是能力不夠,還是知識不夠? | 能力不夠:步驟一多就亂掉。知識不夠:用了過時的規定或舊版做法 | 能力不夠:換更強的模型或拆小任務;知識不夠:把最新資料放進上下文(第 7.5 節 RAG) |
| ③ 提示 | 要求清楚嗎? | 做出一個合理、但不是你要的東西 | 補上目標、例外與驗收標準(第 2.6 節) |
這裡有一個重要區分:能力與知識是兩件事。能力是推理與同時處理多個條件的本事,通常隨模型規模提升;知識是它讀過的資料有多新、多深。一個較小但較新的模型,處理「今年剛修正的法規」時,可能比一個很大但較舊的模型更好。所以選模型時,要先問清楚:這個任務缺的是能力,還是知識?
💡 放資料前先問三個問題:這次任務要改哪些東西?改之前要讀哪些東西?還有哪些只是背景參考?只把前兩類放進上下文,第三類用摘要或索引代替。精選三份對的文件,比塞進三十份勉強相關的文件更有效。
參、應用到情境:設計「供應商續約評估」的 Context Pack
把開場情境的需求寫成規格表:
| 需要的資訊 | 層級 | 來源 | 更新頻率 | 放進去的形式 |
|---|---|---|---|---|
| 採購管理辦法中與續約相關的 3 條規定 | 靜態 | 規章文件 | 改版時 | 條文原文 |
| 近 6 個月準時交貨率、退貨率 | 動態 | ERP、品管系統 | 每次查詢 | 一張小表,含月份 |
| 近 12 個月重大事故 | 動態 | 採購郵件、事故登錄 | 每次查詢 | 條列:日期+事件+影響 |
| V 公司目前占同類採購比例 | 動態 | ERP | 每次查詢 | 一個數字+計算期間 |
| 經理補充的擴產計畫 | 即時 | 本次對話 | 本次 | 原話 |
| (經理沒說)資料查不到怎麼辦? | — | — | — | 標註「資料缺漏」,要求 AI 不得自行假設 |
組成的 Context Pack 大致長這樣:
<policy>
第 12 條:續約評估須涵蓋交期、品質、價格三項指標。
第 15 條:單一供應商占同類採購金額不得超過 40%。
</policy>
<supplier_data source="ERP,查詢日 2026-10-01">
近 6 個月準時交貨率:65%(公司標準 90%)
近 6 個月品質退貨率:4.2%(前期 1.5%)
目前採購占比:38%
重大事故:2026-09 工廠火災,停工 2 週
</supplier_data>
<manager_note>
下季預計擴產 30%,採購量會增加。
</manager_note>
【任務】依 <policy> 評估是否續約三年,逐項引用 <supplier_data> 的數字。
若某項指標資料缺漏,請標示「資料缺漏」,不得自行推測。
注意第 15 條和經理補充的交叉影響:擴產後若仍向 V 公司加量採購,占比可能超過 40%。這種跨資料來源的推論,正是有了上下文之後 AI 才做得到的事。
肆、判斷看看:這筆資料該不該放進去?
針對「供應商續約評估」這個任務,判斷下列資料:
| 資料 | 放/不放 | 理由 |
|---|---|---|
| V 公司近 6 個月交貨率 | ✅ | 直接對應評估指標 |
| V 公司過去 10 年每一張進貨單明細 | 🛑 | 太細;改放彙總指標 |
| 公司完整 500 頁的採購管理辦法 | 🛑 | 只放相關條文 |
| 其他兩家備選供應商的報價與交貨率 | ✅ | 續約決策需要比較基準 |
| 採購經理個人對 V 公司業務員的印象 | ⚠️ | 可作參考,但要標註為主觀意見 |
| 一年前就已失效的舊版採購辦法 | 🛑 | 過期資訊會造成矛盾 |
| V 公司銀行帳號 | 🛑 | 與評估無關,且屬敏感資料(第 13.1 節) |
伍、常見誤解
| 說法 | 對嗎? | 說明 |
|---|---|---|
| 「上下文視窗夠大,就不需要資料庫和檢索系統」 | 🛑 | 成本、等待時間、注意力稀釋都會隨長度增加;而且資料還是要先從系統撈出來 |
| 「只要 Prompt 寫得好,AI 就能做出好的商業判斷」 | 🛑 | 沒有公司自己的資料,只能給通用建議 |
| 「上下文給一次就好,之後 AI 會記得」 | 🛑 | 透過 API 呼叫時,模型本身不記得上一次請求(第 7.3 節) |
| 「每個欄位都標明來源與查詢日期是多餘的」 | 🛑 | 標明來源才能追查錯誤,也方便 AI 引用 |
陸、回到情境
有了 Context Pack,AI 的評估會變成:「準時交貨率 65%,低於公司標準 90%;退貨率升至 4.2%;目前占比 38%,若依經理補充的擴產計畫加量,可能超過第 15 條的 40% 上限。建議不續約三年,改為一年短約並同步開發第二供應商。」每一句都有依據,主管可以逐項核對。
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 多輪對話後,上下文越來越長 | 成本上升,早期約定的條件可能被忽略 | 7.3 對話狀態管理 |
| 資料來源是幾百頁的長文件 | 無法整份放進去 | 7.4 長文本壓縮、7.5 RAG |
| 各部門對同一指標定義不同 | AI 拿到互相矛盾的數字 | 12.3 單一真實資料源 |
本節小結
- 提示工程決定「怎麼問」,上下文工程決定「AI 能根據什麼回答」,後者決定企業 AI 的表現上限。
- 上下文可分為靜態(規則)、動態(即時查詢的業務資料)、即時(本次對話)三層。
- 上下文不是越多越好:無關內容會稀釋注意力、增加成本,原則是「對的時間、最小足夠、乾淨最新」。
- 為每筆資料標明來源與日期,並規定「資料缺漏時不得推測」。
柒、練習
- 改數字(5 分鐘):如果每次請求的上下文從 3,000 Token 增加到 12,000 Token,其他條件不變(每百萬 Token US$ 3,每天 2,000 次),30 天的輸入費用是多少?
- 加功能(20 分鐘):一家外貿公司的 AI 客服常被老客戶抱怨「每次都像第一次認識我,還把新客戶優惠碼寄給合作五年的我」。請為它設計一份 Context Pack 規格表(欄位同參段:資訊、層級、來源、更新頻率、形式),至少 5 列,其中包含 1 列例外情況。
- 管理反思(討論):Context Pack 會用到 ERP、CRM、品管系統的資料。這些資料由不同部門維護,誰應該對「AI 拿到的資料正確」負責?如果 AI 因為 ERP 數字錯誤而給出錯誤建議,責任該怎麼劃分?
📚 本節補充內容出處:「上下文 → 模型 → 提示」診斷順序與「能力 vs. 知識」的區分參考美國密西根大學 EECS 498「Applied Agentic Software Engineering」課程(2026 秋季),內容依商學院情境重新撰寫。