7.4 長文本壓縮與海量商業情報萃取

學完本節,你能夠:

  1. 說明「把整份長文件直接丟給 AI」在成本、正確性與可追溯性上的問題。
  2. 依任務選擇 Map-Reduce 階層摘要、結構化萃取或滾動摘要三種做法。
  3. 設計一份要求「附頁碼與原文」的萃取規格,並用程式檢查 AI 的萃取結果。

壹、開場情境:300 頁的投標文件,與第 142 頁的一句話

📌 以下為教學情境(依政府採購實務改編)。

一家物流設備公司準備投標海外港口的「智慧倉儲改建案」,收到一份 300 頁的英文招標文件。總經理要在三天內決定要不要投標。

業務新人的做法是:把整份 PDF 上傳給 AI,問「這個案子有什麼風險?」AI 回了一份流暢的摘要:工期緊、技術規格高、需要當地合作夥伴。

但資深法務翻到第 142 頁才發現:違約金每日 0.5%,上限 10%;而第 37 頁要求的履約保證金是合約金額的 10%。這兩條加起來,決定了公司最壞情況下要承擔多少損失。AI 的摘要兩條都沒提。

本節要解決的問題: 面對幾百頁的文件,怎麼讓 AI 穩定地找出關鍵條款,而且每個結論都能回頭核對原文?


貳、為什麼會這樣:上下文夠長,不代表讀得夠好

目前主流模型的上下文長度已達數十萬到百萬 Token 等級(規格經常更新,請以官方資訊為準),300 頁文件確實放得進去。問題在於:

問題 說明
重要細節容易被略過 模型對長上下文中段的資訊較容易忽略(第 7.2 節「迷失在中間」)。簡單的「找出某一句話」測試,新模型多半表現不錯;但要同時找出分散各處的多個條款並綜合判斷,表現仍會下降
「摘要」本身就會丟資訊 開放式地問「有什麼風險」,模型會挑它認為重要的寫,不保證涵蓋你在意的項目
無法追溯 摘要沒有標頁碼,主管無法核對「這句話是原文寫的,還是 AI 推論的」
重複詢問很貴 每問一個問題就重新送一次全文

用假設單價估算(輸入每百萬 Token US$ 3,假設值;300 頁約 21 萬 Token,以每頁約 700 Token 粗估):

做法 30 個問題的輸入 Token 費用
每問一次就送一次全文 630 萬 US$ 18.90
全文只讀一次做萃取,之後每題只送 3,000 Token 的萃取結果 21 萬 + 9 萬 US$ 0.90

廠商的快取折扣可以降低前者的費用,但正確性與可追溯性的問題不會因為便宜而消失。


參、三種處理長文本的做法

做法 怎麼做 適合 注意
Map-Reduce 階層摘要 先把文件切成章節,各章分別萃取(Map),再把各章結果彙整成總結(Reduce) 要產出整體評估報告 切分時不要把一個條款切成兩半;彙整階段要保留各章出處
結構化萃取(Schema-Driven) 事先定好要找的欄位,要求 AI 逐欄填寫並附出處 已經知道要看哪些項目,例如截止日、保證金、違約金 欄位沒列到的風險就找不到,欄位清單要由專業人員設計
滾動摘要(Rolling Summary) 長期對話或會議中,每輪結束就把共識更新成一份簡短備忘錄,之後只帶「備忘錄+最新一輪」 持續數週的談判、例行會議 與第 7.3 節的「結構化狀態」是同一個想法;備忘錄寫錯會一路錯下去,要定期人工確認
flowchart LR DOC["300 頁招標文件"] --> SPLIT["依章節切分"] SPLIT --> M1["第 1–3 章
萃取資格與期限"] SPLIT --> M2["第 4–8 章
萃取技術規格"] SPLIT --> M3["第 9–12 章
萃取保證金與罰則"] M1 --> R["彙整:投標評估表
每項附頁碼"] M2 --> R M3 --> R R --> H["法務與業務
抽查原文後決策"]

Map 階段每一章的工作單純、互不相干,可以同時處理,也常用較便宜的輕量模型;Reduce 階段需要綜合判斷,再交給能力較強的模型。最後一步「人工抽查原文」不能省。


肆、應用到情境:結構化萃取規格與驗收程式

1. 把「要看什麼」寫成規格

法務說的話 追問 寫成規格
「要看截止日」 什麼格式?時區? tender_deadline:YYYY-MM-DD,原文有時區另外記錄
「保證金多少」 金額還是比例? performance_bond:比例或金額,照原文
「違約金怎麼算」 每日比例?有沒有上限? liquidated_damages:每日比例 rate_pct_per_day+上限 cap_pct
(法務沒說) 原文沒寫上限怎麼辦? cap_pct 填 null,並說明「原文未載明」,不得自行推測
(法務沒說) 怎麼確認 AI 沒編造? 每個欄位必須附 source_page 與 quote(原文引述)

2. 給 AI 的 Prompt

你是投標文件審閱助理。請從附件招標文件中萃取下列欄位,只輸出 JSON。

【欄位】
project_name、tender_deadline、performance_bond、liquidated_damages

【規則】
1. 每個欄位格式為 {"value": 值, "source_page": 頁碼, "quote": "原文引述(英文原句)"}。
2. tender_deadline 的 value 為 YYYY-MM-DD。
3. liquidated_damages 的 value 為 {"rate_pct_per_day": 數字, "cap_pct": 數字或 null}。

【例外】
原文找不到的項目,value 填 null,quote 寫「原文未載明」,不得推測或使用常見行情。

💡 許多 API 提供「結構化輸出」功能,可以強制模型的輸出符合指定的 JSON Schema。這能保證格式正確,但不能保證內容正確,所以仍需要下面的驗收程式與人工抽查。

3. 驗收程式:AI 交出來的 JSON,先過程式這一關

import re

# ===== 驗收規則 =====
REQUIRED = ["project_name", "tender_deadline", "performance_bond", "liquidated_damages"]
DATE_PATTERN = r"^\d{4}-\d{2}-\d{2}$"   # 日期一律 YYYY-MM-DD

def validate(extracted):
    """檢查 AI 萃取結果:欄位齊全、每個欄位附出處、格式正確"""
    problems = []
    for key in REQUIRED:
        item = extracted.get(key)
        if item is None:
            problems.append(f"🛑 缺少欄位 {key}")
            continue
        # 原文未載明的欄位:value 為 null、quote 為「原文未載明」,不需要頁碼
        if item.get("value") is None and item.get("quote") == "原文未載明":
            continue
        # 每個欄位都必須附頁碼與原文引述,人工才能回頭核對
        if not item.get("source_page") or not item.get("quote"):
            problems.append(f"⚠️ {key} 沒有附出處")
    deadline = extracted.get("tender_deadline", {}).get("value", "")
    if deadline and not re.match(DATE_PATTERN, deadline):
        problems.append(f"⚠️ 截止日格式錯誤:{deadline}")
    ld = extracted.get("liquidated_damages", {}).get("value", {})
    if ld and "cap_pct" not in ld:
        problems.append("⚠️ 違約金未標示上限(若原文沒寫,應填 null 並註明)")
    return problems or ["✅ 通過,可匯入比較表"]

sample = {
    "project_name": {"value": "港區智慧倉儲改建案", "source_page": 1, "quote": "Smart Warehouse Renovation"},
    "tender_deadline": {"value": "2026-11-30", "source_page": 4, "quote": "no later than 30 November 2026"},
    "performance_bond": {"value": {"pct_of_contract": 10}, "source_page": 37, "quote": "10% of the Contract Price"},
    "liquidated_damages": {"value": {"rate_pct_per_day": 0.5, "cap_pct": 10},
                           "source_page": 142, "quote": "0.5% per day ... not exceeding 10%"},
}
print(validate(sample))

🔍 驗收重點 - 程式檢查的是「有沒有附出處、格式對不對」,不是「內容對不對」。內容要靠人依頁碼抽查原文。 - 「原文沒寫」與「AI 沒找到」要能區分:前者填 null 並附說明,後者是欄位缺漏。


伍、跑跑看、壞給你看

每次從原始的 sample 開始,只改一處,再執行:

實驗 操作 預期結果 想想看
① 漏掉上限 刪除 "cap_pct": 10 ⚠️ 違約金未標示上限 開場情境中 AI 摘要漏掉的,正是這一類資訊
② 日期格式 把截止日改成 "30/11/2026" ⚠️ 截止日格式錯誤 11/12/2026 在美式與歐式寫法中分別是哪一天?
③ 沒附出處 刪除 performance_bond 的 "quote" ⚠️ performance_bond 沒有附出處 沒有原文引述,主管要怎麼確認 10% 是真的?
④ 整欄缺漏 刪除整個 liquidated_damages 🛑 缺少欄位 liquidated_damages 這張報告可以直接交給總經理嗎?

陸、回到情境

用結構化萃取後,總經理拿到的是一張表:截止日 2026-11-30(p.4)、履約保證金 10%(p.37)、違約金每日 0.5%、上限 10%(p.142)。法務只要依頁碼抽查這幾句原文,就能在半天內確認。最壞情況的損失(保證金被沒收+違約金達上限)也能直接算出來,讓投標決策有具體依據。

限制 後果 在哪一節解決
欄位清單沒列到的風險,AI 不會主動找 漏掉非典型條款 搭配一次開放式的「其他異常條款」Map 掃描,並由專業人員審閱
公司累積大量歷年標案與合約,無法每次都重讀 無法回答「以前類似案子怎麼處理?」 7.5 企業知識庫與 RAG
PDF 是掃描檔或表格複雜 文字辨識錯誤,萃取跟著錯 先做文字辨識品質抽查(第 4.1 節資料處理)
萃取結果的正確率無法量化 不知道能信任到什麼程度 10.2 評估資料集

本節小結

  1. 上下文放得下,不代表讀得好;長文件的關鍵細節容易被略過,而且開放式摘要無法追溯。
  2. 三種做法:Map-Reduce 產出整體評估、結構化萃取抓固定欄位、滾動摘要處理長期對話。
  3. 萃取規格要包含出處(頁碼+原文)與「原文未載明」的處理方式。
  4. 程式驗收格式與出處,人工依頁碼抽查內容,兩者缺一不可。

柒、練習

  1. 改數字(5 分鐘):同樣 300 頁、每頁約 700 Token、每百萬 Token US$ 3,如果問題增加到 100 個,「每次送全文」與「萃取一次後每題送 3,000 Token」的費用各是多少?
  2. 加功能(20 分鐘):在萃取規格與 validate() 中加入 payment_terms(付款條件)欄位,規定 value 必須包含 days(天數,整數)。設計一組會通過、一組會被攔下的測試資料。
  3. 管理反思(討論):如果 AI 萃取漏掉一條關鍵罰則,公司因此得標後虧損,責任在誰?設計萃取規格的人、使用 AI 的業務、還是負責抽查的法務?要怎麼設計流程,才能讓「誰確認過什麼」留下紀錄?

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。