4.1 商管數位軍火庫:Python 數據分析與網路爬蟲實務

學完本節,你能夠:

  1. 用 Pandas 把一份「有標題列、小計列、千分位文字」的雜亂報表清乾淨,算出各國毛利率,並用對帳檢查自己有沒有算錯。
  2. 寫出一支會先查 robots.txt、有禮貌延遲、抓不到價格就停止的競品價格監控爬蟲。
  3. 判斷一個爬蟲需求在法律與商業倫理上是否站得住腳。

壹、開場情境:一份「算得很快、但多算了兩倍」的月報

📌 以下為教學情境(依實務改編)。

一家外貿電商在美國、德國、日本、台灣都有銷售。每月初,四個市場把訂單整理成一份 Excel 月報交給營運主管。主管要回答老闆兩個問題:

  1. 哪個市場最不賺錢?(各國毛利率)
  2. 競爭對手最近有沒有降價?(每天要有人去對手網站看價格)

過去由實習生手動處理:把各幣別金額查匯率換成台幣,再用 Excel 加總。上個月,實習生把整欄「台幣成本」直接加總,交出去的總成本是 NT$ 59,700,實際只有 NT$ 19,900,整整是三倍。原因是報表裡夾著「US 小計」「JP 小計」和最底下的「合計」,它們全被當成訂單又加了一次。

而 Excel 沒有跳出任何錯誤訊息:錯的數字和對的長得一模一樣。

本節要解決的問題: 能不能讓同一套分析步驟每個月都自動、正確地重跑一次,而且算錯時會自己喊停?競品價格能不能每天自動抓回來?


貳、為什麼會這樣:Excel 的極限與「沉默的錯誤」

1. Excel 與 Python 各自擅長什麼

Excel Python(Pandas、爬蟲套件)
擅長 一次性的小表、與同事來回溝通、快速看一眼 每月重複的分析、大量資料、從網頁抓資料
重複執行 每次手動重做,步驟靠記憶 程式碼就是步驟紀錄,按一次全部重跑
出錯時 多半沒有任何提示 可以寫檢查規則,算錯就停止

商管人學 Python,不是為了寫系統底層,而是兩件事:

  • 數據分析:用 Pandas 套件把資料整理成「資料表(DataFrame,可以想成程式裡的一張試算表)」,再做清洗、換算、彙總。
  • 網路爬蟲(Web Scraping):讓程式自動打開網頁、找出需要的資訊(例如價格)並存下來。

💡 還沒學過 Python 語法? 先讀附錄 G(G.1~G.5:變數、容器、判斷、迴圈、函式)。本節的程式碼都附中文註解,看不懂語法也能照著驗收。

2. 沉默的錯誤:程式會報錯,分析不會

寫程式出錯,電腦通常會跳出錯誤訊息;但做數據分析出錯,往往什麼都不會發生。開源的 AI 資料分析技能 huashu-excel(作者花叔)就是針對這個問題,主張每次分析都要走一套固定流程。本節採用其中六個步驟:

步驟 要做什麼 本節情境中
① 體檢 看清楚表格結構與資料型態 第 1 列是標題,不是欄名;金額帶逗號,是文字不是數字
② 清洗 去掉不該參與計算的列與符號 剔除小計、合計列;去掉千分位逗號
③ 對齊 把不同來源統一成同一個基準 各幣別換成台幣;缺匯率就停止
④ 分析 彙總、計算指標 各國台幣營收、成本、毛利率
⑤ 對帳 用獨立的數字檢查自己 各國成本加總必須等於報表自己的「合計」
⑥ 交付 交出結果,附上怎麼算的 印出結果與對帳紀錄

第⑤步是關鍵:原始報表的「合計」雖然不能拿來加總,卻是最好的驗算工具。


參、把規則寫下來

老闆說:「給我看各國賺多少。」這句話要先翻成規格。

老闆說的話 需要追問的問題 寫成規格
「各國賺多少」 看金額還是比率? 各國毛利率 = 1 − 台幣成本 ÷ 台幣營收(毛利率除以收入,見第 1.1 節)
「換成台幣」 用哪天的匯率? 本月結算匯率,寫成程式最上方的匯率表 RATES
「哪個不賺錢」 多低算不賺錢? 毛利率 < 25% 標示「⚠️ 低於警戒線」(MIN_MARGIN)
(老闆沒說) 報表裡的小計、合計怎麼辦? 只用有訂單編號的明細列計算;「合計」列保留做對帳
(老闆沒說) 某個幣別查不到匯率? 停止分析並列出缺哪個幣別,不准用 0 或猜測值
(老闆沒說) 金額欄打錯字? 停止分析並列出是哪幾張訂單
(老闆沒說) 算出來跟報表合計不一樣? 誤差超過 0.01% 就停止,不交付

競品價格監控也一樣:

說法 追問 規格
「每天看對手價格」 抓哪些網址?可以抓嗎? 只抓公開商品頁;先檢查 robots.txt,不允許就不抓
「對手降價要通知我」 多低算降價? 低於 ALERT_PRICE 顯示「⚠️ 對手降價」
(老闆沒說) 抓太快會怎樣? 每次請求間隔至少 2 秒(DELAY_SEC)
(老闆沒說) 抓不到價格怎麼辦? 停止並告警,本輪不產生任何調價建議

肆、讓 AI 做出來

1. 原始報表長這樣

第 1 列是標題「跨國訂單月報 2026-09」,第 2 列才是欄名(訂單編號|國家|幣別|金額|台幣成本);六張訂單之間夾著各國「小計」列,最後一列是「合計」NT$ 19,900,金額都是含千分位逗號的文字。完整內容就是下方程式碼中的 RAW。這是典型「給人看很清楚、給程式算很危險」的報表。

2. 給 AI 的 Prompt

你是熟悉 Pandas 的商業資料分析師。

【資料】Excel 月報:第 1 列是標題,第 2 列才是欄名:
訂單編號|國家|幣別|金額|台幣成本
金額與成本是含千分位逗號的文字。報表中夾有「XX 小計」列與最後一列「合計」,這些列沒有訂單編號。

【規則】
1. 只用有訂單編號的明細列計算。
2. 依匯率表(USD 32.5、EUR 35.2、JPY 0.22、TWD 1.0)換算台幣營收。
3. 依國家彙總營收與成本,毛利率 = 1 − 成本 ÷ 營收。
4. 毛利率 < 25% 標示「⚠️ 低於警戒線」。
5. 匯率表、25%、對帳容許誤差 0.01% 都放在程式最上方的常數。

【例外處理】以下情況一律停止並說明原因,不准用預設值繼續:
- 金額或成本無法轉成數字(列出訂單編號)
- 出現匯率表沒有的幣別
- 各國成本加總與報表「合計」不符

【輸出要求】可在 Google Colab 直接執行;附中文註解,並用註解標出體檢、清洗、對齊、分析、對帳、交付六個步驟。

3. AI 產出的程式碼(已人工驗收)

import io
import pandas as pd

# ===== 分析規則(經理人只需要改這裡)=====
RATES = {'USD': 32.5, 'EUR': 35.2, 'JPY': 0.22, 'TWD': 1.0}  # 對台幣匯率(教學假設值)
MIN_MARGIN = 0.25    # 國別毛利率警戒線
TOLERANCE = 0.0001   # 對帳容許誤差:0.01%

# 分公司回報的原始報表(實務上改成 pd.read_excel('檔名.xlsx', header=1, dtype=str))
RAW = """跨國訂單月報 2026-09,,,,
訂單編號,國家,幣別,金額,台幣成本
ORD-001,US,USD,120,"2,500"
ORD-002,US,USD,240,"5,000"
,US 小計,,,"7,500"
ORD-003,DE,EUR,95,"2,200"
,DE 小計,,,"2,200"
ORD-004,JP,JPY,"15,000","2,600"
ORD-005,JP,JPY,"30,000","5,200"
,JP 小計,,,"7,800"
ORD-006,TW,TWD,"3,200","2,400"
,TW 小計,,,"2,400"
,合計,,,"19,900"
"""

def to_number(col):
    """去掉千分位逗號後轉成數字;轉不過去的會變成 NaN,交給後面檢查"""
    return pd.to_numeric(col.str.replace(',', '', regex=False), errors='coerce')

# ① 體檢:跳過第 1 列標題,全部先當文字讀進來
df = pd.read_csv(io.StringIO(RAW), header=1, dtype=str)

# ② 清洗:有訂單編號的才是明細;小計、合計列另外放
detail = df[df['訂單編號'].notna()].copy()
report_total = to_number(df.loc[df['國家'] == '合計', '台幣成本']).iloc[0]
detail['金額'] = to_number(detail['金額'])
detail['台幣成本'] = to_number(detail['台幣成本'])

bad = detail[detail[['金額', '台幣成本']].isna().any(axis=1)]
if not bad.empty:
    raise ValueError(f'🛑 金額或成本無法辨識:{list(bad["訂單編號"])},請修正原始報表')

# ③ 對齊:每種幣別都必須有匯率,缺一個就停止(不准用 0 或猜測值)
missing = set(detail['幣別']) - set(RATES)
if missing:
    raise ValueError(f'🛑 缺少匯率:{missing},分析停止')
detail['台幣營收'] = detail['金額'] * detail['幣別'].map(RATES)

# ④ 分析:依國家彙總,毛利率 = 1 − 成本 ÷ 營收
summary = detail.groupby('國家')[['台幣營收', '台幣成本']].sum()
summary['毛利率'] = 1 - summary['台幣成本'] / summary['台幣營收']
summary['狀態'] = summary['毛利率'].map(lambda m: '✅' if m >= MIN_MARGIN else '⚠️ 低於警戒線')

# ⑤ 對帳:各國成本加總必須等於報表自己的「合計」,不符就不交付
my_total = summary['台幣成本'].sum()
if abs(my_total - report_total) > report_total * TOLERANCE:
    raise ValueError(f'🛑 對帳失敗:分析加總 {my_total:,.0f} ≠ 報表合計 {report_total:,.0f}')

# ⑥ 交付:印出結果與對帳紀錄
print(summary.round({'台幣營收': 0, '毛利率': 3}))
print(f'對帳通過:分析加總 {my_total:,.0f} = 報表合計 {report_total:,.0f}')

執行結果整理如下:

國家 台幣營收 台幣成本 毛利率 狀態
DE 3,344 2,200 34.2% ✅
JP 9,900 7,800 21.2% ⚠️ 低於警戒線
TW 3,200 2,400 25.0% ✅
US 11,700 7,500 35.9% ✅

對帳通過(19,900 = 19,900)。日本營業額第二高,毛利率卻最低:下一步該檢討的是日本市場的定價或成本。

🔍 驗收重點(不懂語法也能檢查) - 匯率、25%、0.01% 是否都在最上方,而不是埋在程式中間? - 毛利率是否除以營收(台幣營收),而不是除以成本? - 三種例外(看不懂的金額、缺匯率、對帳不符)是否都會停止,而不是印個警告就繼續算? - 「合計」列有沒有被拿去加總?(它只能拿來對帳。)

4. 執行步驟

  1. 打開 Google Colab,新增筆記本(Pandas 已內建,不用安裝)。
  2. 把程式碼貼進一個儲存格,按 ▶ 執行,核對結果是否與上表相同。
  3. 換成真實檔案時:左側上傳 Excel,把 pd.read_csv(io.StringIO(RAW), ...) 改成 pd.read_excel('檔名.xlsx', header=1, dtype=str)。

5. 第二支程式:競品價格監控爬蟲

爬蟲的流程只有三步:送出請求拿到網頁 → 從網頁原始碼(HTML)找出價格 → 依規則判斷。本例用 Requests 取得網頁、BeautifulSoup 找出價格標籤;遇到需要執行 JavaScript 或登入的網站,則要改用 Playwright、Selenium 這類能操控真實瀏覽器的工具。

以下範例使用 Books to Scrape,這是專門給人練習爬蟲的示範書店網站,商品與價格都是假資料,可以放心練習。

import re
import time
import urllib.robotparser
from urllib.parse import urljoin

import requests
from bs4 import BeautifulSoup

# ===== 監控規則(經理人只需要改這裡)=====
URLS = [
    'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
    'https://books.toscrape.com/catalogue/sharp-objects_997/index.html',
]
ALERT_PRICE = 50.00   # 對手價格低於此值,視為降價促銷
DELAY_SEC = 2         # 每次請求之間至少休息 2 秒
USER_AGENT = 'BusinessCourseBot/1.0 (classroom exercise)'  # 誠實表明身分


class PriceError(Exception):
    """抓不到或看不懂價格時丟出,讓主程式停止"""


def allowed_by_robots(url):
    """先問網站的 robots.txt:這個網址允許機器人抓嗎?"""
    rp = urllib.robotparser.RobotFileParser(urljoin(url, '/robots.txt'))
    rp.read()
    return rp.can_fetch(USER_AGENT, url)


def parse_price(html):
    """從網頁 HTML 找出價格;找不到就丟錯,絕不回傳猜測值"""
    soup = BeautifulSoup(html, 'html.parser')
    tag = soup.select_one('p.price_color')          # 價格所在的標籤
    if tag is None:
        raise PriceError('找不到價格標籤,網站可能改版了')
    digits = re.sub(r'[^\d.]', '', tag.get_text())  # 只留數字與小數點
    if not digits:
        raise PriceError(f'價格格式無法辨識:{tag.get_text()!r}')
    return float(digits)


def fetch_price(url):
    if not allowed_by_robots(url):
        raise PriceError('robots.txt 不允許抓取此網址')
    resp = requests.get(url, headers={'User-Agent': USER_AGENT}, timeout=10)
    resp.raise_for_status()                          # 404、500 等錯誤直接丟錯
    return parse_price(resp.text)


for url in URLS:
    try:
        price = fetch_price(url)
    except (PriceError, OSError) as e:   # OSError 涵蓋斷線、逾時、被拒絕連線
        print(f'🛑 監控停止:{url}\n   原因:{e}\n   本輪不產生任何調價建議,請人工確認。')
        break
    flag = '⚠️ 對手降價,請評估是否跟進' if price < ALERT_PRICE else '✅ 價格正常'
    print(f'{price:>7.2f}  {flag}  {url}')
    time.sleep(DELAY_SEC)

🔍 驗收重點 - 有沒有先檢查 robots.txt?有沒有 time.sleep 禮貌延遲? - 抓不到價格時,是停止並說明原因,還是偷偷回傳 0 或上次的價格?(回傳 0 會被判定成「對手降價」,觸發錯誤的跟價決策。) - 價格只留數字(re.sub):網站編碼不同時,英鎊符號可能顯示成亂碼「£」,只取數字可避免轉換失敗。

在 Colab 執行時(requests、bs4 已內建),每個網址印出一行「價格+判斷」;若連不到網站,會看到「🛑 監控停止」與原因,這正是我們要的行為。


伍、跑跑看、壞給你看

每做完一個實驗,把程式改回原狀再做下一個。

實驗 操作 預期結果 想想看
① 重現實習生的錯 新增一個儲存格執行:to_number(df['台幣成本']).sum() 得到 59,700,是正確值 19,900 的 3 倍(多算 200%) 小計+合計各把明細又算了一次。Excel 會提醒你嗎?
② 打錯字 把 ORD-005 的成本 "5,200" 改成 "5,2OO"(字母 O) 🛑 金額或成本無法辨識:['ORD-005'] 如果用 errors='coerce' 卻不檢查,這張單會變成什麼?
③ 缺匯率 從 RATES 刪掉 'JPY': 0.22 🛑 缺少匯率:{'JPY'},分析停止 如果缺匯率時用 0 代替,日本的毛利率會變成多少?
④ 漏一列 刪掉 ORD-006 那一列(模擬複製貼上漏掉) 🛑 對帳失敗:分析加總 17,500 ≠ 報表合計 19,900 沒有第⑤步,這份報告會少了整個台灣市場,誰會發現?
⑤ 網站改版 把爬蟲的 'p.price_color' 改成 'p.price' 🛑 監控停止,原因:找不到價格標籤 爬蟲最常見的失敗就是對方改版。為什麼「停下來」比「繼續跑」好?

另外注意 TW 的毛利率剛好 25.0%,狀態是 ✅:規格寫的是「< 25% 才警示」,等於警戒線不算。邊界值歸哪一邊,要在規格表裡寫清楚(第 2.4 節會專門練習)。


陸、回到情境

有了這兩支程式,月報不再靠實習生記得「不要加到小計」,而是每個月照同一套步驟重跑,算錯時會自己停下來;競品價格也能每天自動抓,抓不到時會明白告訴你,而不是給你一個假價格。

爬蟲的法律與倫理紅線

flowchart TD A["想抓某個網站的資料"] --> B{"有官方 API 或
資料授權嗎?"} B -- 有 --> C["優先使用 API
(第 4.3 節)"] B -- 沒有 --> D{"robots.txt 與服務條款
允許嗎?"} D -- 不允許 --> E["不要抓;改洽談合作"] D -- 允許 --> F{"涉及個人資料、
需登入或付費的內容?"} F -- 是 --> G["停止:須取得授權
並符合個資法"] F -- 否 --> H["加上延遲、表明身分
只抓需要的欄位"]
紅線 說明
robots.txt 網站寫給機器人的規則(網址/robots.txt)。它本身不是法律,但違反它通常也違反網站服務條款,可能構成違約
請求頻率 高頻請求會加重對方伺服器負擔,可能被封鎖 IP;造成對方系統無法運作者,可能觸及刑法「妨害電腦使用罪」
個人資料 蒐集可識別個人的資料(姓名、聯絡方式、會員評論帳號等)受《個人資料保護法》規範

這套做法還做不到的事

限制 後果 在哪一節解決
月報仍要人工匯出 Excel 再上傳 有人忘記匯出,分析就延誤 4.2 用自動化工具串接、4.3 直接透過 API 取資料
爬蟲依賴網頁結構 對方一改版就要修程式 4.3 優先使用官方 API
程式是 AI 寫的 規則寫錯或漏例外,也會照樣執行 4.5 AI 時代的 Code Review
匯率是手動寫在程式裡 匯率過期,毛利率就失真 1.3 連網抓匯率的做法可以移植過來

本節小結

  1. 分析出錯通常是沉默的:沒有錯誤訊息,錯的數字和對的長得一樣。
  2. 體檢 → 清洗 → 對齊 → 分析 → 對帳 → 交付;其中對帳是讓程式自己抓自己錯的關鍵。
  3. 例外情況(缺匯率、抓不到價格)一律停止並說明原因,不用 0 或猜測值繼續做商業判斷。
  4. 爬蟲能力越強,越要先問:可以抓嗎?抓多快?抓到誰的資料?

柒、練習

  1. 改數字(5 分鐘):日圓再貶,JPY 匯率變成 0.20。只改一行,日本的毛利率變成多少?(答案應為 13.3%。)再把 MIN_MARGIN 改成 0.30,哪些國家會亮警示?
  2. 加功能(20 分鐘):老闆想同時看「各國營收佔全公司營收的比例」。請先在第參段的規格表加一列,再修改 Prompt 請 AI 產生新版程式,並驗證四國比例加總是否為 100%。
  3. 管理反思(討論):
  4. 某公司每天派兩位實習生花 3 小時,到各航運公司官網查貨櫃運價並登錄到 Excel。若改用爬蟲,除了省下的人力,還要額外付出哪些成本(維護、法律風險、網站改版)?是否有比爬蟲更好的做法?
  5. 有賣家在購物節期間每秒對競爭對手送出上千次庫存查詢,試探對方的庫存底線。請從法律、商業倫理、對方系統負擔三個角度評論這種做法。

國立臺中科技大學 國際貿易系 / 企業管理系 專用教材

《現代軟體工程:商學院的 AI 系統思維與 Agent 實踐》

作者:陳俊智 博士 Dr. Chun-Chih Chen

本書章節架構改編自陳鍾誠教授(金門大學)開源課程《現代軟體工程》(github.com/ccc115a/se,MIT 授權),內容針對商學院全面改寫與擴充。