4.1 商管數位軍火庫:Python 數據分析與網路爬蟲實務
學完本節,你能夠:
- 用 Pandas 把一份「有標題列、小計列、千分位文字」的雜亂報表清乾淨,算出各國毛利率,並用對帳檢查自己有沒有算錯。
- 寫出一支會先查
robots.txt、有禮貌延遲、抓不到價格就停止的競品價格監控爬蟲。 - 判斷一個爬蟲需求在法律與商業倫理上是否站得住腳。
壹、開場情境:一份「算得很快、但多算了兩倍」的月報
📌 以下為教學情境(依實務改編)。
一家外貿電商在美國、德國、日本、台灣都有銷售。每月初,四個市場把訂單整理成一份 Excel 月報交給營運主管。主管要回答老闆兩個問題:
- 哪個市場最不賺錢?(各國毛利率)
- 競爭對手最近有沒有降價?(每天要有人去對手網站看價格)
過去由實習生手動處理:把各幣別金額查匯率換成台幣,再用 Excel 加總。上個月,實習生把整欄「台幣成本」直接加總,交出去的總成本是 NT$ 59,700,實際只有 NT$ 19,900,整整是三倍。原因是報表裡夾著「US 小計」「JP 小計」和最底下的「合計」,它們全被當成訂單又加了一次。
而 Excel 沒有跳出任何錯誤訊息:錯的數字和對的長得一模一樣。
本節要解決的問題: 能不能讓同一套分析步驟每個月都自動、正確地重跑一次,而且算錯時會自己喊停?競品價格能不能每天自動抓回來?
貳、為什麼會這樣:Excel 的極限與「沉默的錯誤」
1. Excel 與 Python 各自擅長什麼
| Excel | Python(Pandas、爬蟲套件) | |
|---|---|---|
| 擅長 | 一次性的小表、與同事來回溝通、快速看一眼 | 每月重複的分析、大量資料、從網頁抓資料 |
| 重複執行 | 每次手動重做,步驟靠記憶 | 程式碼就是步驟紀錄,按一次全部重跑 |
| 出錯時 | 多半沒有任何提示 | 可以寫檢查規則,算錯就停止 |
商管人學 Python,不是為了寫系統底層,而是兩件事:
- 數據分析:用 Pandas 套件把資料整理成「資料表(DataFrame,可以想成程式裡的一張試算表)」,再做清洗、換算、彙總。
- 網路爬蟲(Web Scraping):讓程式自動打開網頁、找出需要的資訊(例如價格)並存下來。
💡 還沒學過 Python 語法? 先讀附錄 G(G.1~G.5:變數、容器、判斷、迴圈、函式)。本節的程式碼都附中文註解,看不懂語法也能照著驗收。
2. 沉默的錯誤:程式會報錯,分析不會
寫程式出錯,電腦通常會跳出錯誤訊息;但做數據分析出錯,往往什麼都不會發生。開源的 AI 資料分析技能 huashu-excel(作者花叔)就是針對這個問題,主張每次分析都要走一套固定流程。本節採用其中六個步驟:
| 步驟 | 要做什麼 | 本節情境中 |
|---|---|---|
| ① 體檢 | 看清楚表格結構與資料型態 | 第 1 列是標題,不是欄名;金額帶逗號,是文字不是數字 |
| ② 清洗 | 去掉不該參與計算的列與符號 | 剔除小計、合計列;去掉千分位逗號 |
| ③ 對齊 | 把不同來源統一成同一個基準 | 各幣別換成台幣;缺匯率就停止 |
| ④ 分析 | 彙總、計算指標 | 各國台幣營收、成本、毛利率 |
| ⑤ 對帳 | 用獨立的數字檢查自己 | 各國成本加總必須等於報表自己的「合計」 |
| ⑥ 交付 | 交出結果,附上怎麼算的 | 印出結果與對帳紀錄 |
第⑤步是關鍵:原始報表的「合計」雖然不能拿來加總,卻是最好的驗算工具。
參、把規則寫下來
老闆說:「給我看各國賺多少。」這句話要先翻成規格。
| 老闆說的話 | 需要追問的問題 | 寫成規格 |
|---|---|---|
| 「各國賺多少」 | 看金額還是比率? | 各國毛利率 = 1 − 台幣成本 ÷ 台幣營收(毛利率除以收入,見第 1.1 節) |
| 「換成台幣」 | 用哪天的匯率? | 本月結算匯率,寫成程式最上方的匯率表 RATES |
| 「哪個不賺錢」 | 多低算不賺錢? | 毛利率 < 25% 標示「⚠️ 低於警戒線」(MIN_MARGIN) |
| (老闆沒說) | 報表裡的小計、合計怎麼辦? | 只用有訂單編號的明細列計算;「合計」列保留做對帳 |
| (老闆沒說) | 某個幣別查不到匯率? | 停止分析並列出缺哪個幣別,不准用 0 或猜測值 |
| (老闆沒說) | 金額欄打錯字? | 停止分析並列出是哪幾張訂單 |
| (老闆沒說) | 算出來跟報表合計不一樣? | 誤差超過 0.01% 就停止,不交付 |
競品價格監控也一樣:
| 說法 | 追問 | 規格 |
|---|---|---|
| 「每天看對手價格」 | 抓哪些網址?可以抓嗎? | 只抓公開商品頁;先檢查 robots.txt,不允許就不抓 |
| 「對手降價要通知我」 | 多低算降價? | 低於 ALERT_PRICE 顯示「⚠️ 對手降價」 |
| (老闆沒說) | 抓太快會怎樣? | 每次請求間隔至少 2 秒(DELAY_SEC) |
| (老闆沒說) | 抓不到價格怎麼辦? | 停止並告警,本輪不產生任何調價建議 |
肆、讓 AI 做出來
1. 原始報表長這樣
第 1 列是標題「跨國訂單月報 2026-09」,第 2 列才是欄名(訂單編號|國家|幣別|金額|台幣成本);六張訂單之間夾著各國「小計」列,最後一列是「合計」NT$ 19,900,金額都是含千分位逗號的文字。完整內容就是下方程式碼中的 RAW。這是典型「給人看很清楚、給程式算很危險」的報表。
2. 給 AI 的 Prompt
你是熟悉 Pandas 的商業資料分析師。
【資料】Excel 月報:第 1 列是標題,第 2 列才是欄名:
訂單編號|國家|幣別|金額|台幣成本
金額與成本是含千分位逗號的文字。報表中夾有「XX 小計」列與最後一列「合計」,這些列沒有訂單編號。
【規則】
1. 只用有訂單編號的明細列計算。
2. 依匯率表(USD 32.5、EUR 35.2、JPY 0.22、TWD 1.0)換算台幣營收。
3. 依國家彙總營收與成本,毛利率 = 1 − 成本 ÷ 營收。
4. 毛利率 < 25% 標示「⚠️ 低於警戒線」。
5. 匯率表、25%、對帳容許誤差 0.01% 都放在程式最上方的常數。
【例外處理】以下情況一律停止並說明原因,不准用預設值繼續:
- 金額或成本無法轉成數字(列出訂單編號)
- 出現匯率表沒有的幣別
- 各國成本加總與報表「合計」不符
【輸出要求】可在 Google Colab 直接執行;附中文註解,並用註解標出體檢、清洗、對齊、分析、對帳、交付六個步驟。
3. AI 產出的程式碼(已人工驗收)
import io
import pandas as pd
# ===== 分析規則(經理人只需要改這裡)=====
RATES = {'USD': 32.5, 'EUR': 35.2, 'JPY': 0.22, 'TWD': 1.0} # 對台幣匯率(教學假設值)
MIN_MARGIN = 0.25 # 國別毛利率警戒線
TOLERANCE = 0.0001 # 對帳容許誤差:0.01%
# 分公司回報的原始報表(實務上改成 pd.read_excel('檔名.xlsx', header=1, dtype=str))
RAW = """跨國訂單月報 2026-09,,,,
訂單編號,國家,幣別,金額,台幣成本
ORD-001,US,USD,120,"2,500"
ORD-002,US,USD,240,"5,000"
,US 小計,,,"7,500"
ORD-003,DE,EUR,95,"2,200"
,DE 小計,,,"2,200"
ORD-004,JP,JPY,"15,000","2,600"
ORD-005,JP,JPY,"30,000","5,200"
,JP 小計,,,"7,800"
ORD-006,TW,TWD,"3,200","2,400"
,TW 小計,,,"2,400"
,合計,,,"19,900"
"""
def to_number(col):
"""去掉千分位逗號後轉成數字;轉不過去的會變成 NaN,交給後面檢查"""
return pd.to_numeric(col.str.replace(',', '', regex=False), errors='coerce')
# ① 體檢:跳過第 1 列標題,全部先當文字讀進來
df = pd.read_csv(io.StringIO(RAW), header=1, dtype=str)
# ② 清洗:有訂單編號的才是明細;小計、合計列另外放
detail = df[df['訂單編號'].notna()].copy()
report_total = to_number(df.loc[df['國家'] == '合計', '台幣成本']).iloc[0]
detail['金額'] = to_number(detail['金額'])
detail['台幣成本'] = to_number(detail['台幣成本'])
bad = detail[detail[['金額', '台幣成本']].isna().any(axis=1)]
if not bad.empty:
raise ValueError(f'🛑 金額或成本無法辨識:{list(bad["訂單編號"])},請修正原始報表')
# ③ 對齊:每種幣別都必須有匯率,缺一個就停止(不准用 0 或猜測值)
missing = set(detail['幣別']) - set(RATES)
if missing:
raise ValueError(f'🛑 缺少匯率:{missing},分析停止')
detail['台幣營收'] = detail['金額'] * detail['幣別'].map(RATES)
# ④ 分析:依國家彙總,毛利率 = 1 − 成本 ÷ 營收
summary = detail.groupby('國家')[['台幣營收', '台幣成本']].sum()
summary['毛利率'] = 1 - summary['台幣成本'] / summary['台幣營收']
summary['狀態'] = summary['毛利率'].map(lambda m: '✅' if m >= MIN_MARGIN else '⚠️ 低於警戒線')
# ⑤ 對帳:各國成本加總必須等於報表自己的「合計」,不符就不交付
my_total = summary['台幣成本'].sum()
if abs(my_total - report_total) > report_total * TOLERANCE:
raise ValueError(f'🛑 對帳失敗:分析加總 {my_total:,.0f} ≠ 報表合計 {report_total:,.0f}')
# ⑥ 交付:印出結果與對帳紀錄
print(summary.round({'台幣營收': 0, '毛利率': 3}))
print(f'對帳通過:分析加總 {my_total:,.0f} = 報表合計 {report_total:,.0f}')
執行結果整理如下:
| 國家 | 台幣營收 | 台幣成本 | 毛利率 | 狀態 |
|---|---|---|---|---|
| DE | 3,344 | 2,200 | 34.2% | ✅ |
| JP | 9,900 | 7,800 | 21.2% | ⚠️ 低於警戒線 |
| TW | 3,200 | 2,400 | 25.0% | ✅ |
| US | 11,700 | 7,500 | 35.9% | ✅ |
對帳通過(19,900 = 19,900)。日本營業額第二高,毛利率卻最低:下一步該檢討的是日本市場的定價或成本。
🔍 驗收重點(不懂語法也能檢查) - 匯率、25%、0.01% 是否都在最上方,而不是埋在程式中間? - 毛利率是否除以營收(
台幣營收),而不是除以成本? - 三種例外(看不懂的金額、缺匯率、對帳不符)是否都會停止,而不是印個警告就繼續算? - 「合計」列有沒有被拿去加總?(它只能拿來對帳。)
4. 執行步驟
- 打開 Google Colab,新增筆記本(Pandas 已內建,不用安裝)。
- 把程式碼貼進一個儲存格,按 ▶ 執行,核對結果是否與上表相同。
- 換成真實檔案時:左側上傳 Excel,把
pd.read_csv(io.StringIO(RAW), ...)改成pd.read_excel('檔名.xlsx', header=1, dtype=str)。
5. 第二支程式:競品價格監控爬蟲
爬蟲的流程只有三步:送出請求拿到網頁 → 從網頁原始碼(HTML)找出價格 → 依規則判斷。本例用 Requests 取得網頁、BeautifulSoup 找出價格標籤;遇到需要執行 JavaScript 或登入的網站,則要改用 Playwright、Selenium 這類能操控真實瀏覽器的工具。
以下範例使用 Books to Scrape,這是專門給人練習爬蟲的示範書店網站,商品與價格都是假資料,可以放心練習。
import re
import time
import urllib.robotparser
from urllib.parse import urljoin
import requests
from bs4 import BeautifulSoup
# ===== 監控規則(經理人只需要改這裡)=====
URLS = [
'https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html',
'https://books.toscrape.com/catalogue/sharp-objects_997/index.html',
]
ALERT_PRICE = 50.00 # 對手價格低於此值,視為降價促銷
DELAY_SEC = 2 # 每次請求之間至少休息 2 秒
USER_AGENT = 'BusinessCourseBot/1.0 (classroom exercise)' # 誠實表明身分
class PriceError(Exception):
"""抓不到或看不懂價格時丟出,讓主程式停止"""
def allowed_by_robots(url):
"""先問網站的 robots.txt:這個網址允許機器人抓嗎?"""
rp = urllib.robotparser.RobotFileParser(urljoin(url, '/robots.txt'))
rp.read()
return rp.can_fetch(USER_AGENT, url)
def parse_price(html):
"""從網頁 HTML 找出價格;找不到就丟錯,絕不回傳猜測值"""
soup = BeautifulSoup(html, 'html.parser')
tag = soup.select_one('p.price_color') # 價格所在的標籤
if tag is None:
raise PriceError('找不到價格標籤,網站可能改版了')
digits = re.sub(r'[^\d.]', '', tag.get_text()) # 只留數字與小數點
if not digits:
raise PriceError(f'價格格式無法辨識:{tag.get_text()!r}')
return float(digits)
def fetch_price(url):
if not allowed_by_robots(url):
raise PriceError('robots.txt 不允許抓取此網址')
resp = requests.get(url, headers={'User-Agent': USER_AGENT}, timeout=10)
resp.raise_for_status() # 404、500 等錯誤直接丟錯
return parse_price(resp.text)
for url in URLS:
try:
price = fetch_price(url)
except (PriceError, OSError) as e: # OSError 涵蓋斷線、逾時、被拒絕連線
print(f'🛑 監控停止:{url}\n 原因:{e}\n 本輪不產生任何調價建議,請人工確認。')
break
flag = '⚠️ 對手降價,請評估是否跟進' if price < ALERT_PRICE else '✅ 價格正常'
print(f'{price:>7.2f} {flag} {url}')
time.sleep(DELAY_SEC)
🔍 驗收重點 - 有沒有先檢查
robots.txt?有沒有time.sleep禮貌延遲? - 抓不到價格時,是停止並說明原因,還是偷偷回傳 0 或上次的價格?(回傳 0 會被判定成「對手降價」,觸發錯誤的跟價決策。) - 價格只留數字(re.sub):網站編碼不同時,英鎊符號可能顯示成亂碼「£」,只取數字可避免轉換失敗。
在 Colab 執行時(requests、bs4 已內建),每個網址印出一行「價格+判斷」;若連不到網站,會看到「🛑 監控停止」與原因,這正是我們要的行為。
伍、跑跑看、壞給你看
每做完一個實驗,把程式改回原狀再做下一個。
| 實驗 | 操作 | 預期結果 | 想想看 |
|---|---|---|---|
| ① 重現實習生的錯 | 新增一個儲存格執行:to_number(df['台幣成本']).sum() |
得到 59,700,是正確值 19,900 的 3 倍(多算 200%) | 小計+合計各把明細又算了一次。Excel 會提醒你嗎? |
| ② 打錯字 | 把 ORD-005 的成本 "5,200" 改成 "5,2OO"(字母 O) |
🛑 金額或成本無法辨識:['ORD-005'] | 如果用 errors='coerce' 卻不檢查,這張單會變成什麼? |
| ③ 缺匯率 | 從 RATES 刪掉 'JPY': 0.22 |
🛑 缺少匯率:{'JPY'},分析停止 | 如果缺匯率時用 0 代替,日本的毛利率會變成多少? |
| ④ 漏一列 | 刪掉 ORD-006 那一列(模擬複製貼上漏掉) | 🛑 對帳失敗:分析加總 17,500 ≠ 報表合計 19,900 | 沒有第⑤步,這份報告會少了整個台灣市場,誰會發現? |
| ⑤ 網站改版 | 把爬蟲的 'p.price_color' 改成 'p.price' |
🛑 監控停止,原因:找不到價格標籤 | 爬蟲最常見的失敗就是對方改版。為什麼「停下來」比「繼續跑」好? |
另外注意 TW 的毛利率剛好 25.0%,狀態是 ✅:規格寫的是「< 25% 才警示」,等於警戒線不算。邊界值歸哪一邊,要在規格表裡寫清楚(第 2.4 節會專門練習)。
陸、回到情境
有了這兩支程式,月報不再靠實習生記得「不要加到小計」,而是每個月照同一套步驟重跑,算錯時會自己停下來;競品價格也能每天自動抓,抓不到時會明白告訴你,而不是給你一個假價格。
爬蟲的法律與倫理紅線
資料授權嗎?"} B -- 有 --> C["優先使用 API
(第 4.3 節)"] B -- 沒有 --> D{"robots.txt 與服務條款
允許嗎?"} D -- 不允許 --> E["不要抓;改洽談合作"] D -- 允許 --> F{"涉及個人資料、
需登入或付費的內容?"} F -- 是 --> G["停止:須取得授權
並符合個資法"] F -- 否 --> H["加上延遲、表明身分
只抓需要的欄位"]
| 紅線 | 說明 |
|---|---|
robots.txt |
網站寫給機器人的規則(網址/robots.txt)。它本身不是法律,但違反它通常也違反網站服務條款,可能構成違約 |
| 請求頻率 | 高頻請求會加重對方伺服器負擔,可能被封鎖 IP;造成對方系統無法運作者,可能觸及刑法「妨害電腦使用罪」 |
| 個人資料 | 蒐集可識別個人的資料(姓名、聯絡方式、會員評論帳號等)受《個人資料保護法》規範 |
這套做法還做不到的事
| 限制 | 後果 | 在哪一節解決 |
|---|---|---|
| 月報仍要人工匯出 Excel 再上傳 | 有人忘記匯出,分析就延誤 | 4.2 用自動化工具串接、4.3 直接透過 API 取資料 |
| 爬蟲依賴網頁結構 | 對方一改版就要修程式 | 4.3 優先使用官方 API |
| 程式是 AI 寫的 | 規則寫錯或漏例外,也會照樣執行 | 4.5 AI 時代的 Code Review |
| 匯率是手動寫在程式裡 | 匯率過期,毛利率就失真 | 1.3 連網抓匯率的做法可以移植過來 |
本節小結
- 分析出錯通常是沉默的:沒有錯誤訊息,錯的數字和對的長得一樣。
- 體檢 → 清洗 → 對齊 → 分析 → 對帳 → 交付;其中對帳是讓程式自己抓自己錯的關鍵。
- 例外情況(缺匯率、抓不到價格)一律停止並說明原因,不用 0 或猜測值繼續做商業判斷。
- 爬蟲能力越強,越要先問:可以抓嗎?抓多快?抓到誰的資料?
柒、練習
- 改數字(5 分鐘):日圓再貶,
JPY匯率變成 0.20。只改一行,日本的毛利率變成多少?(答案應為 13.3%。)再把MIN_MARGIN改成 0.30,哪些國家會亮警示? - 加功能(20 分鐘):老闆想同時看「各國營收佔全公司營收的比例」。請先在第參段的規格表加一列,再修改 Prompt 請 AI 產生新版程式,並驗證四國比例加總是否為 100%。
- 管理反思(討論):
- 某公司每天派兩位實習生花 3 小時,到各航運公司官網查貨櫃運價並登錄到 Excel。若改用爬蟲,除了省下的人力,還要額外付出哪些成本(維護、法律風險、網站改版)?是否有比爬蟲更好的做法?
- 有賣家在購物節期間每秒對競爭對手送出上千次庫存查詢,試探對方的庫存底線。請從法律、商業倫理、對方系統負擔三個角度評論這種做法。