场景：竞品价格监控，定时爬取电商网站商品价格表
做运营、做数据分析的朋友，大概率都遇到过这种场景：老板让你每周一早上交一份竞品价格监控表，你得挨个打开淘宝、京东、拼多多的商品页，把价格、销量、促销信息一个个复制到Excel里。10个SKU还好，要是100个、1000个呢？一上午就耗在这上面了，还容易出错。
这时候，网页表格数据抓取（Web Scraping）就是你的救命稻草。今天我们就围绕“竞品价格监控”这个刚需场景，深入对比 Python 和 Excel VBA 两种实现路径，不讲虚的，只讲实战中能落地的代码和避坑指南。
一、为什么是表格数据抓取？
电商网站的商品列表页，本质上就是一个巨大的HTML表格。虽然前端展示得很炫酷，但在代码层面，数据往往藏在 <table>标签或结构化的 <div>标签中。
我们的目标很明确：自动化获取这些结构化数据，并清洗成Excel可分析的格式。
二、技术选型：Python VS Excel VBA
在开始写代码前，我们必须先搞清楚两者的底层逻辑差异，这决定了你在什么情况下该用什么工具。
维度 | Python (requests + BeautifulSoup) | Excel VBA (QueryTables / IE) |
|---|
核心优势 | 生态极强，库多，处理速度快，反爬应对能力强 | 无需安装新软件，直接内嵌于Excel，适合轻量级任务 |
底层依赖 | HTTP协议请求，解析HTML DOM树 | 依赖Windows系统组件（如IE浏览器内核） |
上手难度 | 需要安装Python环境，学习语法 | Excel自带，但语法晦涩，调试困难 |
稳定性 | 高（只要网页结构不变） | 低（IE已退役，Win11兼容性差，弹窗易崩） |
适用场景 | 大规模数据、复杂逻辑、定时任务 | 临时查看数据、老机器环境、拒绝装软件 |
核心结论：如果是长期运行的竞品监控系统，首选Python；如果只是临时抓几条数据，且电脑没法装Python，再用VBA。
三、Python实战：requests + BeautifulSoup
Python之所以是爬虫界的王者，是因为它的库太丰富了。requests负责模拟浏览器发请求，BeautifulSoup（简称bs4）负责解析网页。
1. 环境准备
确保你安装了以下库：
pip install requests beautifulsoup4 pandas openpyxl lxml
2. 分析网页结构（关键步骤）
假设我们要抓取某电商网站（为了合规，此处以静态示例页面为例）的商品列表。
按 F12打开开发者工具，使用左上角的箭头点击价格，你会发现价格通常在这样的结构中：
<tableclass="price-table"> <tr> <tdclass="product-name">商品A</td> <tdclass="price">¥ 99.00</td> <tdclass="sales">2000+评价</td> </tr></table>
记住这两个关键信息：标签名（td）和 类名（class）。
3. 代码实现：通用爬虫模板
下面是一个健壮的爬虫脚本，包含了请求头伪装、异常处理和数据清洗。
import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport timeimport random# 1. 定义请求头（非常重要，模拟浏览器，防止被封）HEADERS = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Cookie': '这里填入你登录后的Cookie，用于抓取需要登录的数据'}# 2. 目标URL（示例）URL = 'https://example.com/product-list'def scrape_product_prices(url): """ 抓取网页表格数据并返回DataFrame """ try: # 发送HTTP GET请求 response = requests.get(url, headers=HEADERS, timeout=10) # 检查状态码，200表示成功 response.raise_for_status() # 使用lxml解析器解析HTML soup = BeautifulSoup(response.text, 'lxml') # 定位表格，这里根据实际情况修改 # 方法一：通过class查找 table = soup.find('table', class_='price-table') # 存储数据的列表 data = [] # 遍历表格行 tr for row in table.find_all('tr')[1:]: # [1:]是为了跳过表头 cols = row.find_all('td') if len(cols) >= 3: product_name = cols[0].text.strip() price = cols[1].text.strip().replace('¥', '').replace(',', '') sales = cols[2].text.strip() data.append({ '商品名称': product_name, '价格': float(price), '销量': sales, '抓取时间': pd.Timestamp.now() }) # 转换为DataFrame df = pd.DataFrame(data) return df except requests.RequestException as e: print(f"请求失败: {e}") return None except Exception as e: print(f"解析失败: {e}") return Noneif __name__ == '__main__': # 执行抓取 df_result = scrape_product_prices(URL) if df_result is not None: # 保存为Excel df_result.to_excel('竞品价格监控.xlsx', index=False) print(f"抓取完成，共获取 {len(df_result)} 条数据") # 简单的价格分析 print(f"平均价格: {df_result['价格'].mean():.2f}") print(f"最低价格: {df_result['价格'].min():.2f}")
4. 进阶：使用 pandas.read_html() 的懒人方法
如果网页是标准的 <table>标签，且不需要复杂的反爬处理，pandas提供了一个“外挂”函数 read_html，一行代码搞定。
import pandas as pd# 一行代码读取网页中的所有表格# 注意：该方法会自动处理合并单元格，但速度较慢，且依赖lxml/html5libtables = pd.read_html('https://example.com/product-list')# tables是一个list，包含了网页中所有的tabledf = tables[0] # 通常第一个table就是我们需要的数据df.to_excel('竞品价格监控_simple.xlsx', index=False)
对比总结：
BeautifulSoup：灵活度高，适合复杂页面，是所有爬虫的基础。
pandas.read_html：开发效率极高，适合快速验证和简单页面，但可控性差。
四、Excel VBA实战：老骥伏枥
虽然微软已经停止了对IE的支持，但在很多国企、银行的旧系统中，VBA依然是不得不用的工具。这里我们介绍两种方法：InternetExplorer.Application（模拟浏览器）和 QueryTables（直连查询）。
1. 方法一：QueryTables（推荐，较快）
QueryTables适合抓取简单的、不需要JS渲染的表格数据。它本质上是向网页发送一个查询请求。
Sub WebScrape_QueryTable() Dim ws As Worksheet Dim qt As QueryTable Dim url As String Set ws = ThisWorkbook.Sheets("Sheet1") url = "https://example.com/product-list" ' 清除旧数据 ws.Cells.Clear ' 添加QueryTable Set qt = ws.QueryTables.Add( _ Connection:="URL;" & url, _ Destination:=ws.Range("A1")) With qt .Name = "竞品数据" .FieldNames = True .RowNumbers = False .FillAdjacentFormulas = False .PreserveFormatting = True .RefreshOnFileOpen = False .BackgroundQuery = True .RefreshStyle = xlInsertDeleteCells .SavePassword = False .SaveData = True .AdjustColumnWidth = True .RefreshPeriod = 0 .WebSelectionType = xlAllTables ' 抓取所有表格 .WebFormatting = xlWebFormattingNone .WebPreFormattedTextToColumns = True .WebConsecutiveDelimitersAsOne = True .WebSingleBlockTextImport = False .WebDisableDateRecognition = False .WebDisableRedirectedForHttps = False .Refresh BackgroundQuery:=False ' 同步刷新，等待完成 End With MsgBox "数据抓取完成！"End Sub
痛点：现代电商网站大量使用Ajax异步加载和JavaScript渲染，QueryTables只能抓取静态HTML源码，对于动态加载的价格数据，往往是抓不到的。
2. 方法二：InternetExplorer.Application（不推荐，仅作对比）
这种方法会真的打开一个IE窗口，等待JS执行完毕后再读取DOM。
Sub WebScrape_IE() Dim ie As Object Dim html As Object Dim trs As Object Dim tr As Object Dim tds As Object Dim i As Integer, j As Integer ' 创建IE对象 Set ie = CreateObject("InternetExplorer.Application") ie.Visible = True ' 可见，方便调试 ' 导航到网页 ie.Navigate "https://example.com/product-list" ' 等待页面加载完成 Do While ie.Busy Or ie.ReadyState <> 4 DoEvents Loop ' 等待JS执行（这是关键，VBA无法智能等待Ajax，只能强制等待） Application.Wait Now + TimeValue("00:00:05") ' 获取HTML文档 Set html = ie.Document ' 查找表格行 Set trs = html.getElementsByTagName("tr") i = 1 For Each tr In trs Set tds = tr.getElementsByTagName("td") j = 1 For Each td In tds Cells(i, j).Value = td.innerText j = j + 1 Next td i = i + 1 Next tr ' 清理 ie.Quit Set ie = Nothing MsgBox "抓取完成！"End Sub
VBA的致命缺陷：
依赖IE：Win11已移除IE，此代码大概率报错。
效率低下：每次都要启动浏览器进程，且无法并发。
稳定性差：网络波动或弹窗会导致程序崩溃。
反爬弱：无法轻易修改Headers和Cookies，容易被封IP。
五、定时任务的部署
Python：Windows任务计划程序
写好 scrape.py后，打开“任务计划程序”，创建一个基本任务：
触发器：每天/每小时。
操作：启动程序。
程序：python.exe
参数：D:\scripts\scrape.py
起始于：`D:\scripts`
这样，你的竞品监控系统就能无人值守运行了。
VBA：Workbook_Open事件
VBA的定时比较鸡肋，通常配合 Workbook_Open事件，打开文件时自动刷新。
Private Sub Workbook_Open() Call WebScrape_QueryTableEnd Sub
但这需要人工打开文件，无法实现真正的服务器级定时。
六、合规与反爬提醒
Robots协议：查看网站的 robots.txt，尊重网站的爬取规则。
频率控制：不要高频请求，使用 time.sleep()间隔几秒，做一个“有礼貌”的爬虫。
法律风险：严禁抓取用户隐私数据或商业机密，仅用于公开数据的个人学习与分析。
七、总结
回到我们的主题：竞品价格监控。
Python 提供了完整的解决方案：从抓取、清洗、分析到存储、定时任务，形成了一个闭环。它的生态系统（如Scrapy框架、Selenium、Playwright）能够应对任何复杂的网页结构。
VBA 更像是一个临时的“补丁”，在受限环境下勉强可用，但在性能、稳定性和未来兼容性上都处于劣势。
对于职场人来说，掌握Python爬虫不仅能解决眼前的表格抓取问题，更是迈向数据分析师、自动化办公专家的重要一步。
八、随堂测验
为了检验大家的学习成果，以下是5道关于网页抓取技术的选择题：
在使用 Python 的 requests 库发送 GET 请求时，为了防止被网站识别为爬虫而封禁 IP，通常需要设置哪个参数来模拟浏览器？
A. params
B. headers(特别是 User-Agent)
C. proxies
D. cookies
Excel VBA 中的 InternetExplorer.Application方法在 Windows 11 系统中面临的主要技术风险是什么？
A. 代码语法完全不同
B. 微软已废弃 Internet Explorer (IE)，导致兼容性问题
C. 无法抓取 HTTPS 协议的网站
D. 运行速度比 Python 快太多导致数据丢失
对于包含标准 <table>标签的静态网页，以下哪个 Python 代码片段能以最简单的方式将数据读入 DataFrame？
A. pd.read_csv(url)
B. pd.read_html(url)[0]
C. BeautifulSoup(requests.get(url).text)
D. open(url).read()
在 VBA 的 QueryTables方法中，属性 .WebSelectionType = xlAllTables的含义是？
A. 只抓取网页中的第一个表格
B. 抓取网页中所有的表格数据
C. 只抓取指定的单个单元格
D. 抓取网页中的图片
相比于 VBA，Python 在进行网页数据抓取时的核心优势不包括以下哪一项？
A. 拥有丰富的第三方库（如 BeautifulSoup, Scrapy）
B. 可以轻松处理 JavaScript 动态渲染的内容（配合 Selenium 等）
C. 完全不需要考虑网站的 Robots 协议和反爬策略
D. 支持多线程/异步操作，效率更高
九、参考答案
B
B
B
B
C
10个月宝宝每天需要喝多少奶粉？
