抓取时让 Python 的 Beautiful Soup 更快的 10 个技巧

在本指南中，我将分享 10 个简单技巧，帮助加速你的 Beautiful Soup 抓取项目。这些技巧能让你在不损失准确性、不遗漏重要数据的情况下，更快速、更高效地抓取。让我们开始吧！

使用 requests Session 优化网络请求

Beautiful Soup 主要是一个解析工具，也就是说，它在你获取数据之后才开始工作。但任何网页抓取任务的第一步都是从网站获取 HTML 或 XML，通常使用 requests 库完成。一个常见错误是对你抓取的每个页面都发送一次新的 requests.get() 调用。这种做法效率低，因为每个请求都需要建立新连接、执行 DNS 查询，并且可能还需要 SSL 握手。

解决方案：使用 requests.Session()。requests 中的 session 对象会在多个请求之间保持状态，并复用底层 TCP 连接，从而显著减少网络开销所花费的时间。

示例：

import requests

session = requests.Session()

response = session.get('https://example.com')

在抓取多个页面时，Session 可以缩短响应时间，让整个流程快得多。

限制解析范围

Beautiful Soup 允许你解析整个文档，但如果你知道自己感兴趣的是 HTML 中的某个特定部分，直接定位该区域会高效得多。不要解析整个文档，而是将解析限制在特定标签或区块中。

解决方案：使用 find() 或 find_all() 方法缩小搜索范围。这可以避免 Beautiful Soup 扫描 HTML 中不必要的部分。

示例：

soup = BeautifulSoup(html_doc, 'html.parser')

Target specific section

content = soup.find('div', {'class': 'content'})

通过缩小搜索范围，你可以显著加快解析速度，尤其是在处理大型 HTML 文档时。

使用合适的解析器

Beautiful Soup 支持多种解析器，例如 HTML.parser、XML 和 HTML5lib。每种解析器都有不同的性能特点。默认情况下，Beautiful Soup 使用 Python 内置的 HTML.parser，它很方便，但不是最快的。

解决方案：切换到更快的解析器，例如 XML，这是一种高度优化、基于 C 的解析器，可以大幅减少解析时间。

示例：

from bs4 import BeautifulSoup

Use lxml parser for faster performance

soup = BeautifulSoup(html_doc, 'lxml')

切换到 lxml 可以将你的 Beautiful Soup 脚本性能提升最高 10 倍。

缓存重复的解析任务

如果你反复抓取相同或相似的 HTML 结构，可以通过缓存已解析数据的结果来节省时间。当你多次抓取同一个网站时，这一点尤其有用。

解决方案：使用 functools.lru_cache 等库来缓存高成本解析操作的结果。

示例：

from bs4 import BeautifulSoup

from functools import lru_cache

@lru_cache(maxsize=100)

def parse_html(html):

return BeautifulSoup(html, 'lxml')

Now the parsing is cached

soup = parse_html(html_doc)

通过缓存解析后的数据，你可以避免重复解析，并加快重复操作的速度。

使用多线程

并发抓取多个页面可以加快整个流程。Beautiful Soup 本身并非线程安全，但 requests 库是线程安全的。你可以使用多线程同时获取多个页面，然后并行地用 Beautiful Soup 处理每个页面。

解决方案：使用 Python 的 concurrent.futures 或 threading，在你的网页抓取代码中实现多线程。

示例：

import concurrent.futures

import requests

from bs4 import BeautifulSoup

urls = ['https://example.com/page1', 'https://example.com/page2']

def fetch_page(url):

response = requests.get(url)

return BeautifulSoup(response.content, 'lxml')

with concurrent.futures.ThreadPoolExecutor() as executor:

results = executor.map(fetch_page, urls)

Process results faster

for soup in results:

print(soup.title.text)

使用多个线程，你可以一次获取并解析多个页面，从而减少抓取任务的总体耗时。

限制 DOM 遍历深度

有时，你可能会在不必要的情况下过度遍历 DOM。Beautiful Soup 允许你通过 .find_parent()、.find_next_sibling() 等方法遍历 DOM 树。虽然这些方法很有用，但不必要的遍历会拖慢你的爬虫工具。

解决方案：避免过深且重复的 DOM 遍历。明确你需要哪个元素，并直接访问它，不要依赖多层遍历。

示例：

Instead of chaining multiple navigations

element = soup.find('div').find_next_sibling().find('span')

Target the specific element directly

element = soup.select_one('div + span')

减少 DOM 遍历深度能让你的抓取更高效，并减少不必要的处理时间。

解析前预处理 HTML

有时，你抓取到的 HTML 会包含大量不必要的空白、注释或 JavaScript，这会拖慢解析速度。在将 HTML 交给 Beautiful Soup 之前，先预处理并移除不必要的部分，可以加快解析阶段。

解决方案：使用正则表达式或字符串方法，在传给 Beautiful Soup 之前预处理并清理 HTML。

示例：

import re

Remove script tags and comments before parsing

cleaned_html = re.sub(r'<script.*?', '', html_doc)

cleaned_html = re.sub(r'<! - .*? →', '', cleaned_html)

soup = BeautifulSoup(cleaned_html, 'lxml')

以这种方式预处理 HTML 可以减轻 Beautiful Soup 的负担，并提升解析速度。

批量处理多个页面

在抓取多个页面时，批量处理比逐页获取、解析和保存更高效。通过批处理任务，你可以减少在不同操作之间不断切换所带来的开销。

解决方案：使用 session 一次获取多个页面，并分批处理它们。

示例：

import requests

from bs4 import BeautifulSoup

session = requests.Session()

urls = ['https://example.com/page1', 'https://example.com/page2']

responses = [session.get(url) for url in urls]

soups = [BeautifulSoup(response.content, 'lxml') for response in responses]

Now process the soups

for soup in soups:

print(soup.title.text)

一次批量处理多个页面，可以同时优化网络请求和解析操作。

简化数据提取

如果你反复提取相同的元素，可以通过预先定义所需元素并避免复杂的 CSS 选择器来提升数据提取速度。

解决方案：使用简单选择器或 XPath 直接访问元素，减少复杂搜索操作的需求。

示例：

Instead of using multiple class or id selectors

title = soup.find('div', {'class': 'article-title'}).find('h1')

Use a more direct CSS selector or XPath

title = soup.select_one('.article-title h1')

直接访问方法比串联多个 find 操作快得多，也能降低抓取代码的复杂度。

分析你的代码性能

最后，如果你仍然遇到性能问题，最好对代码进行性能分析，以找出瓶颈。Python 内置了 cProfile 等工具，可以帮助你定位代码中较慢的部分。

解决方案：使用 cProfile 测量不同函数耗费的时间，并找出可以优化的区域。

示例：

import cProfile

def scrape_site():

Your scraping code here

pass

cProfile.run('scrape_site()')

对代码进行性能分析会显示抓取流程中哪些部分耗时最多，让你能够有效地集中优化工作。

高效 HTML 解析的 7 个技巧

以下是一些高效解析 HTML 的简单技巧：

1. 导航 DOM 树： DOM 就像一棵由对象组成的树，用来表示 HTML 结构。理解它有助于快速提取数据。
2. 遍历 DOM： 使用 .parent 访问父元素，使用 .children 循环遍历子元素。使用 .next_sibling 和 .previous_sibling 在同一层级的元素之间移动。
3. 搜索 DOM： 使用 find() 或 find_all() 查找特定标签和属性，或使用 select() 进行 CSS 风格查询。
4. 处理大型文档： 为了加快大文件解析速度，使用 lxml 解析器，并考虑安装 cchardet 以实现更快的编码检测。SoupStrainer 也可以帮助限制需要解析的内容。
5. 修改解析树： Beautiful Soup 允许你添加、删除或编辑 HTML 元素，这在清理数据时很有帮助。
6. 错误处理和日志记录： 使用 try-except 块包裹代码，以处理格式错误的 HTML 等错误，并记录这些问题以便调试。
7. 与其他工具集成： 对于 JavaScript 较重的网站，可以将 Beautiful Soup 与 Selenium 或 Playwright 等工具结合使用，以有效抓取动态内容。

结论

Beautiful Soup 是一个很棒的网页抓取工具，但如果没有正确优化，它可能会变慢。我发现，通过调整一些方面——比如选择合适的解析器、减少在网页中搜索的范围，以及使用 SoupStrainer 等工具——我们可以让它运行得更快。我还会使用 session 缓存和多线程来进一步提速。这些改动能让抓取更快、更可靠，并且随着项目增长更容易扩展。

有问题吗？请在评论中告诉我！

想了解更多关于网页抓取的内容？阅读我最近的一些文章：

• 使用 Scrapy 进行网页抓取
• 使用 Selenium 进行网页抓取
• 用于网页抓取的 JavaScript 与 Python 对比
• 使用 Python lxml 进行网页抓取
• 使用 Excel 进行网页抓取
• 使用 Python 进行网页抓取