python爬虫篇之bs4解析

# 安装bs4pip install beautifulsoup4# 推荐同时安装lxml解析器（速度更快）pip install lxml

from bs4 import BeautifulSoup# 从字符串解析html_doc = """<html><head><title>测试页面</title></head><body>  <p class="intro">这是一个测试页面</p>  <a href="https://example.com" id="link1">链接1</a></body></html>"""soup = BeautifulSoup(html_doc, 'lxml')  # 使用lxml解析器# 或 soup = BeautifulSoup(html_doc, 'html.parser')  # 使用内置解析器# 从文件解析with open('index.html', 'r', encoding='utf-8') as f:    soup = BeautifulSoup(f, 'lxml')# 从网络响应解析（通常配合requests库）import requestsresponse = requests.get('https://example.com')soup = BeautifulSoup(response.text, 'lxml')

最佳实践：默认使用'lxml'，如果环境限制再使用'html.parser'。

# 通过标签名查找（返回第一个匹配）first_p = soup.pfirst_a = soup.find('a')  # 等价于 soup.a# 通过属性查找link = soup.find(id='link1')intro = soup.find(class_='intro')  # 注意：class是Python关键字，需加下划线link2 = soup.find(attrs={'href': 'https://example.com'})  # 任意属性# 结合标签和属性specific_link = soup.find('a', id='link1')

# 查找所有p标签all_paragraphs = soup.find_all('p')# 查找所有a标签all_links = soup.find_all('a')# 查找所有class为intro的元素all_intro = soup.find_all(class_='intro')# 查找所有a标签且class为externalexternal_links = soup.find_all('a', class_='external')# 限制查找数量first_two_links = soup.find_all('a', limit=2)

# 类选择器intro_elements = soup.select('.intro')# ID选择器link_element = soup.select('#link1')# 标签选择器p_elements = soup.select('p')# 组合选择器external_links = soup.select('a.external')header_links = soup.select('header a')# 属性选择器secure_links = soup.select('a[href^="https"]')  # href以https开头pdf_links = soup.select('a[href$=".pdf"]')      # href以.pdf结尾

# 获取文本element = soup.find('p', class_='intro')text = element.text            # 获取元素及其子元素的所有文本text = element.get_text()      # 同上text = element.string          # 仅当元素只有一个字符串子节点时有效texts = element.strings        # 获取所有字符串的生成器stripped_texts = element.stripped_strings  # 获取去空白后的字符串生成器# 获取属性link = soup.find('a')url = link['href']             # 方式1：字典式访问url = link.get('href')         # 方式2：get方法，可设默认值url = link.get('href', '#')    # 如果href不存在，返回'#'# 获取所有属性all_attrs = link.attrs         # 返回属性字典

# 子节点soup.body.contents            # 返回所有子节点的列表（包括换行符等）soup.body.children            # 返回子节点的迭代器soup.body.descendants         # 返回所有后代节点的迭代器# 父节点link.parent                   # 直接父节点link.parents                  # 所有祖先节点的迭代器# 兄弟节点link.next_sibling             # 下一个兄弟节点link.previous_sibling         # 上一个兄弟节点link.next_siblings            # 后面所有兄弟节点的迭代器link.previous_siblings        # 前面所有兄弟节点的迭代器