Python爬虫零基础实战②:BeautifulSoup网页解析保姆教程,精准提取文本、链接、图片,彻底告别正则硬匹配

pip install beautifulsoup4 lxml -i https://pypi.douban.com/simple/

from bs4 import BeautifulSoup

import requests from bs4 import BeautifulSoup# 1. 请求头伪装浏览器 headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}# 2. 发送网络请求 url = "https://www.baidu.com"res = requests.get(url, headers=headers, timeout=5) res.encoding = res.apparent_encoding# 3. 初始化bs4解析对象（核心步骤） soup = BeautifulSoup(res.text, "lxml")# 格式化输出网页代码（自动缩进，方便查看结构） print(soup.prettify())

# 获取第一个a标签 a_tag = soup.a # 获取标签文本 print("链接文本：", a_tag.get_text()) # 获取链接地址 print("链接地址：", a_tag.get("href"))

# 查找指定class的div标签 div_tag = soup.find("div", class_="box") # 查找指定id的标签 title_tag = soup.find("h1", id="title")print(title_tag.get_text().strip())

# 查找页面中所有a标签 a_list = soup.find_all("a") # 遍历提取所有链接和文本 for a in a_list:         text = a.get_text().strip()      href = a.get("href")         if text and href:                 print(f"文本：{text}，链接：{href}")

# 导入正则匹配工具 import re # 查找class包含"item"的所有标签 soup.find_all(class_=re.compile("item"))

# 同时匹配标签名+多个属性 soup.find_all("div", class_="content", data-type="article")

# 批量获取所有img标签的src图片地址img_list = soup.find_all("img") for img in img_list:         img_url = img.get("src")         if img_url:        print("图片链接：", img_url)

# 精准匹配文章标题和正文容器 title = soup.find("h1", class_="article-title").get_text().strip()content_box = soup.find("div", class_="article-content") # 获取正文所有文本content = content_box.get_text().strip() print("文章标题：", title) print("文章正文：", content)

# 先定位大容器，再在容器内查找数据（缩小范围，避免数据错乱）box = soup.find("div", class_="news-list") li_list = box.find_all("li") for li in li_list:     news_title = li.find("a").get_text().strip()     news_url = li.find("a").get("href")     print(news_title, news_url)

for a in soup.find_all("a"):     url = a.get("href")     text = a.get_text().strip()     # 过滤空链接、锚点链接、JavaScript伪链接     if url and text and url.startswith("http"):           print("有效链接：", url, text)

import requests from bs4 import BeautifulSoup# 配置请求头 headers = {     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}# 发送请求 url = "https://www.baidu.com" try:      res = requests.get(url, headers=headers, timeout=5)        res.encoding = res.apparent_encoding       # 初始化解析对象      soup = BeautifulSoup(res.text, "lxml")    # 提取网页标题       title = soup.title.get_text()      print("网页标题：", title)        # 批量提取所有有效链接        a_list = soup.find_all("a")        print("===== 有效链接列表 =====")        for a in a_list:               href = a.get("href")                text = a.get_text().strip()               if href and text and href.startswith("http"):                       print(f"{text}：{href}")except Exception as e:        print("请求解析失败：", e)