📋 开篇引言

在数据驱动的时代，能够高效、准确地获取并处理网络上的公开信息，是许多数据分析、市场研究乃至个人兴趣项目的基础。本文旨在分享两个以Python为核心的实用自动化工具，它们分别面向不同的常见数据获取场景。代码结构清晰，注释完整，特别适合希望从“会用”到“能改”的Python初学者及爱好者，用以解决实际中的小问题，并在此过程中巩固相关知识。

🛠️ 第一个工具：简易网页内容监控与抓取

在日常工作中，我们常常需要关注某个网页特定区域的更新情况，例如官网通知、价格变动或新闻摘要。手动刷新不仅低效，还容易遗漏。本工具通过定时访问目标网页，解析特定HTML元素的内容，并与历史记录对比，实现变化监控与自动抓取。

核心功能

定时监控： 可配置时间间隔，自动对目标URL发起请求。

精准定位： 使用BeautifulSoup库，通过HTML标签、ID或CSS选择器精准定位需要监控的内容区域。

变化感知： 将本次获取的内容与上次保存的内容进行比对，仅在发现变化时触发通知和新存储。

本地化存储： 自动将每次变化的完整内容或差异部分以文本文件形式保存，并记录时间戳。

核心代码片段

import requests

from bs4 import BeautifulSoup

import time

import hashlib

from datetime import datetime

defmonitor_webpage(url, selector, interval=3600, history_file=’history.txt’):

“““监控特定网页内容的变化”””

headers = {

’User-Agent‘: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36’

}

try:

response = requests.get(url, headers=headers, timeout=30)

response.raise_for_status()

soup = BeautifulSoup(response.text, ’html.parser’)

target_element = soup.select_one(selector)

ifnot target_element:

print(f“未找到选择器 {selector} 对应的元素。”)

returnNone

current_content = target_element.get_text(strip=True)

current_hash = hashlib.md5(current_content.encode()).hexdigest()

读取历史哈希值

try:

withopen(history_file, ’r’, encoding=’utf-8’) as f:

last_hash = f.read().strip()

except FileNotFoundError:

last_hash = ”

if current_hash != last_hash:

print(f“[{datetime.now()}] 检测到内容变化！”)

保存新内容

timestamp = datetime.now().strftime(“%Y%m%d_%H%M%S“)

withopen(f“change_{timestamp}.txt”, ’w’, encoding=’utf-8’) as f:

f.write(current_content)

更新历史哈希

withopen(history_file, ’w’, encoding=’utf-8’) as f:

f.write(current_hash)

returnTrue, current_content

else:

print(f”[{datetime.now()}] 内容未发生变化。“)

returnFalse, None

except requests.RequestException as e:

print(f“请求网页时出错: {e}“)

returnNone

使用方法

安装依赖：pip install requests beautifulsoup4

工具特点

🔧 第二个工具：API数据获取与规整化存储

核心技术实现

假设API返回格式为 {“items“: [...], ”has_next“: true/false}

示例：数据清洗，选择需要的字段并重命名

假设我们只关心’id’， ‘name’， ‘value‘三个字段，并将’name‘重命名为’名称’

处理缺失值

保存

🚀 使用方法

⚠️ 注意事项

📊 示例输出与流程

🎯 总结