文科生挑战成功python爬虫之淘宝篇👏🏻
- 2025-12-21 03:06:34
文科生挑战成功python爬虫之淘宝篇👏🏻
运用软件：pycharm
整体逻辑：模拟真实用户在淘宝的搜索行为，人工输入检索词、起始页、终止页，通过控制浏览器自动滚动、翻页解析商品信息，将结果保存为excel
代码思路：
1️⃣导入库
playwright：浏览器自动化
pyquery：提取网页元素
time：控制延时，给网页加载预留时间
os：文件和目录操作，保存登录状态
pandas：数据存储与导出
2️⃣撰写平滑滚动函数
3️⃣撰写商品解析函数
使用css选择器定位商品容器，然后遍历每个商品元素并提取关键信息
标题：通过类名.title--ASSt27UY span提取
价格：清理换行符等无关字符
销量：处理\"万\"单位转换为数字
店铺信息：包括店铺名、所在地等
链接信息：商品链接和店铺链接
4️⃣主爬虫函数
浏览器初始化
设置搜索流程：通过xpath定位搜索框和按钮
设置翻页机制
数据储存
问题及解决办法：
❓无法顺利翻页
✅可能是因为网页的父元素选择器经常更新
解决方法：进入chrome的官网，按“F12”检查网页源代码，将页面滑动至最后“翻页栏”处，点击右侧“检查栏”中的鼠标按键，并将鼠标放置在“下一页”按键上，点击代码并“copy xpath”（详细见p3，更详细见csdn的RoundLet_Y介绍的超全面！）
❓起始页不是1时出现报错
✅同上，找到对应位置的代码，copy xpath即可
❓每次都需重新登录
✅ 使用launch_persistent_context保存登录状态，避免每次都需要重新登录
❓网页自动滚动不灵敏
✅将selenium换成playwright更高效
#爬虫 #淘宝爬虫#python自学 #python爬虫 #python代码 #文科生学代码 #代码学习 #研究生日常 #研究生作业 #小红书可以发文件了
整体逻辑：模拟真实用户在淘宝的搜索行为，人工输入检索词、起始页、终止页，通过控制浏览器自动滚动、翻页解析商品信息，将结果保存为excel
代码思路：
1️⃣导入库
playwright：浏览器自动化
pyquery：提取网页元素
time：控制延时，给网页加载预留时间
os：文件和目录操作，保存登录状态
pandas：数据存储与导出
2️⃣撰写平滑滚动函数
3️⃣撰写商品解析函数
使用css选择器定位商品容器，然后遍历每个商品元素并提取关键信息
标题：通过类名.title--ASSt27UY span提取
价格：清理换行符等无关字符
销量：处理\"万\"单位转换为数字
店铺信息：包括店铺名、所在地等
链接信息：商品链接和店铺链接
4️⃣主爬虫函数
浏览器初始化
设置搜索流程：通过xpath定位搜索框和按钮
设置翻页机制
数据储存
问题及解决办法：
❓无法顺利翻页
✅可能是因为网页的父元素选择器经常更新
解决方法：进入chrome的官网，按“F12”检查网页源代码，将页面滑动至最后“翻页栏”处，点击右侧“检查栏”中的鼠标按键，并将鼠标放置在“下一页”按键上，点击代码并“copy xpath”（详细见p3，更详细见csdn的RoundLet_Y介绍的超全面！）
❓起始页不是1时出现报错
✅同上，找到对应位置的代码，copy xpath即可
❓每次都需重新登录
✅ 使用launch_persistent_context保存登录状态，避免每次都需要重新登录
❓网页自动滚动不灵敏
✅将selenium换成playwright更高效
#爬虫 #淘宝爬虫#python自学 #python爬虫 #python代码 #文科生学代码 #代码学习 #研究生日常 #研究生作业 #小红书可以发文件了
本文来自网友投稿或网络内容，如有侵犯您的权益请联系我们删除，联系邮箱：wyl860211@qq.com 。
