AI时代:编程小白也能用自然语言实现Python爬虫

距离上一次写文已经快三个月了，今天终于迎来了我的爬虫终章~

我的工作中，有一部分内容是每月从网站上下载资料，然后保留源格式复制到Word文档，用指定编号命名。有时候是几条，有时候十几条。从上一任交接到我手里，这活一直是手动重复操作——既枯燥又没有技术含量。

但在AI模型和智能体发展的背景下，我突然意识到：这完全可以用AI来实现。虽然过程中走了不少弯路，但最终我找到了方法。下面分享一下我的思路和实践过程——即使你是编程小白，也能参考着做。

---

用AI实现爬虫的步骤（自然语言+几张图片就够）

1. 确定目标网址（URL）
   
   首先明确你要抓取的网页地址。
2. 判断网页类型
   
   网页是静态还是动态？不会判断没关系，在描述需求时一并告诉AI，让AI帮你判断。

3. 处理二级网页
   如果内容在二级网页，告诉AI超链接位置，或者直接截图一级网页表格，并用自然语言描述需求。例如，我的网页表格列出了日期、编号、标题等信息，我告诉AI：

   我想抓取指定日期、指定编号的内容，标题有二级网页链接，进入二级网页后保留源格式复制到Word文档。

4. 元素定位
   
   大部分网页元素是通用的。我用Chrome检查元素，截图给AI即可。不会操作的可以参考教程：Python 爬虫自学4 Chrome检查找到元素定位。
5. 需求即提示词
   
   你的描述就是提示词。AI生成代码后，如果报错或结果不满意，直接把报错信息贴给AI，它会帮你修改。
6. 保持耐心
   
   我折腾了许久，才实现抓取二级网页的完整内容（包含页眉、页脚和广告）。一开始，我想一步到位，但网页定位比较难。多次手动删除无用内容后，我灵光一现：这一步也可以用代码做。于是我进行了第二次AI交互，指定Word文档路径、关键字和删除规则，AI帮我实现了。
7. 两步完成
   
   我最终实现了：
• 代码A：
  完整抓取网页内容，生成Word文档
  
• 代码B：
  处理Word文档，只保留需要的内容
  完全不用手动处理，拿来直接用。当代码成功运行的那一刻，我忍不住感叹：科技改变生活！
  
8. 调整方案
   
   一开始代码A用的是python-docx，结果内容格式丢失（标题、超链接、表格都没了）。我再次提出需求：保留源格式。AI就改用pywin32和pyautogui方案，完美满足了我的需求。
9. 自动化尝试
   
   我曾想把代码交给OpenClaw创建Skill，实现自动化和定期任务，但受沙箱限制，浏览器调不起来；尝试批处理也不理想，手动执行反而快。于是我放弃了这一步。
10. 1-5步，所有内容（URL、需求描述等）发给AI，让他替你写代码。

    注：
    国内可以用豆包，代码比较花哨但能用；条件允许的，推荐ChatGPT，代码简洁、效果好。我用的是每日免费额度，用完24小时恢复，很适合小白尝试。

小结与互动

如果你的工作也有重复、枯燥的复制粘贴操作，完全可以尝试用代码解放双手！
你可以在评论区分享你的实践经验，也欢迎告诉大家你用AI编程的成果，让更多人有勇气动手~

后记：从“自学Python”到“用AI实现目标”

回头看，最初我的方向完全错了。

一开始，我找了几本Python书，想从头学起，然后学网络爬虫。我尝试自己写requests访问网页，结果网页是动态的，又开始学Selenium。看了几本书之后，我发现自己写不出完整代码。幸好这时我已经在用ChatGPT自然语言交互，学会了如何描述需求、提供关键信息。

我曾想一步到位，但尝试多次无果，最终果断放弃。手动处理文档几次后，我突然想到：手动做的事情，也可以用代码完成！

哈哈，是不是有点笨呢？
好在我想到了两步实现法，还是要给自己点个赞：人到中年，又掌握了一项技能，真棒！