最近有做跨境电商的朋友遇到采集数据的问题,我帮他用Bright Data MCP实现了商品信息采集,能实时采集且不需要我处理任何网站限制的问题,当然这只是自娱自乐的玩意,且是小批量采集公开数据,要遵守网站规定噢。
首先要介绍下什么是MCP,它的学名是“模型上下文协议”,你可以理解成它是连接AI大模型和外部工具的一个媒介,类似于电脑和互联网的关系,大模型原先只是封闭的大脑,有了MCP后它就连接了无数的信息、工具、数据,可以做更多的事情,比如Bright Data MCP能实现复杂网站的数据采集。
要做的事情分为两个步骤,第一是在Trae上配置Bright Data MCP服务,第二是搭建智能体,给到数据采集需求。
现在好像有几千次的免费mcp调用额度,羊毛可以薅一薅哈哈,通过以下链接注册可获取。
https://get.brightdata.com/wmcp
更多阅读:
通过AI工作流实现爬虫,这个工具绝了
偶然发现一个采集reddit帖子的神器