最近看到github上有个新的python爬虫第三方库,叫作brightdata sdk,可以直接采集电商、社交媒体等复杂网页数据,不需要自己配置各种ip代理、打码工具等,能直接处理各种反爬限制。
相比requests、selenium是更加集成化的工具,适合新手采集数据。
这就非常强悍的技术了,以前写python爬虫还得自己写算法和配置ip来处理检测,现在这个库直接搞定。
我测试了下确实可以比较稳定的采集数据,后面再去摸索摸索。
https://get.brightdata.com/webscra
更多阅读:
说真的,英语、markdown、python才是玩AI的顶级能力
skillsmp,可能是最全的skills资源网站
OpenCode,又一超强的AI编程工具!