新手写爬虫总是抓不到数据?可能是函数用错了!
我整理了Python爬虫中最常用的10个函数,附代码示例与使用场景:
1.requests.get() 发送请求
2.BeautifulSoup() 解析 HTML
3.json.loads() 处理
4.JSON re.findall()
5.正则提取内容 headers 和 cookies 模拟浏览器行为
6.代理IP、防封处理也有!