python爬虫入门初级

动态渲染

服务器会整合数据和html，一并返回给客户端

需要两次请求，一次请求html页面框架，一次请求数据

静态渲染

直接将数据写死在html代码中

请求

一般分为get和post两种

• 请求行：包含请求的url地址，还有所用协议
• 请求头：客户端发给服务器的附加信息
• 请求体：一般放请求参数

响应

• 状态行：有协议和状态码
• 响应头：服务器返回给客户端的各类配置信息
• 响应体：返回客户端需要的内容

get与post

get请求

• 显式提交
• 提交数据长度有限
• 通过url提交
• GET 不能用 data，参数要放在params中拼接至 url

post请求

• 隐式提交
• 服务器、Nginx、后端框架有请求体大小限制
• 通过http协议提交
• 传 JSON 格式要使用json参数

tips：在浏览器地址栏输入的是get请求

简单反扒

设置请求头（headers），例如：

headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36 Edg/138.0.0.0"}

tips：可以直接在浏览器中按下F12，在标头中找到user-agent，添加到headers中。