13 步完成爬虫案例操作 | python实战解析

Python对于 数据分析、人工智能工程、Web开发、游戏开发等很多岗位都用得上，作为核心能力，许多岗的jd都会标注，大家多一项技能就多一分竞争力！

今天总结了一篇爬虫案例：

爬虫的关键概念

(一)HTTP请求与响应

(二)HTML解析

(三)XPath和CSS选择器

(四)Robots.txt 协议

(五)反爬虫机制

(六)数据清洗

(七)数据存储

(八)多线程与异步

(九)合法性与道德问题

爬虫的流程

(一)明确目标与规划

(二)发送请求

(三)解析网页

(四)数据提取

(五)处理与清洗数据

(六)存储数据

(七)处理反爬机制

(八)选代与调试

(九)数据分析与应用

(十)爬虫流程总结

 HTTP与HTTPS协议

(一)HTTP 协议

(二)HTTPS 协议

(三)HTTP 与 HTTPS 的区别

(四)总结

--