python网络爬虫例子,爬取豆瓣评分top20电影信息

一.网络爬虫是什么？

网络爬虫就是一段自动访问网页、抓取网页数据的程序，代替人手动复制粘贴，批量、高效地获取互联网上的公开信息（文字、图片、链接、数据等）

二. 为什么用 Python 开发网络爬虫？

python 是最主流、最简单的爬虫语言,核心原因：

• 语法简单：代码少、易读懂,新手也能快速写出爬虫；
• 库超丰富：有专门的爬虫工具,不用从零写代码；
• 生态完善：抓取、解析、存储、处理数据一条龙都有现成方案

三. 爬虫用来做什么？

• 爬取电影、书籍、商品信息等（如本次介绍的豆瓣 Top20 电影爬虫例子）
• 数据分析、舆情监控、价格对比
• 搜索引擎（百度、谷歌本质就是巨型爬虫）

四. 重要边界：合法合规

• 只能爬公开数据，不能爬登录后才能看的隐私信息；
• 不能高频请求攻击网站，遵守网站规则；
• 抓取的数据不能用于商业侵权。