Python scrapy模块详细介绍

1. 创始时间与作者

• 创始时间：Scrapy 项目最初由 Pablo Hoffman 和 Shane Evans 创建，最早发布于 2008年。最初它是作为一个专门用于网站抓取的内部工具而开发的，后来在 2010 年正式开源并发布了 0.7 版本。它是最早的现代 Python 爬虫框架之一。

• 核心开发者：

• Pablo Hoffman：阿根廷软件工程师，Scrapy 的联合创始人和核心架构师。

• Shane Evans：Scrapy 的联合创始人。

• Ismael Carnales：早期核心贡献者之一。

• Scrapy 团队：项目目前由 Zyte（原 Scrapinghub）公司的团队和开源社区共同维护，拥有超过 300 名贡献者。

• 项目定位：一个用于大规模网页抓取的快速、高层次的 Python 框架。它提供了一套完整的机制，用于定义抓取规则、提取结构化数据、处理请求和响应，并支持中间件、管道、扩展等功能，旨在简化并加速爬虫的开发与部署。

2. 官方资源

• GitHub 地址：https://github.com/scrapy/scrapy

• 官方网站：https://scrapy.org/

• 官方文档：https://docs.scrapy.org/

• PyPI 地址：https://pypi.org/project/Scrapy/

3. 核心功能

4. 应用场景

1. 通用网页抓取与数据提取

# quotes_spider.pyimport scrapyclass QuotesSpider(scrapy.Spider):name = "quotes"start_urls = ['https://quotes.toscrape.com/page/1/','https://quotes.toscrape.com/page/2/',    ]def parse(self, response):# 提取当前页面的名言for quote in response.css('div.quote'):yield {'text': quote.css('span.text::text').get(),'author': quote.css('small.author::text').get(),'tags': quote.css('div.tags a.tag::text').getall(),            }# 提取下一页链接并继续爬取next_page = response.css('li.next a::attr(href)').get()if next_page is not None:yield response.follow(next_page, callback=self.parse)

2. 大型电商网站商品信息抓取

# products_spider.pyimport scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass ProductsSpider(CrawlSpider):name = 'products'allowed_domains = ['example-store.com']start_urls = ['https://www.example-store.com/products/']# 定义爬取规则rules = (# 提取所有商品详情页链接Rule(LinkExtractor(allow=r'/item/[\w-]+$'), callback='parse_item'),# 提取下一页链接，继续跟进Rule(LinkExtractor(allow=r'/products/\?page=\d+$'), follow=True),    )def parse_item(self, response):yield {'name': response.css('h1.product-title::text').get(),'price': response.css('span.price::text').get(),'description': response.css('div.description::text').get(),'sku': response.css('span.sku::text').get(),'url': response.url,'image_urls': response.css('img.product-image::attr(src)').getall(),        }

3. 登录后抓取（处理 Cookies 和 Session）

# login_spider.pyimport scrapyclass LoginSpider(scrapy.Spider):name = 'login'login_url = 'https://example.com/login'start_urls = ['https://example.com/secure/dashboard']def parse(self, response):# 检查是否已登录（通过页面特征判断）if "登录" in response.text:# 未登录，提取登录表单的 CSRF tokentoken = response.css('input[name="csrf_token"]::attr(value)').get()yield scrapy.FormRequest(url=self.login_url,formdata={'username': 'myuser','password': 'mypassword','csrf_token': token,                },callback=self.after_login            )else:# 已登录，直接处理页面yield from self.parse_dashboard(response)def after_login(self, response):# 登录成功后，继续访问目标页面if "登录成功" in response.text:yield scrapy.Request(self.start_urls[0], callback=self.parse_dashboard)else:self.logger.error("登录失败")def parse_dashboard(self, response):# 处理登录后的页面for row in response.css('table.data tr'):yield {'id': row.css('td.id::text').get(),'value': row.css('td.value::text').get(),            }

4. 使用 Pipeline 将数据存入数据库

# pipelines.pyimport sqlite3class SQLitePipeline:"""将抓取的数据存入 SQLite 数据库"""def open_spider(self, spider):"""爬虫启动时打开数据库连接"""self.connection = sqlite3.connect('data.db')self.cursor = self.connection.cursor()self.cursor.execute('''            CREATE TABLE IF NOT EXISTS quotes (                id INTEGER PRIMARY KEY AUTOINCREMENT,                text TEXT,                author TEXT,                tags TEXT            )        ''')self.connection.commit()def process_item(self, item, spider):"""处理每个 item，插入数据库"""self.cursor.execute('INSERT INTO quotes (text, author, tags) VALUES (?, ?, ?)',            (item['text'], item['author'], ','.join(item['tags']))        )self.connection.commit()return itemdef close_spider(self, spider):"""爬虫关闭时关闭连接"""self.connection.close()

5. 底层逻辑与技术原理

核心架构

关键技术

1. 基于 Twisted 的异步网络框架：

• Scrapy 的核心是一个由 Twisted 驱动的事件循环，允许在等待网络响应时处理其他请求，从而实现高并发。

• 无需编写多线程代码即可获得高性能。

2. 请求/响应模型：

• 爬虫生成 Request 对象，引擎将其传递给调度器。

• 调度器按优先级出队，交给下载器执行。

• 下载器返回 Response 对象，引擎将其送回对应的爬虫回调函数。

3. 中间件机制：

• 下载器中间件：在请求发送前或响应返回后进行处理（如添加 Headers、处理代理、重试等）。

• 爬虫中间件：在爬虫处理响应前后或生成 Item 前后进行干预。

• 这种设计使得功能扩展非常灵活。

4. 选择器系统：

• 内置基于 lxml 的高效选择器，支持 CSS 和 XPath。

• 可选择性地使用 parsel 库（从 Scrapy 中分离出的选择器库）。

5. Item Pipeline：

• 爬虫提取的数据（Item）会流经一系列管道组件。

• 每个组件可以对数据进行清洗、验证、去重，并最终存入数据库或文件。

6. 扩展和统计收集：

• 提供 API 让开发者编写自定义扩展，监控或修改爬虫行为。

• 内置统计收集器，可记录请求次数、响应码、Item 数量等。

6. 安装与配置

基础安装

# 使用 pip 安装pip install scrapy# 验证安装scrapy version

创建新项目

# 创建一个新的 Scrapy 项目scrapy startproject myprojectcd myproject

环境要求

可选依赖

# 安装用于处理图片的 Pillowpip install Pillow# 安装用于代理支持的模块pip install scrapy-rotating-proxies# 安装用于分布式爬虫的模块pip install scrapy-redis

7. 性能指标

优化建议：

• 调整 CONCURRENT_REQUESTS 和 DOWNLOAD_DELAY 平衡速度与礼貌性。

• 使用 AutoThrottle 扩展自动调整下载延迟。

• 启用 HTTPCACHE 避免重复请求。

• 对于大规模抓取，考虑使用 scrapy-redis 实现分布式。

8. 高级功能使用

1. 使用代理中间件

# middlewares.pyimport randomclass RandomProxyMiddleware:"""随机代理中间件"""def __init__(self, proxy_list):self.proxies = proxy_list@classmethoddef from_crawler(cls, crawler):proxy_list = crawler.settings.get('PROXY_LIST')return cls(proxy_list)def process_request(self, request, spider):proxy = random.choice(self.proxies)request.meta['proxy'] = proxyspider.logger.debug(f"使用代理: {proxy}")# settings.pyPROXY_LIST = ['http://proxy1.example.com:8080','http://proxy2.example.com:8080',]DOWNLOADER_MIDDLEWARES = {'myproject.middlewares.RandomProxyMiddleware': 543,}

2. 处理 JavaScript 渲染的页面