Python爬虫零基础实战⑪:Scrapy分页爬取+数据持久化实战,实现全站翻页采集、CSV/MySQL自动存储

pip install scrapy pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple/

import scrapyclass ArticleItem(scrapy.Item):    # 统一定义爬取字段    title = scrapy.Field()        # 文章标题    link = scrapy.Field()         # 文章详情链接    publish_time = scrapy.Field() # 发布时间    desc = scrapy.Field()         # 内容摘要

import scrapyfrom my_spider.items import ArticleItemclass PageSpider(scrapy.Spider):    # 爬虫名称，启动命令：scrapy crawl page_crawl    name = "page_crawl"    # 限制爬取域名，防止跨站    allowed_domains = ["demo.scrapy.com"]    # 起始列表页    start_urls = ["https://demo.scrapy.com/list"]    def parse(self, response):        # 1、解析列表页所有文章        article_list = response.xpath("//div[@class='list-item']")        for item in article_list:            data = ArticleItem()            # xpath .// 代表当前节点下查找，不要漏写点            data["title"] = item.xpath(".//h2/a/text()").get(default="")            data["link"] = item.xpath(".//h2/a/@href").get(default="")            data["publish_time"] = item.xpath(".//span[@class='time']/text()").get(default="")            data["desc"] = item.xpath(".//p[@class='desc']/text()").get(default="")            yield data        # 2、翻页逻辑，获取下一页        next_href = response.xpath("//a[contains(text(),'下一页')]/@href").get()        if next_href:            # urljoin自动处理相对路径/绝对路径            next_url = response.urljoin(next_href)            yield scrapy.Request(url=next_url, callback=self.parse)

scrapy crawl page_crawl -o article_data.csv

import csvimport pymysql# CSV文件存储管道class CsvPipeline:    # 爬虫启动时执行：初始化文件    def open_spider(self, spider):        self.file = open("article_list.csv", "w", encoding="utf-8-sig", newline="")        self.writer = csv.DictWriter(            self.file,            fieldnames=["title", "link", "publish_time", "desc"]        )        self.writer.writeheader()    # 数据处理核心方法    def process_item(self, item, spider):        self.writer.writerow(dict(item))        return item    # 爬虫结束时执行：释放文件资源    def close_spider(self, spider):        self.file.close()# MySQL数据库存储管道class MysqlPipeline:    def open_spider(self, spider):        # 连接本地数据库，自行修改账号密码        self.conn = pymysql.connect(            host="127.0.0.1",            port=3306,            user="root",            password="你的数据库密码",            database="spider_data",            charset="utf8mb4"        )        self.cursor = self.conn.cursor()    def process_item(self, item, spider):        # 插入数据，重复链接自动忽略（link需要设唯一索引）        sql = """            INSERT IGNORE INTO article_table (title,link,publish_time,desc)            VALUES(%s,%s,%s,%s)        """        self.cursor.execute(            sql,            (item["title"], item["link"], item["publish_time"], item["desc"])        )        self.conn.commit()        return item    def close_spider(self, spider):        self.cursor.close()        self.conn.close()

CREATE DATABASE IF NOT EXISTS spider_data DEFAULT CHARSET utf8mb4;USE spider_data;CREATE TABLE IF NOT EXISTS article_table (    id INT PRIMARY KEY AUTO_INCREMENT,    title VARCHAR(500),    link VARCHAR(800) UNIQUE,    publish_time VARCHAR(100),    desc TEXT)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

# 开启数据管道，数字代表执行优先级，越小越先执行ITEM_PIPELINES = {    "my_spider.pipelines.CsvPipeline": 200,    "my_spider.pipelines.MysqlPipeline": 300,}# 基础防爬配置ROBOTSTXT_OBEY = False          # 关闭机器人协议拦截，很多站点会限制爬虫DOWNLOAD_DELAY = 1              # 每两次请求间隔1秒，模拟人工浏览，降低封IP风险# 伪装浏览器请求头 UADEFAULT_REQUEST_HEADERS = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}

scrapy crawl page_crawl