Python爬虫零基础实战③:静态网页批量分页爬取+数据保存,TXT/CSV本地落地存储,完整项目实战

import requestsfrom bs4 import BeautifulSoup# 伪装请求头headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}# 爬取目标地址url = "https://www.baidu.com"def crawl_single_page():    try:        # 发送请求        res = requests.get(url, headers=headers, timeout=5)        res.encoding = res.apparent_encoding        # 解析网页        soup = BeautifulSoup(res.text, "lxml")        # 提取标题和有效链接        data_list = []        a_list = soup.find_all("a")        for a in a_list:            title = a.get_text().strip()            link = a.get("href")            # 过滤无效数据            if title and link and link.startswith("http"):                data_list.append(f"标题：{title}  链接：{link}")        # 优化：循环外统一写入文件，避免多次打开文件        with open("爬虫数据.txt", "a", encoding="utf-8") as f:            for data in data_list:                f.write(data + "\n")        print("✅ 单页数据爬取并保存成功！")    except Exception as e:        print("❌ 爬取失败：", e)# 执行爬取crawl_single_page()

import requestsfrom bs4 import BeautifulSoupimport timeheaders = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}def crawl_many_pages(start, end):    # 循环遍历所有分页    for page in range(start, end + 1):        print(f"\n===== 正在爬取第{page}页 =====")        # 构造分页URL（通用分页规则）        params = {"wd": "Python爬虫", "pn": (page - 1) * 10}        url = "https://www.baidu.com/s"        try:            # 带参请求            res = requests.get(url, headers=headers, params=params, timeout=5)            res.encoding = res.apparent_encoding            soup = BeautifulSoup(res.text, "lxml")            # 解析数据            data_list = []            a_list = soup.find_all("a")            for a in a_list:                title = a.get_text().strip()                link = a.get("href")                if title and link and link.startswith("http"):                    data_list.append(f"第{page}页 | 标题：{title}  链接：{link}")            # 保存数据            with open("多页爬虫数据.txt", "a", encoding="utf-8") as f:                for data in data_list:                    f.write(data + "\n")            print(f"✅ 第{page}页爬取完成，共{len(data_list)}条数据")            # 延时休眠，防止请求过快被封IP            time.sleep(1)        except Exception as e:            print(f"❌ 第{page}页爬取失败：", e)# 爬取1-5页数据crawl_many_pages(1, 5)

import requestsfrom bs4 import BeautifulSoupimport csvimport timeheaders = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}# 定义CSV表头headers_csv = ["页码", "文章标题", "跳转链接"]def crawl_to_csv(start, end):    # 首次运行创建文件并写入表头    with open("爬虫结构化数据.csv", "w", newline="", encoding="utf-8-sig") as f:        writer = csv.writer(f)        writer.writerow(headers_csv)    # 批量分页爬取    for page in range(start, end + 1):        print(f"\n===== 正在爬取第{page}页 =====")        params = {"wd": "Python爬虫", "pn": (page - 1) * 10}        url = "https://www.baidu.com/s"        try:            res = requests.get(url, headers=headers, params=params, timeout=5)            res.encoding = res.apparent_encoding            soup = BeautifulSoup(res.text, "lxml")            a_list = soup.find_all("a")            # 追加写入数据            with open("爬虫结构化数据.csv", "a", newline="", encoding="utf-8-sig") as f:                writer = csv.writer(f)                count = 0                for a in a_list:                    title = a.get_text().strip()                    link = a.get("href")                    if title and link and link.startswith("http"):                        writer.writerow([page, title, link])                        count += 1            print(f"✅ 第{page}页完成，新增{count}条结构化数据")            time.sleep(1)        except Exception as e:            print(f"❌ 第{page}页异常：", e)# 执行批量爬取保存crawl_to_csv(1, 3)

# 定义空集合存储已存在链接exist_links = set()# 循环解析时增加去重判断for a in a_list:    title = a.get_text().strip()    link = a.get("href")    # 过滤无效数据 + 去重判断    if title and link and link.startswith("http") and link not in exist_links:        writer.writerow([page, title, link])        exist_links.add(link)  # 存入集合，后续自动去重

import requestsfrom bs4 import BeautifulSoupimport csvimport time# 全局配置HEADERS = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}# 去重容器EXIST_LINKS = set()# 数据表头CSV_HEADERS = ["页码", "文章标题", "跳转链接"]def create_csv_file():    """初始化CSV文件，写入表头"""    with open("最终爬虫数据.csv", "w", newline="", encoding="utf-8-sig") as f:        csv.writer(f).writerow(CSV_HEADERS)def crawl_page(page):    """单页爬取解析函数"""    params = {"wd": "Python爬虫", "pn": (page - 1) * 10}    url = "https://www.baidu.com/s"    try:        res = requests.get(url, headers=HEADERS, params=params, timeout=5)        res.encoding = res.apparent_encoding        soup = BeautifulSoup(res.text, "lxml")        return soup.find_all("a")    except Exception as e:        print(f"❌ 第{page}页请求失败：{e}")        return []def save_data(page, data_list):    """数据清洗与保存"""    count = 0    with open("最终爬虫数据.csv", "a", newline="", encoding="utf-8-sig") as f:        writer = csv.writer(f)        for a in data_list:            title = a.get_text().strip()            link = a.get("href")            # 多重数据过滤 + 去重            if title and link and link.startswith("http") and link not in EXIST_LINKS:                writer.writerow([page, title, link])                EXIST_LINKS.add(link)                count += 1    print(f"✅ 第{page}页完成，有效新增数据{count}条")def main(start_page, end_page):    """主爬虫入口"""    create_csv_file()    print("🚀 爬虫启动成功，开始批量爬取...")    for page in range(start_page, end_page + 1):        print(f"\n---------- 正在爬取第{page}页 ----------")        data = crawl_page(page)        save_data(page, data)        time.sleep(1.2)  # 匀速延时，降低反爬概率    print("\n🎉 全部页面爬取完成！数据已永久保存至本地")# 启动爬虫：爬取1-5页数据if __name__ == "__main__":    main(1, 5)