Python知识点6：告别电脑卡死！新手必学的超大Excel文件读取指南
作为职场人或数据分析新手，你一定遇到过这样的崩溃瞬间：满怀期待地双击打开一个几百兆（MB）甚至上G的Excel文件，结果鼠标变成了“一直转圈的沙漏”，电脑风扇狂转，最后软件直接提示“无响应”甚至闪退。
这是因为传统的Excel软件或基础的Python读取方法，会尝试将整个文件一次性全部加载到电脑的运行内存（RAM）中。当文件体积超过了内存的承受能力，电脑就会“卡死”。
今天，我们将系统地学习如何使用Python优雅地处理超大Excel文件。我们将采用“化整为零”的策略，让你的旧电脑也能轻松搞定海量数据！
关注并私信给公众号：“python书籍”，可获得超高清Python办公自动化书籍《Excel Python：飞速搞定数据分析与处理》
1. 准备工作 (Prerequisites)
在开始写代码之前，我们需要准备好必要的Python运行环境和第三方库。
1.1 环境要求
- • 已安装 Python（推荐 3.8 或以上版本）。
- • 一个顺手的代码编辑器（如 VS Code, PyCharm 或 Jupyter Notebook）。
1.2 安装核心依赖库
我们将使用两个非常强大的Python库：pandas（用于数据分析）和 openpyxl（用于处理.xlsx格式文件）。
请打开你的命令行（Windows使用CMD或PowerShell，Mac使用终端），输入以下命令进行安装：
pip install pandas openpyxl
2. 核心教程：两种读取超大Excel的绝招 (Step-by-Step Guide)
面对超大文件，我们的核心思想只有一个：不要一口吞，要一口一口吃。在编程中，这被称为分块读取（Chunking）或流式读取（Streaming）。
方法一：使用 Pandas 的 chunksize 分块读取（最推荐）
pandas 是Python中最强大的数据处理库。通过设置 chunksize 参数，我们可以规定每次只读取固定数量的行，处理完这批数据后再读取下一批。
生活类比： 就像看一本1000页的厚书，你不需要把1000页同时摊开在桌子上，而是每次只翻开10页，看完再翻下10页。
代码示例：
import pandas as pd
# 假设你的超大文件名为 'huge_data.xlsx'
file_path = 'huge_data.xlsx'
# 定义每次读取的行数（例如每次读 10,000 行）
chunk_size = 10000
print("开始分块读取数据...")
# 记录总行数或用于数据汇总的变量
total_rows = 0
# 使用 chunksize 参数后，read_excel 会返回一个可迭代的对象
for chunk in pd.read_excel(file_path, chunksize=chunk_size, engine='openpyxl'):
# 此时的 chunk 是一个包含 10000 行数据的 DataFrame
# --- 在这里进行你的数据处理 ---
# 例如：筛选出某列中大于 100 的数据，或者统计行数
current_chunk_rows = len(chunk)
total_rows += current_chunk_rows
print(f"已成功处理 {current_chunk_rows} 行数据，当前累计处理: {total_rows} 行")
# 提示：你可以在这里将处理后的 chunk 追加保存到新的 CSV 文件中
# chunk.to_csv('processed_data.csv', mode='a', header=False, index=False)
print(f"读取完成！共处理了 {total_rows} 行数据。")
方法二：使用 Openpyxl 的 read_only 模式逐行读取（最省内存）
如果你只需要从Excel中提取某些特定的值，而不需要使用 pandas 进行复杂的数据分析计算，那么直接使用 openpyxl 的**只读模式（read_only=True）**是内存占用最小的方法。它会像流水线一样，读一行、处理一行、丢弃一行。
代码示例：
from openpyxl import load_workbook
file_path = 'huge_data.xlsx'
print("启用只读模式打开 Excel...")
# read_only=True 是关键，它能极大降低内存消耗
wb = load_workbook(filename=file_path, read_only=True, data_only=True)
# 选择当前活动的工作表（或者通过 wb['Sheet1'] 选择特定表）
sheet = wb.active
row_count = 0
# iter_rows() 会按需逐行生成数据
for row in sheet.iter_rows(values_only=True):
# row 是一个元组 (tuple)，包含了这一行所有单元格的值
row_count += 1
# 假设我们只打印前 5 行看看长什么样
if row_count <= 5:
print(f"第 {row_count} 行数据: {row}")
# --- 在这里编写你的业务逻辑 ---
# 例如：if row[0] == '特定值': 保存该行
print(f"读取完毕，文件共有 {row_count} 行。")
# 养成好习惯，处理完后关闭文件
wb.close()
3. 常见避坑指南 (Common Pitfalls)
新手在处理大文件时，即使掌握了上述方法，也可能掉进以下几个“坑”里：
- • 坑点 1：
chunksize 设置得太大或太小 - • 问题： 如果设置成一百万，依然会内存溢出（OOM）；如果设置成10，读取速度会慢得令人发指。
- • 解决： 通常建议将
chunksize 设置在 10,000 到 100,000 之间。你可以根据自己电脑的内存大小进行调试。
- • 坑点 2：处理完数据后，又保存为超大
.xlsx 文件 - • 问题： Excel格式（.xlsx）本身包含了大量的格式、样式信息，保存极度耗时且文件体积庞大。
- • 解决：强烈建议将处理后的大型数据保存为
.csv 格式！ CSV 是纯文本格式，读写速度极快，且没有任何格式负担。
- • 问题： 分块读取时，如果你把每一块的数据又添加到了一个全局的空列表中（如
all_data.append(chunk)），那么等循环结束时，所有数据依然全在内存里，电脑照样卡死。 - • 解决： 边读边处理，处理完立刻保存到硬盘（如追加写入 CSV），然后让 Python 自动回收内存。
4. 总结与进阶资源 (Conclusion & Resources)
总结
处理超大Excel文件的核心法则就是**“拒绝一次性加载”**。
- 1. 需要复杂数据清理和分析：使用
pandas 的 chunksize 分块读取。 - 2. 需要极低内存占用的简单提取：使用
openpyxl 的 read_only=True 逐行读取。
掌握了这两个技巧，你就正式告别了被Excel卡死的恐惧，向专业的数据处理者迈出了坚实的一步！
进阶资源推荐
如果你对数据处理的速度有极高的要求，当你熟练掌握上述内容后，可以进一步了解以下技术：
- • Polars 库： 新一代的数据处理框架，使用Rust编写，处理超大文件比 Pandas 快得多。
- • Dask 库： 支持并行计算的 Pandas 替代品，专为超出单机内存限制的巨大数据集设计。
- • CSV 格式的深入应用： 了解为什么在数据科学领域，
.csv 或 .parquet 格式比 .xlsx 更受欢迎。
10个月宝宝每天需要喝多少奶粉？
