Python 数据处理报错的处理方法

从数据清洗到统计分析，盘点科研数据处理中最容易犯的错误及解决方案

做科研数据处理时，你有没有遇到过这种情况：代码跑了一半突然报错，排查半天发现是一个看似低级的错误？或者分析结果怎么都不对，最后发现是数据清洗阶段出了问题？

在帮助很同学处理数据的过程里，我发现了很多重复的错误模式。这些错误本身不难解决，但因为太常见，反而容易被忽略。

一、数据读取阶段：文件路径和编码问题

这是最基础也最容易出错的地方。很多人拿到数据后直接上手分析，结果在第一步就卡住了。

错误 1：相对路径依赖

在本地写代码时用相对路径 ./data/raw_data.csv，代码运行正常。但换到服务器或换个电脑，路径就找不到了。

解决方案：使用绝对路径或基于脚本位置的路径：

...
import os# 获取当前脚本所在目录BASE_DIR = os.path.dirname(os.path.abspath(__file__))data_path = os.path.join(BASE_DIR, 'data', 'raw_data.csv')df = pd.read_csv(data_path)

这样无论在哪里运行脚本，路径都是正确的。

错误 2：编码问题导致乱码

中文数据文件用默认编码读取，结果全是乱码。这个问题在 Windows 生成的 CSV 文件上尤其常见。

解决方案：明确指定编码：

...
# 中文 CSV 文件优先尝试 gb18030 或 utf-8-sigdf = pd.read_csv('data.csv', encoding='gb18030')# 或者df = pd.read_csv('data.csv', encoding='utf-8-sig')

二、数据清洗阶段：缺失值和异常值处理

错误 3：缺失值处理过于简单粗暴

很多人看到缺失值就直接 dropna() 删除，或者全部用均值填充。这种做法在某些情况下会引入严重偏差。

缺失值处理方式取决于缺失机制：完全随机缺失可以用均值/中位数填充；非随机缺失需要更复杂的方法，如多重插补或模型预测填充。

推荐做法是：

错误 4：异常值检测缺失

数据中存在极端值，但分析前没有检查和处理，导致统计结果被严重拉偏。

其实，使用箱线图或 Z-score 检测异常值就可以解决

...
from scipy import statsimport numpy as np# Z-score 方法：绝对值>3 视为异常z_scores = np.abs(stats.zscore(df['column_name']))outliers = df[z_scores > 3]# 或者用 IQR 方法Q1 = df['column_name'].quantile(0.25)Q3 = df['column_name'].quantile(0.75)IQR = Q3 - Q1outliers = df[(df['column_name'] < Q1 - 1.5*IQR) | (df['column_name'] > Q3 + 1.5*IQR)]

三、数据分析阶段：统计方法误用

错误 5：不考虑数据分布直接用参数检验

拿到数据就直接做 t 检验或 ANOVA，没有检查数据是否符合正态分布。这是论文审稿中最常被质疑的问题之一。

正确做法是：

...
from scipy.stats import shapiro# 正态性检验stat, p_value = shapiro(df['column_name'])if p_value > 0.05:    print("数据符合正态分布，可使用参数检验")else:    print("数据不符合正态分布，建议使用非参数检验")

错误 6：多重比较不校正

做多组比较时，两两进行 t 检验而不做多重比较校正，导致假阳性率大幅上升。要使用 Bonferroni 或 FDR 校正：

四、结果输出阶段：图表和报告