当前位置：首页>python>Python 数据分析:缺失值 + 重复值 + 数据类型一键清洗

Python 数据分析:缺失值 + 重复值 + 数据类型一键清洗

2026-09-23 14:12:09

数据脏就没法分析？进阶清洗流水线：缺失填充、重复去重、类型修正，一套代码输出干净数据集。

场景：用户数据含缺失、重复、字符串数字混合。核心：isnull、duplicated、astype、fillna、str.replace。

① 生成测试数据（含脏数据）

import pandas as pdimport numpy as npdf = pd.DataFrame({    "uid": [1,2,2,3,4,np.nan,5],    "name": ["张三","李四","李四","王五","赵六","钱七","孙八"],    "age": ["25","30","30","35","-","42","38"],    "salary": [5000, np.nan, 6000, 7000, 4000, 6500, np.nan]})df.to_excel("dirty_user.xlsx", index=False)print(" dirty_user.xlsx 含脏数据已生成")

查看生成的数据情况

② 核心代码

import pandas as pddf = pd.read_excel("dirty_user.xlsx")# 去重df = df.drop_duplicates(subset=["uid"], keep="first")# 缺失UID删除df = df.dropna(subset=["uid"])# 清洗年龄df["age"] = df["age"].replace("-", "0").astype(int)# 薪资均值填充df["salary"] = df["salary"].fillna(df["salary"].mean()).round(0)print("清洗后：")print(df)