pandas - 一个强大的Python数据分析工具包

# 创建包含 Python 和 pandas 的环境conda create -c conda-forge -n 自定义环境名 python pandas# 激活环境# Linux/macOSsource activate 自定义环境名# Windowsactivate 自定义环境名

pip install pandas

# 支持 Excel 文件读写pip install "pandas[excel]"

import pandas as pdimport numpy as np# 创建 Seriess = pd.Series([1, 3, 5, np.nan, 6, 8], index=['a', 'b', 'c', 'd', 'e', 'f'])# 创建 DataFramedf = pd.DataFrame({'姓名': ['张三', '李四', '王五'],'年龄': [20, 25, 30],'城市': ['北京', '上海', '广州']}, index=['001', '002', '003']) # 自定义行索引（编号）

# 读取CSV文件（常用）df = pd.read_csv('data.csv', encoding='utf-8') # 指定编码避免中文乱码# 写入Excel文件（指定sheet名）df.to_excel('result.xlsx', sheet_name='数据结果', index=False) # 不保存行索引

# 基础查看df.head(3) # 查看前3行（默认5行）df.tail(2) # 查看后2行df.info() # 查看数据类型、非空值、内存占用（核心）df.describe() # 数值列的统计信息（均值、标准差、分位数等）# 基础属性df.shape # 数据维度 (行数, 列数)df.columns # 列名列表df.index # 行索引列表df.dtypes # 各列数据类型

# 缺失值处理df.isnull().sum() # 统计各列缺失值数量df.dropna() # 删除含缺失值的行（可指定axis=1删列）df.fillna(0) # 缺失值填充为0（也可填均值/中位数：df['列名'].mean()）# 重复值处理df.duplicated() # 判断每行是否重复df.drop_duplicates()# 删除重复行（默认按所有列判断）# 数据类型转换df['年龄'] = df['年龄'].astype(int) # 转为整数型df['日期'] = pd.to_datetime(df['日期']) # 转为日期类型# 异常值处理（示例：筛选年龄在0-100之间的数据）df = df[(df['年龄'] > 0) & (df['年龄'] < 100)]

# 列选择df['姓名'] # 选择单列df[['姓名', '年龄']] # 选择多列# 行筛选（布尔索引，核心）df[df['年龄'] > 25] # 筛选年龄>25的行df[(df['城市'] == '北京') & (df['年龄'] < 30)] # 多条件筛选（&且，|或）# 按索引筛选（loc按标签，iloc按位置）df.loc['001'] # 按行标签取值df.loc['001':'002', '姓名':'年龄'] # 标签切片df.iloc[0] # 按行位置（第1行）取值df.iloc[0:2, 0:2] # 位置切片（前2行，前2列）

# 元素级操作df['年龄+5'] = df['年龄'] + 5# 列运算df['姓名长度'] = df['姓名'].apply(len) # 对列应用函数（计算姓名长度）# 自定义函数示例（将年龄分组）defage_group(age):if age < 18:return'未成年'else:return'成年'df['年龄分组'] = df['年龄'].apply(age_group)# 全局替换df['城市'] = df['城市'].replace('北京', '北京市') # 替换指定值

# 数据拼接（concat）df1 = pd.DataFrame({'A': [1,2], 'B': [3,4]})df2 = pd.DataFrame({'A': [5,6], 'B': [7,8]})pd.concat([df1, df2]) # 纵向拼接（行合并）# 数据合并（merge，类似SQL连接）df3 = pd.DataFrame({'编号': ['001', '002'], '薪资': [8000, 10000]})pd.merge(df, df3, on='编号') # 按“编号”列合并（内连接，默认）# 数据重塑（宽表转长表）df.melt(id_vars=['姓名'], value_vars=['年龄', '城市'],         var_name='属性', value_name='值')

# 日期解析df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d') # 指定日期格式# 提取时间特征df['年'] = df['日期'].dt.yeardf['月'] = df['日期'].dt.monthdf['星期'] = df['日期'].dt.dayofweek # 0=周一，6=周日# 时间重采样（按周期聚合）df.set_index('日期').resample('M')['销售额'].sum() # 按月汇总销售额

# 基础分组聚合df.groupby('城市')['年龄'].mean() # 按城市分组，计算平均年龄# 多列多聚合函数df.groupby('城市').agg({'年龄': ['mean', 'max'], # 年龄的均值和最大值'薪资': 'sum'# 薪资的总和})# 分组后转换（保留原数据结构）df['城市平均年龄'] = df.groupby('城市')['年龄'].transform('mean')

# 折线图（默认）df.plot(x='日期', y='销售额', figsize=(10, 5), title='销售额趋势')# 柱状图df.groupby('城市')['年龄'].mean().plot(kind='bar', color='skyblue')# 直方图（分布）df['年龄'].plot(kind='hist', bins=10)# 散点图df.plot(kind='scatter', x='年龄', y='薪资')