[五]转行 AI 的 Python 与数据科学工具箱——从后端到数据工程师思维

import numpy as npa = np.array([1, 2, 3])          # 一维向量b = np.array([1, 2, 3, 4](# "Reference 1, 2, 3, 4 \|\|\| __GENERATING_DETAILS__"))   # 二维矩阵print(a.shape)  # (3,)print(b.shape)  # (2, 2)print(a.dtype)  # 数据类型，如 int64、float64

x = np.array([1, 2, 3, 4, 5])# 传统写法（不要这样做）y_loop = []for v in x:    y_loop.append(v * 2)# Numpy 写法（推荐）y_vec = x * 2print(y_vec)  # [ 2  4  6  8 10]

X = np.array([[1, 2, 3],              [4, 5, 6]])   # shape: (2, 3)b = np.array([10, 20, 30])  # shape: (3,)Y = X + b   # shape: (2, 3)

import pandas as pdimport numpy as np# 1. 读数据df = pd.read_csv('stock.csv')  # 假设包含 date, price, volume 等列print("数据集预览：")print(df.head())print("\n数据形状：", df.shape)print("\n缺失值统计：")print(df.isnull().sum())print("\n描述性统计：")print(df.describe())

# 缺失值填充：数值列用中位数，类别列用众数for col in df.columns:    if df[col].dtype == 'object':        df[col].fillna(df[col].mode()[0], inplace=True)    else:        df[col].fillna(df[col].median(), inplace=True)# 简单的异常值过滤：例如 price 应该大于 0df = df[df['price'] > 0]

df['date'] = pd.to_datetime(df['date'])df = df.sort_values('date')df['year'] = df['date'].dt.yeardf['month'] = df['date'].dt.monthdf['dayofweek'] = df['date'].dt.dayofweek

# 按月份统计平均价格和总成交量monthly = df.groupby(['year', 'month']).agg({    'price': 'mean',    'volume': 'sum'}).reset_index()print(monthly.head())

# 把字符串类别转换为整数编码cat_cols = df.select_dtypes(include=['object']).columnsfor col in cat_cols:    df[col] = df[col].astype('category').cat.codes

target = 'price'  # 假设要预测价格X = df.drop(columns=[target]).values  # Numpy 数组y = df[target].values

import matplotlib.pyplot as pltplt.figure(figsize=(12, 6))plt.plot(filled_df['price'], label='股票价格')plt.plot(filled_df['ma_20'], label='20日移动平均')plt.legend()plt.title('股票价格走势')plt.xlabel('日期')plt.ylabel('价格')plt.grid(True)plt.show()

import seaborn as snscorr = df.corr()  # 数值特征相关系数矩阵plt.figure(figsize=(10, 8))sns.heatmap(corr, annot=True, cmap='coolwarm')plt.title('特征相关性热力图')plt.show()

import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as sns# 1. 读取数据df = pd.read_csv('data.csv')print("数据形状:", df.shape)print("\n基本信息：")print(df.info())print("\n数值列统计：")print(df.describe())# 2. 缺失值处理missing = df.isnull().sum()print("\n缺失值统计：")print(missing[missing > 0])for col in df.columns:    if df[col].dtype == 'object':        df[col].fillna(df[col].mode()[0], inplace=True)    else:        df[col].fillna(df[col].median(), inplace=True)# 3. 类别特征编码cat_cols = df.select_dtypes(include=['object']).columnsfor col in cat_cols:    df[col] = df[col].astype('category').cat.codes# 4. 简单相关性分析（假设你要预测 'target'）target = 'target'  # TODO: 换成你的目标列名if target in df.columns:    corr = df.corr()[target].sort_values(ascending=False)    print("\n与目标变量的相关性：")    print(corr)# 5. 可视化：目标与几个关键特征的关系plt.figure(figsize=(12, 5))sns.histplot(df[target], kde=True)plt.title('目标变量分布')plt.show()# 根据需要画更多图，例如某个特征与 target 的关系# sns.boxplot(data=df, x='某个类别特征', y=target)# 6. 导出清洗后的数据，供后续模型使用df.to_csv('cleaned_data.csv', index=False)print("\n清洗后数据已保存为 cleaned_data.csv")