Python数据分析：窗口运算

1. 核心知识点概述

窗口运算是时间序列分析的重要工具，用于计算滑动窗口内的统计量：

• rolling()
  : 滚动窗口，计算固定大小窗口内的统计量。
• expanding()
  : 扩张窗口，从起始位置逐渐扩大窗口。
• ewm()
  : 指数加权窗口，给予近期数据更高权重。
• 常用统计
  : mean()、sum()、std()、min()、max()、corr()等。

关键参数说明

• window
  : 窗口大小。
• min_periods
  : 最小观测值数量。
• center
  : 是否将窗口居中（默认False）。
• win_type
  : 窗口类型（如'triang'、'gaussian'）。
• span
  /com/halflife: EWM的衰减参数。

2. 示例代码

2.1 准备数据

In [1]:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# 创建时间序列数据
np.random.seed(42)
dates = pd.date_range('2024-01-01', periods=60, freq='D')
# 模拟股票价格
price = 100 + np.cumsum(np.random.randn(60) * 2)
volume = np.random.randint(1000, 5000, 60)
df = pd.DataFrame({
    'price': price,
    'volume': volume
}, index=dates)
print("原始数据（前10行）：")
print(df.head(10))
print(f"\n数据形状: {df.shape}")

原始数据（前10行）：
                 price  volume
2024-01-01  100.993428    3977
2024-01-02  100.716900    4104
2024-01-03  102.012277    4119
2024-01-04  105.058336    1502
2024-01-05  104.590030    3454
2024-01-06  104.121756    4645
2024-01-07  107.280181    2751
2024-01-08  108.815051    1804
2024-01-09  107.876102    3146
2024-01-10  108.961222    3731
数据形状: (60, 2)

2.2 Rolling 滚动窗口

计算固定大小窗口内的统计量。

In [2]:

# 计算7日移动平均
df['ma_7'] = df['price'].rolling(window=7).mean()
# 计算30日移动平均
df['ma_30'] = df['price'].rolling(window=30).mean()
# 绘制价格与移动平均线
df[['price', 'ma_7', 'ma_30']].plot(figsize=(12, 6), title='Stock Price with Moving Averages')
plt.xlabel('Date')
plt.ylabel('Price')
plt.legend(['Price', 'MA 7', 'MA 30'])
plt.grid(True, alpha=0.3)
plt.show()
print("\n移动平均数据（前15行）：")
print(df[['price', 'ma_7', 'ma_30']].head(15))

移动平均数据（前15行）：
                 price        ma_7  ma_30
2024-01-01  100.993428         NaN    NaN
2024-01-02  100.716900         NaN    NaN
2024-01-03  102.012277         NaN    NaN
2024-01-04  105.058336         NaN    NaN
2024-01-05  104.590030         NaN    NaN
2024-01-06  104.121756         NaN    NaN
2024-01-07  107.280181  103.538987    NaN
2024-01-08  108.815051  104.656362    NaN
2024-01-09  107.876102  105.679105    NaN
2024-01-10  108.961222  106.671811    NaN
2024-01-11  108.034387  107.096961    NaN
2024-01-12  107.102927  107.455947    NaN
2024-01-13  107.586852  107.950960    NaN
2024-01-14  103.760291  107.448119    NaN
2024-01-15  100.310456  106.233177    NaN

In [3]:

# 滚动窗口其他统计量
df['rolling_std_7'] = df['price'].rolling(window=7).std()
df['rolling_max_14'] = df['price'].rolling(window=14).max()
df['rolling_min_14'] = df['price'].rolling(window=14).min()
print("\n滚动统计量：")
print(df[['price', 'rolling_std_7', 'rolling_max_14', 'rolling_min_14']].head(20))

滚动统计量：
                 price  rolling_std_7  rolling_max_14  rolling_min_14
2024-01-01  100.993428            NaN             NaN             NaN
2024-01-02  100.716900            NaN             NaN             NaN
2024-01-03  102.012277            NaN             NaN             NaN
2024-01-04  105.058336            NaN             NaN             NaN
2024-01-05  104.590030            NaN             NaN             NaN
2024-01-06  104.121756            NaN             NaN             NaN
2024-01-07  107.280181       2.398755             NaN             NaN
2024-01-08  108.815051       2.803018             NaN             NaN
2024-01-09  107.876102       2.403706             NaN             NaN
2024-01-10  108.961222       2.045125             NaN             NaN
2024-01-11  108.034387       1.961430             NaN             NaN
2024-01-12  107.102927       1.627702             NaN             NaN
2024-01-13  107.586852       0.716650             NaN             NaN
2024-01-14  103.760291       1.752300      108.961222      100.716900
2024-01-15  100.310456       3.086759      108.961222      100.310456
2024-01-16   99.185881       3.944302      108.961222       99.185881
2024-01-17   97.160218       4.453943      108.961222       97.160218
2024-01-18   97.788713       4.322602      108.961222       97.160218
2024-01-19   95.972665       4.106657      108.961222       95.972665
2024-01-20   93.148058       3.368370      108.961222       93.148058

2.3 Rolling 高级用法

使用min_periods和center参数。

In [4]:

# min_periods: 最小观测值数量
df['ma_7_min3'] = df['price'].rolling(window=7, min_periods=3).mean()
print("\nmin_periods=3的移动平均（前10行）：")
print(df[['price', 'ma_7', 'ma_7_min3']].head(10))
# center=True: 窗口居中
df['ma_7_center'] = df['price'].rolling(window=7, center=True).mean()
print("\ncenter=True的移动平均（前10行）：")
print(df[['price', 'ma_7', 'ma_7_center']].head(10))

min_periods=3的移动平均（前10行）：
                 price        ma_7   ma_7_min3
2024-01-01  100.993428         NaN         NaN
2024-01-02  100.716900         NaN         NaN
2024-01-03  102.012277         NaN  101.240868
2024-01-04  105.058336         NaN  102.195235
2024-01-05  104.590030         NaN  102.674194
2024-01-06  104.121756         NaN  102.915454
2024-01-07  107.280181  103.538987  103.538987
2024-01-08  108.815051  104.656362  104.656362
2024-01-09  107.876102  105.679105  105.679105
2024-01-10  108.961222  106.671811  106.671811
center=True的移动平均（前10行）：
                 price        ma_7  ma_7_center
2024-01-01  100.993428         NaN          NaN
2024-01-02  100.716900         NaN          NaN
2024-01-03  102.012277         NaN          NaN
2024-01-04  105.058336         NaN   103.538987
2024-01-05  104.590030         NaN   104.656362
2024-01-06  104.121756         NaN   105.679105
2024-01-07  107.280181  103.538987   106.671811
2024-01-08  108.815051  104.656362   107.096961
2024-01-09  107.876102  105.679105   107.455947
2024-01-10  108.961222  106.671811   107.950960

2.4 Rolling Apply 自定义函数

在滚动窗口上应用自定义函数。

In [5]:

# 自定义函数：计算窗口内价格范围
def price_range(x):
    return x.max() - x.min()
df['price_range_7'] = df['price'].rolling(window=7).apply(price_range)
# 自定义函数：计算窗口内收益率
def total_return(x):
    return (x.iloc[-1] - x.iloc[0]) / x.iloc[0] * 100
df['return_7'] = df['price'].rolling(window=7).apply(total_return)
print("\n自定义滚动统计：")
print(df[['price', 'price_range_7', 'return_7']].head(15))

自定义滚动统计：
                 price  price_range_7  return_7
2024-01-01  100.993428            NaN       NaN
2024-01-02  100.716900            NaN       NaN
2024-01-03  102.012277            NaN       NaN
2024-01-04  105.058336            NaN       NaN
2024-01-05  104.590030            NaN       NaN
2024-01-06  104.121756            NaN       NaN
2024-01-07  107.280181       6.563282  6.224913
2024-01-08  108.815051       8.098151  8.040509
2024-01-09  107.876102       6.802774  5.748157
2024-01-10  108.961222       4.839466  3.714970
2024-01-11  108.034387       4.839466  3.293198
2024-01-12  107.102927       4.839466  2.863159
2024-01-13  107.586852       1.858295  0.285859
2024-01-14  103.760291       5.200931 -4.645276
2024-01-15  100.310456       8.650767 -7.013274

2.5 Expanding 扩张窗口

从起始位置逐渐扩大窗口，包含所有历史数据。

In [6]:

# 计算累计平均
df['expanding_mean'] = df['price'].expanding().mean()
# 计算累计最大值和最小值
df['expanding_max'] = df['price'].expanding().max()
df['expanding_min'] = df['price'].expanding().min()
# 绘制
df[['price', 'expanding_mean', 'expanding_max', 'expanding_min']].plot(figsize=(12, 6), title='Expanding Window Statistics')
plt.xlabel('Date')
plt.ylabel('Price')
plt.legend(['Price', 'Expanding Mean', 'Expanding Max', 'Expanding Min'])
plt.grid(True, alpha=0.3)
plt.show()
print("\n扩张窗口统计（前15行）：")
print(df[['price', 'expanding_mean', 'expanding_max', 'expanding_min']].head(15))

扩张窗口统计（前15行）：
                 price  expanding_mean  expanding_max  expanding_min
2024-01-01  100.993428      100.993428     100.993428     100.993428
2024-01-02  100.716900      100.855164     100.993428     100.716900
2024-01-03  102.012277      101.240868     102.012277     100.716900
2024-01-04  105.058336      102.195235     105.058336     100.716900
2024-01-05  104.590030      102.674194     105.058336     100.716900
2024-01-06  104.121756      102.915454     105.058336     100.716900
2024-01-07  107.280181      103.538987     107.280181     100.716900
2024-01-08  108.815051      104.198495     108.815051     100.716900
2024-01-09  107.876102      104.607118     108.815051     100.716900
2024-01-10  108.961222      105.042528     108.961222     100.716900
2024-01-11  108.034387      105.314515     108.961222     100.716900
2024-01-12  107.102927      105.463550     108.961222     100.716900
2024-01-13  107.586852      105.626881     108.961222     100.716900
2024-01-14  103.760291      105.493553     108.961222     100.716900
2024-01-15  100.310456      105.148013     108.961222     100.310456

2.6 EWM 指数加权移动平均

给予近期数据更高权重，对价格变化更敏感。

In [7]:

# 使用span参数
df['ewm_span_7'] = df['price'].ewm(span=7).mean()
df['ewm_span_30'] = df['price'].ewm(span=30).mean()
# 对比SMA和EMA
df[['price', 'ma_7', 'ewm_span_7']].plot(figsize=(12, 6), title='SMA vs EMA')
plt.xlabel('Date')
plt.ylabel('Price')
plt.legend(['Price', 'SMA 7', 'EMA 7'])
plt.grid(True, alpha=0.3)
plt.show()
print("\n指数加权移动平均（前15行）：")
print(df[['price', 'ma_7', 'ewm_span_7']].head(15))

指数加权移动平均（前15行）：
                 price        ma_7  ewm_span_7
2024-01-01  100.993428         NaN  100.993428
2024-01-02  100.716900         NaN  100.835412
2024-01-03  102.012277         NaN  101.344326
2024-01-04  105.058336         NaN  102.702593
2024-01-05  104.590030         NaN  103.321266
2024-01-06  104.121756         NaN  103.564718
2024-01-07  107.280181  103.538987  104.636672
2024-01-08  108.815051  104.656362  105.797479
2024-01-09  107.876102  105.679105  106.359320
2024-01-10  108.961222  106.671811  107.048612
2024-01-11  108.034387  107.096961  107.305923
2024-01-12  107.102927  107.455947  107.253514
2024-01-13  107.586852  107.950960  107.338877
2024-01-14  103.760291  107.448119  106.428000
2024-01-15  100.310456  106.233177  104.877900

In [8]:

# 使用com (center of mass)参数
df['ewm_com_5'] = df['price'].ewm(com=5).mean()
# 使用halflife参数
df['ewm_halflife_5'] = df['price'].ewm(halflife=5).mean()
# 使用alpha参数（直接指定衰减系数）
df['ewm_alpha_0.3'] = df['price'].ewm(alpha=0.3).mean()
print("\n不同EWM参数对比（前10行）：")
print(df[['price', 'ewm_span_7', 'ewm_com_5', 'ewm_halflife_5', 'ewm_alpha_0.3']].head(10))

不同EWM参数对比（前10行）：
                 price  ewm_span_7   ewm_com_5  ewm_halflife_5  ewm_alpha_0.3
2024-01-01  100.993428  100.993428  100.993428      100.993428     100.993428
2024-01-02  100.716900  100.835412  100.842595      100.845596     100.830764
2024-01-03  102.012277  101.344326  101.305326      101.289469     101.370268
2024-01-04  105.058336  102.702593  102.513449      102.435662     102.826276
2024-01-05  104.590030  103.321266  103.092087      102.993425     103.462298
2024-01-06  104.121756  103.564718  103.350110      103.252068     103.686514
2024-01-07  107.280181  104.636672  104.258690      104.091645     104.861369
2024-01-08  108.815051  105.797479  105.248215      105.004078     106.120033
2024-01-09  107.876102  106.359320  105.791486      105.525639     106.669007
2024-01-10  108.961222  107.048612  106.421531      106.118618     107.376661

2.7 滚动相关系数和协方差

计算两个序列之间的滚动相关性。

In [9]:

# 创建两个相关序列
df['price2'] = df['price'] + np.random.randn(60) * 5
# 计算滚动相关系数
df['rolling_corr'] = df['price'].rolling(window=14).corr(df['price2'])
# 计算滚动协方差
df['rolling_cov'] = df['price'].rolling(window=14).cov(df['price2'])
# 绘制
fig, axes = plt.subplots(2, 1, figsize=(12, 8))
df[['price', 'price2']].plot(ax=axes[0], title='Two Price Series')
axes[0].grid(True, alpha=0.3)
df['rolling_corr'].plot(ax=axes[1], title='Rolling Correlation (14-day)', color='purple')
axes[1].axhline(y=0, color='r', linestyle='--', alpha=0.5)
axes[1].grid(True, alpha=0.3)
plt.tight_layout()
plt.show()
print("\n滚动相关统计（前20行）：")
print(df[['price', 'price2', 'rolling_corr', 'rolling_cov']].head(20))

滚动相关统计（前20行）：
                 price      price2  rolling_corr  rolling_cov
2024-01-01  100.993428  103.500670           NaN          NaN
2024-01-02  100.716900  106.507833           NaN          NaN
2024-01-03  102.012277  103.297861           NaN          NaN
2024-01-04  105.058336  106.630901           NaN          NaN
2024-01-05  104.590030  111.449340           NaN          NaN
2024-01-06  104.121756  104.999522           NaN          NaN
2024-01-07  107.280181  105.733739           NaN          NaN
2024-01-08  108.815051  112.180678           NaN          NaN
2024-01-09  107.876102  106.592951           NaN          NaN
2024-01-10  108.961222  107.122094           NaN          NaN
2024-01-11  108.034387  114.403055           NaN          NaN
2024-01-12  107.102927  105.643164           NaN          NaN
2024-01-13  107.586852   94.310972           NaN          NaN
2024-01-14  103.760291  105.487881      0.209861     2.842722
2024-01-15  100.310456   98.332873      0.331210     5.029522
2024-01-16   99.185881   97.740196      0.516154     9.106168
2024-01-17   97.160218   99.424900      0.559975    12.178414
2024-01-18   97.788713   96.958409      0.626131    16.239314
2024-01-19   95.972665   97.047359      0.696766    20.240063
2024-01-20   93.148058   83.036483      0.788135    35.555180

2.8 滚动回归

在滚动窗口上进行线性回归。

In [10]:

# 计算滚动beta（斜率）
def rolling_beta(x, y):
    cov = np.cov(x, y)[0, 1]
    var = np.var(x)
    return cov / var if var != 0 else np.nan
# 使用rolling apply计算beta
window = 14
betas = []
for i in range(len(df)):
    if i < window - 1:
        betas.append(np.nan)
    else:
        x = df['price'].iloc[i-window+1:i+1].values
        y = df['price2'].iloc[i-window+1:i+1].values
        betas.append(rolling_beta(x, y))
df['rolling_beta'] = betas
# 绘制
df['rolling_beta'].plot(figsize=(12, 5), title='Rolling Beta (14-day)')
plt.xlabel('Date')
plt.ylabel('Beta')
plt.grid(True, alpha=0.3)
plt.show()
print("\n滚动Beta（前20行）：")
print(df[['price', 'price2', 'rolling_beta']].head(20))

滚动Beta（前20行）：
                 price      price2  rolling_beta
2024-01-01  100.993428  103.500670           NaN
2024-01-02  100.716900  106.507833           NaN
2024-01-03  102.012277  103.297861           NaN
2024-01-04  105.058336  106.630901           NaN
2024-01-05  104.590030  111.449340           NaN
2024-01-06  104.121756  104.999522           NaN
2024-01-07  107.280181  105.733739           NaN
2024-01-08  108.815051  112.180678           NaN
2024-01-09  107.876102  106.592951           NaN
2024-01-10  108.961222  107.122094           NaN
2024-01-11  108.034387  114.403055           NaN
2024-01-12  107.102927  105.643164           NaN
2024-01-13  107.586852   94.310972           NaN
2024-01-14  103.760291  105.487881      0.373930
2024-01-15  100.310456   98.332873      0.623060
2024-01-16   99.185881   97.740196      0.983193
2024-01-17   97.160218   99.424900      0.927755
2024-01-18   97.788713   96.958409      0.980649
2024-01-19   95.972665   97.047359      0.948598
2024-01-20   93.148058   83.036483      1.230099

2.9 技术指标示例：布林带

使用滚动窗口计算布林带指标。

In [11]:

# 布林带参数
window = 20
num_std = 2
# 计算中轨（移动平均线）
df['bb_middle'] = df['price'].rolling(window=window).mean()
# 计算标准差
df['bb_std'] = df['price'].rolling(window=window).std()
# 计算上轨和下轨
df['bb_upper'] = df['bb_middle'] + (df['bb_std'] * num_std)
df['bb_lower'] = df['bb_middle'] - (df['bb_std'] * num_std)
# 绘制布林带
plt.figure(figsize=(12, 6))
plt.plot(df.index, df['price'], label='Price', color='blue')
plt.plot(df.index, df['bb_middle'], label='Middle Band', color='orange', linestyle='--')
plt.plot(df.index, df['bb_upper'], label='Upper Band', color='red', linestyle=':')
plt.plot(df.index, df['bb_lower'], label='Lower Band', color='green', linestyle=':')
plt.fill_between(df.index, df['bb_upper'], df['bb_lower'], alpha=0.1, color='gray')
plt.title('Bollinger Bands')
plt.xlabel('Date')
plt.ylabel('Price')
plt.legend()
plt.grid(True, alpha=0.3)
plt.show()
print("\n布林带数据（前25行）：")
print(df[['price', 'bb_middle', 'bb_upper', 'bb_lower']].head(25))

布林带数据（前25行）：
                 price   bb_middle    bb_upper   bb_lower
2024-01-01  100.993428         NaN         NaN        NaN
2024-01-02  100.716900         NaN         NaN        NaN
2024-01-03  102.012277         NaN         NaN        NaN
2024-01-04  105.058336         NaN         NaN        NaN
2024-01-05  104.590030         NaN         NaN        NaN
2024-01-06  104.121756         NaN         NaN        NaN
2024-01-07  107.280181         NaN         NaN        NaN
2024-01-08  108.815051         NaN         NaN        NaN
2024-01-09  107.876102         NaN         NaN        NaN
2024-01-10  108.961222         NaN         NaN        NaN
2024-01-11  108.034387         NaN         NaN        NaN
2024-01-12  107.102927         NaN         NaN        NaN
2024-01-13  107.586852         NaN         NaN        NaN
2024-01-14  103.760291         NaN         NaN        NaN
2024-01-15  100.310456         NaN         NaN        NaN
2024-01-16   99.185881         NaN         NaN        NaN
2024-01-17   97.160218         NaN         NaN        NaN
2024-01-18   97.788713         NaN         NaN        NaN
2024-01-19   95.972665         NaN         NaN        NaN
2024-01-20   93.148058  103.023787  112.460066  93.587507
2024-01-21   96.079355  102.778083  112.681313  92.874853
2024-01-22   95.627802  102.523628  112.900063  92.147193
2024-01-23   95.762859  102.211157  113.019811  91.402504
2024-01-24   92.913363  101.603908  113.082912  90.124905
2024-01-25   91.824597  100.965637  113.143839  88.787434

2.10 综合对比

对比不同类型的窗口运算。

In [12]:

# 创建对比数据
comparison_df = pd.DataFrame({
    'price': df['price'],
    'rolling_ma': df['ma_7'],
    'expanding_ma': df['expanding_mean'],
    'ewm_ma': df['ewm_span_7']
})
# 绘制对比图
comparison_df.plot(figsize=(12, 6), title='Comparison of Window Operations')
plt.xlabel('Date')
plt.ylabel('Price')
plt.legend(['Price', 'Rolling MA (7)', 'Expanding MA', 'EMA (7)'])
plt.grid(True, alpha=0.3)
plt.show()
print("\n窗口运算对比（前15行）：")
print(comparison_df.head(15))
print("\n窗口运算对比（后10行）：")
print(comparison_df.tail(10))

窗口运算对比（前15行）：
                 price  rolling_ma  expanding_ma      ewm_ma
2024-01-01  100.993428         NaN    100.993428  100.993428
2024-01-02  100.716900         NaN    100.855164  100.835412
2024-01-03  102.012277         NaN    101.240868  101.344326
2024-01-04  105.058336         NaN    102.195235  102.702593
2024-01-05  104.590030         NaN    102.674194  103.321266
2024-01-06  104.121756         NaN    102.915454  103.564718
2024-01-07  107.280181  103.538987    103.538987  104.636672
2024-01-08  108.815051  104.656362    104.198495  105.797479
2024-01-09  107.876102  105.679105    104.607118  106.359320
2024-01-10  108.961222  106.671811    105.042528  107.048612
2024-01-11  108.034387  107.096961    105.314515  107.305923
2024-01-12  107.102927  107.455947    105.463550  107.253514
2024-01-13  107.586852  107.950960    105.626881  107.338877
2024-01-14  103.760291  107.448119    105.493553  106.428000
2024-01-15  100.310456  106.233177    105.148013  104.877900
窗口运算对比（后10行）：
                price  rolling_ma  expanding_ma     ewm_ma
2024-02-20  78.100777   79.233914     93.128858  79.640048
2024-02-21  77.330613   78.775691     92.825046  79.062689
2024-02-22  75.976769   78.329731     92.507154  78.291209
2024-02-23  77.200121   78.190148     92.223690  78.018437
2024-02-24  79.262120   78.043100     91.988025  78.329358
2024-02-25  81.124681   78.063956     91.794037  79.028189
2024-02-26  79.446246   78.348761     91.577409  79.132703
2024-02-27  78.827821   78.452624     91.357589  79.056482
2024-02-28  79.490348   78.761158     91.156449  79.164949
2024-02-29  81.441438   79.541825     90.994532  79.734071

3. 常见应用场景总结

1. 趋势分析
   ：使用移动平均线平滑价格数据，识别趋势。
2. 波动率计算
   ：使用滚动标准差衡量价格波动。
3. 技术指标
   ：布林带、RSI、MACD等技术分析指标。
4. 异常检测
   ：通过滚动统计识别异常值。
5. 相关性分析
   ：计算滚动相关系数观察关系变化。
6. 累计统计
   ：使用expanding计算累计收益率、累计最大值等。