当前位置:首页>python>Python代码教程 :聚类标准误为什么是面板回归的必备?

Python代码教程 :聚类标准误为什么是面板回归的必备?

  • 2026-10-23 09:30:05
Python代码教程 :聚类标准误为什么是面板回归的必备?
关注+星标,每天学习Python新技能

来源:网络

你有没有过这种经历——跑出来的回归结果显著得不得了,换了一个命令加上聚类标准误,p 值直接从 0.001 变成 0.3?不聚类,你的「显著结果」可能只是一个统计学假象。


一、灵魂拷问:你在检验什么?

先看一个真实场景。

假设你在研究「企业数字化转型对绩效的影响」,收集了 2010—2022 年 3000 家上市公司的数据。

你写了这样一行代码:

# 普通 OLS 标准误(假设独立同分布 i.i.d.)model = smf.ols('ROA ~ digital + size + lev + age', data=df).fit()print(model.summary())

结果出来了:digital 的系数 = 0.023,p = 0.000*

漂亮,显著!

但是,你有没有想过——这个 p 值是怎么算出来的?

它背后的假设是:每个残差之间相互独立,互不相关。

问题是:这个假设在面板数据中成立吗?


二、为什么 i.i.d. 假设在面板数据中天然失效?

面板数据的结构长这样:

企业1(苹果):2010年、2011年、2012年...2022年企业2(腾讯):2010年、2011年、2012年...2022年企业3(华为):2010年、2011年、2012年...2022年...企业3000(小米):2010年、2011年、2012年...2022年

同一个企业内部,不同年份的数据是「一家人」。

这意味着——

  • • 苹果公司 2020 年的 ROA 和 2021 年的 ROA 之间,存在时间上的相关性
  • • 苹果公司和腾讯公司 2020 年的 ROA 之间,可能存在行业层面的相关性
  • • 即使控制了很多变量,同一企业不同年份的冲击往往不是独立的

换句话说,你的残差项存在组内相关(within-cluster correlation)。

用一个经典比喻:

想象你在一所学校里调查学生身高。你随机抽取了 50 个班级,每个班级测了 10 个学生。如果用普通标准误,就相当于假设——每个学生的身高和同班其他同学的身高完全无关。但你知道这个假设有多荒谬:同一个班的学生受同样的遗传、饮食、运动影响,他们的身高明显是相关的。班级,就是聚类的维度。

面板数据同理:企业就是「班级」,年份就是「学生」。 同一家企业不同年份的观测值,绝不是独立的。


三、不聚类会发生什么?

标准误会严重低估真实的不确定性,导致虚假显著。

原因很简单:如果同一聚类内的观测值相关,那么有效样本量其实比你以为的小得多。

举一个极端但直观的例子:

假设某企业有10年数据,且每年残差完全相同(完美相关)真实信息量 ≈ 1个独立观测(10年 = 1个独立单位)但普通标准误把它当成了 10 个独立观测→ 标准误被低估了约 sqrt(10) ≈ 3倍→ t统计量被高估了约 3倍→ 虚假显著!

实证结果:Cameron Gelbach Miller(2015)等研究显示,在典型的公司面板数据中,聚类后的标准误往往是普通标准误的 2—5 倍,p 值从显著直接变成不显著的情况比比皆是。

你的阴性结果或阳性结果,可能只是选错了标准误。


四、聚类标准误是什么?

聚类的本质:把同一聚类(如同一企业)内的所有观测视为一个「超级观测」,只允许不同聚类之间独立。

数学上,普通 OLS 标准误假设:

聚类稳健标准误(CRVE)改为:

其中  是聚类  内所有残差的和。同一聚类内的残差可以任意相关,只有不同聚类之间才算独立。


五、聚类到哪一层?(这是最容易被问的问题)

这是最关键也最容易出错的地方:聚类的维度应该和数据的相关结构一致。

聚类维度
适用场景
企业
同一企业不同年份的残差相关(最常见)
年份
某一年所有企业受到共同冲击(金融危机等)
企业 × 年份
(双向聚类)
同时存在企业和年份层面的相关
地区 / 行业
同一地区/行业的样本共享未观测冲击
省份
研究涉及地区政策时常用

判断标准:残差中存在的相关性来源,就应该在那个维度上聚类。

在大多数公司金融研究中,标准做法是同时在企业和年份上双向聚类(two-way clustering),因为:

  • • 同一企业历年数据相关(企业维度)
  • • 同一年所有企业受共同宏观冲击(年份维度)

六、代码对比:不聚类 vs 聚类,差距有多大?

Python 实现

import pandas as pdimport numpy as npimport statsmodels.formula.api as smfimport linearmodels.panel as plmfrom scipy import stats# ============================================================#  修改这里:替换为你的数据路径和变量名# ============================================================df = pd.read_csv('YOUR_DATA_PATH.csv')# 数据结构要求(请替换为你的真实变量名):# - Y:因变量(如 ROA、ROE、lnwage 等)# - X:核心自变量(如 digital、treat 等)# - ctrl:控制变量列表# - firm_id:企业ID(聚类维度1)# - year:年份(聚类维度2)# ============================================================Y_VAR = 'Y'X_VAR = 'X'CTRL_VARS = ['size', 'lev', 'age', 'roa_lag']FIRM_ID = 'firm_id'YEAR = 'year'

方法一:普通 OLS(i.i.d. 标准误)

# 普通 OLS,假设残差独立同分布formula = f'{Y_VAR} ~ {X_VAR} + {" + ".join(CTRL_VARS)}'ols_model = smf.ols(formula, data=df).fit()print("=" * 60)print("普通 OLS(假设 i.i.d.,不聚类)")print("=" * 60)print(f"系数:{ols_model.params[X_VAR]:.4f}")print(f"普通标准误:{ols_model.bse[X_VAR]:.4f}")print(f"t值:{ols_model.tvalues[X_VAR]:.4f}")print(f"p值:{ols_model.pvalues[X_VAR]:.4f}")print("=" * 60)

方法二:单向聚类(企业层面)

# 设置面板索引df_panel = df.set_index([FIRM_ID, YEAR])# 方法一:linearmodels 聚类到企业from linearmodels.panel import PanelOLSfe_model = PanelOLS.from_formula(    f'{Y_VAR} ~ {X_VAR} + {" + ".join(CTRL_VARS)} + EntityEffects',    data=df_panel).fit(cov_type='clustered', cluster_entity=True)print("\n单向聚类(企业层面)")print(f"聚类企业数:{df[FIRM_ID].nunique()}")print(f"系数:{fe_model.params[X_VAR]:.4f}")print(f"聚类标准误:{fe_model.std_errors[X_VAR]:.4f}")print(f"t值:{fe_model.tstats[X_VAR]:.4f}")print(f"p值:{fe_model.pvalues[X_VAR]:.4f}")

方法三:双向聚类(企业 × 年份)——推荐

# 方法二:手动实现 Cameron-Gelbach-Miller 双向聚类# (MacKinnon et al. 2022 算法)def two_way_clustered_se(df, formula, y_var, x_var, firm_col, year_col):    """    双向聚类标准误(Cameron-Gelbach-Miller 2015)    返回普通SE、企业聚类SE、年份聚类SE、双向聚类SE    """    import statsmodels.api as sm    from linearmodels.panel import PanelOLS    df_p = df.set_index([firm_col, year_col])    # 普通OLS残差    model_ols = smf.ols(formula, data=df).fit()    residuals = model_ols.resid    # 企业聚类SE    fe_firm = PanelOLS.from_formula(        formula, data=df_p    ).fit(cov_type='clustered', cluster_entity=True)    # 年份聚类SE    fe_year = PanelOLS.from_formula(        formula, data=df_p    ).fit(cov_type='clustered', cluster_time=True)    # 双向聚类SE(MacKinnon-Nielsen-Webb 2022)    # V_cl = V_firm + V_year - V_robust(核心公式)    n = len(df)    k = model_ols.df_model    # 提取各版本的标准误    se_iid = model_ols.bse[x_var]    se_firm = fe_firm.std_errors[x_var]    se_year = fe_year.std_errors[x_var]    # 双向聚类 SE(近似公式)    se_two_way = np.sqrt(se_firm**2 + se_year**2 - se_iid**2)    return {        'iid_se': se_iid,        'firm_se': se_firm,        'year_se': se_year,        'twoway_se': se_two_way,        'twoway_t': model_ols.params[x_var] / se_two_way,    }# 运行双向聚类se_results = two_way_clustered_se(    df,    formula=f'{Y_VAR} ~ {X_VAR} + {" + ".join(CTRL_VARS)}',    y_var=Y_VAR,    x_var=X_VAR,    firm_col=FIRM_ID,    year_col=YEAR)coef = ols_model.params[X_VAR]print("\n" + "=" * 70)print("标准误对比(核心解释变量:X)")print("=" * 70)print(f"{'标准误类型':<25} {'SE':<12} {'t值':<10} {'结论'}")print("-" * 70)print(f"{'普通OLS(i.i.d.)':<25} {se_results['iid_se']:<12.4f} {ols_model.tvalues[X_VAR]:<10.4f}")print(f"{'企业单向聚类':<25} {se_results['firm_se']:<12.4f} {coef/se_results['firm_se']:<10.4f}")print(f"{'年份单向聚类':<25} {se_results['year_se']:<12.4f} {coef/se_results['year_se']:<10.4f}")print(f"{'企业×年份双向聚类':<25} {se_results['twoway_se']:<12.4f} {se_results['twoway_t']:<10.4f} 推荐")print("=" * 70)# 显著性判定(α=0.05)p_twoway = 2 * (1 - stats.t.cdf(abs(se_results['twoway_t']), df=len(df)-1))print(f"\n双向聚类 p值:{p_twoway:.4f}")if p_twoway < 0.01:    sig = "1%水平显著 ***"elif p_twoway < 0.05:    sig = "5%水平显著 **"elif p_twoway < 0.1:    sig = "10%水平显著 *"else:    sig = "不显著"print(f"结论:{sig}")

可视化对比

se_types = ['i.i.d.\n普通OLS', '企业\n单向聚类', '年份\n单向聚类', '企业×年份\n双向聚类']se_values = [se_results['iid_se'], se_results['firm_se'],             se_results['year_se'], se_results['twoway_se']]colors = ['coral', 'steelblue', 'steelblue', 'darkgreen']bars = plt.bar(se_types, se_values, color=colors, alpha=0.8, edgecolor='black')# 在柱子上标注数值for bar, val in zip(bars, se_values):    plt.text(bar.get_x() + bar.get_width()/2, bar.get_height() + 0.001,             f'{val:.4f}', ha='center', va='bottom', fontsize=11)plt.ylabel('标准误', fontsize=12)plt.title('标准误类型对比\n(值越大 = 结果越不确定)', fontsize=14)plt.axhline(y=se_results['twoway_se'], color='darkgreen',            linestyle='--', linewidth=1.5, label='推荐:双向聚类SE')plt.legend()plt.tight_layout()plt.savefig('se_comparison.png', dpi=150)plt.show()print("标准误对比图已保存")

七、Stata 对照(顺手附上)

如果你是 Stata 用户,命令更简洁:

* 普通 OLS(i.i.d.)reg Y X size lev age, robust* 企业单向聚类reg Y X size lev age, vce(cluster firm_id)* 双向聚类(Sergio Correia 的 confa 命令)ssc install cmgreg, replacecmgreg Y X size lev age, cluster(firm_id year)* 或手动两阶段聚类reg Y X size lev age, vce(cluster firm_id)est store cluster_firmreg Y X size lev age, vce(cluster year)est store cluster_year* 然后用套索估计器组合(参考 Cameron et al. 2011)

八、常见误区避坑

误区
真相
「robust就够了,不需要聚类」
Robust(异方差稳健)和聚类是两回事,robust 不处理组内相关问题
「聚类数量越多越好」
太细的聚类(如每个样本一个聚类)会导致标准误趋于无穷大
「双固定效应就自动聚类了」
固定效应控制的是均值层面的偏误,聚类解决的是残差相关问题,两者独立
「只聚类到企业就够了」
如果存在跨企业的时间冲击(共同宏观冲击),年份聚类同样重要
「聚类标准误总比普通的大」
不一定。企业内相关为正会增加 SE;年份内相关为负则可能减小 SE

九、聚类数量与有限样本修正

当聚类数量 G 较小时(如省份层面只有 31 个),标准误需要进行小样本修正(degrees of freedom correction):

经验法则:

  • • G ≥ 50:标准误估计比较可靠
  • • 20 ≤ G < 50:建议用 Bootstrap 或 CR0 估计
  • • G < 20:谨慎解读,最好换用其他方法(如 wild bootstrap)
# 有限样本修正n = len(df)k = ols_model.df_model + 1  # 参数个数n_clusters = df[FIRM_ID].nunique()df_adjustment = (n - 1) / (n - k) * n_clusters / (n_clusters - 1)se_adjusted = se_results['twoway_se'] * np.sqrt(df_adjustment)print(f"有限样本修正后的双向聚类SE:{se_adjusted:.4f}")

十、结语

回到最初的问题:为什么面板回归要用聚类标准误?

答案很简单:

因为面板数据中,同一企业不同年份的残差天然相关,违反了 OLS 标准误的 i.i.d. 假设。不聚类,你的显著性可能只是「统计假象」。

换个角度说——聚类标准误是一种谦逊:它承认我不知道数据内部是怎么相关的,所以我把所有可能的相关性都「打包处理」,给你一个更保守、更可靠的推断区间。

这是实证研究中最容易被忽略、但也最不该忽略的一步。


下次跑回归之前,记得先问自己:我的数据,应该在哪个维度上聚类?


互动话题:你曾经在实证分析中遇到过「一聚类就不显著」的情况吗?是怎么处理的?**评论区聊聊你的经历 **

觉得有收获的话,点赞 + 在看,让我知道你来过


推荐阅读

  • • Petersen, M. A. (2009). Estimating standard errors in finance panel data sets: Comparing approaches. Review of Financial Studies, 22(1), 435–480.
  • • Cameron, A. C., Gelbach, J. B., & Miller, D. L. (2011). Robust inference with multiway clustering. Journal of Business & Economic Statistics, 29(2), 238–249.
  • • MacKinnon, J. G., Nielsen, M. Ø., & Webb, M. D. (2023). Cluster-robust inference: A guide to empirical practice. Journal of Econometrics, 232(2), 272–299.

长按或扫描下方二维码,免费获取 Python公开课和大佬打包整理的几百G的学习资料,内容包含但不限于Python电子书、教程、项目接单、源码等等

▲扫描二维码-免费领取

推荐阅读

Python 3.15 默认UTF-8来了!新手乱码问题有救了

别再print调试了!Python这个功能一行搞定日志

Python 3.15 快发布了!这3个变化,每个新手都应该提前知道

Python 3.14.6 来了!这4个新特性,新手早知早省心

点击 阅读原文了解更多

最新文章

随机文章