你有没有过这种经历——跑出来的回归结果显著得不得了,换了一个命令加上聚类标准误,p 值直接从 0.001 变成 0.3?不聚类,你的「显著结果」可能只是一个统计学假象。
先看一个真实场景。
假设你在研究「企业数字化转型对绩效的影响」,收集了 2010—2022 年 3000 家上市公司的数据。
你写了这样一行代码:
# 普通 OLS 标准误(假设独立同分布 i.i.d.)model = smf.ols('ROA ~ digital + size + lev + age', data=df).fit()print(model.summary())结果出来了:digital 的系数 = 0.023,p = 0.000*
漂亮,显著!
但是,你有没有想过——这个 p 值是怎么算出来的?
它背后的假设是:每个残差之间相互独立,互不相关。
问题是:这个假设在面板数据中成立吗?
面板数据的结构长这样:
企业1(苹果):2010年、2011年、2012年...2022年企业2(腾讯):2010年、2011年、2012年...2022年企业3(华为):2010年、2011年、2012年...2022年...企业3000(小米):2010年、2011年、2012年...2022年同一个企业内部,不同年份的数据是「一家人」。
这意味着——
换句话说,你的残差项存在组内相关(within-cluster correlation)。
用一个经典比喻:
想象你在一所学校里调查学生身高。你随机抽取了 50 个班级,每个班级测了 10 个学生。如果用普通标准误,就相当于假设——每个学生的身高和同班其他同学的身高完全无关。但你知道这个假设有多荒谬:同一个班的学生受同样的遗传、饮食、运动影响,他们的身高明显是相关的。班级,就是聚类的维度。
面板数据同理:企业就是「班级」,年份就是「学生」。 同一家企业不同年份的观测值,绝不是独立的。
标准误会严重低估真实的不确定性,导致虚假显著。
原因很简单:如果同一聚类内的观测值相关,那么有效样本量其实比你以为的小得多。
举一个极端但直观的例子:
假设某企业有10年数据,且每年残差完全相同(完美相关)真实信息量 ≈ 1个独立观测(10年 = 1个独立单位)但普通标准误把它当成了 10 个独立观测→ 标准误被低估了约 sqrt(10) ≈ 3倍→ t统计量被高估了约 3倍→ 虚假显著!实证结果:Cameron Gelbach Miller(2015)等研究显示,在典型的公司面板数据中,聚类后的标准误往往是普通标准误的 2—5 倍,p 值从显著直接变成不显著的情况比比皆是。
你的阴性结果或阳性结果,可能只是选错了标准误。
聚类的本质:把同一聚类(如同一企业)内的所有观测视为一个「超级观测」,只允许不同聚类之间独立。
数学上,普通 OLS 标准误假设:
聚类稳健标准误(CRVE)改为:
其中 是聚类 内所有残差的和。同一聚类内的残差可以任意相关,只有不同聚类之间才算独立。
这是最关键也最容易出错的地方:聚类的维度应该和数据的相关结构一致。
| 企业 | |
| 年份 | |
| 企业 × 年份 | |
| 地区 / 行业 | |
| 省份 |
判断标准:残差中存在的相关性来源,就应该在那个维度上聚类。
在大多数公司金融研究中,标准做法是同时在企业和年份上双向聚类(two-way clustering),因为:
import pandas as pdimport numpy as npimport statsmodels.formula.api as smfimport linearmodels.panel as plmfrom scipy import stats# ============================================================# 修改这里:替换为你的数据路径和变量名# ============================================================df = pd.read_csv('YOUR_DATA_PATH.csv')# 数据结构要求(请替换为你的真实变量名):# - Y:因变量(如 ROA、ROE、lnwage 等)# - X:核心自变量(如 digital、treat 等)# - ctrl:控制变量列表# - firm_id:企业ID(聚类维度1)# - year:年份(聚类维度2)# ============================================================Y_VAR = 'Y'X_VAR = 'X'CTRL_VARS = ['size', 'lev', 'age', 'roa_lag']FIRM_ID = 'firm_id'YEAR = 'year'方法一:普通 OLS(i.i.d. 标准误)
# 普通 OLS,假设残差独立同分布formula = f'{Y_VAR} ~ {X_VAR} + {" + ".join(CTRL_VARS)}'ols_model = smf.ols(formula, data=df).fit()print("=" * 60)print("普通 OLS(假设 i.i.d.,不聚类)")print("=" * 60)print(f"系数:{ols_model.params[X_VAR]:.4f}")print(f"普通标准误:{ols_model.bse[X_VAR]:.4f}")print(f"t值:{ols_model.tvalues[X_VAR]:.4f}")print(f"p值:{ols_model.pvalues[X_VAR]:.4f}")print("=" * 60)方法二:单向聚类(企业层面)
# 设置面板索引df_panel = df.set_index([FIRM_ID, YEAR])# 方法一:linearmodels 聚类到企业from linearmodels.panel import PanelOLSfe_model = PanelOLS.from_formula( f'{Y_VAR} ~ {X_VAR} + {" + ".join(CTRL_VARS)} + EntityEffects', data=df_panel).fit(cov_type='clustered', cluster_entity=True)print("\n单向聚类(企业层面)")print(f"聚类企业数:{df[FIRM_ID].nunique()}")print(f"系数:{fe_model.params[X_VAR]:.4f}")print(f"聚类标准误:{fe_model.std_errors[X_VAR]:.4f}")print(f"t值:{fe_model.tstats[X_VAR]:.4f}")print(f"p值:{fe_model.pvalues[X_VAR]:.4f}")方法三:双向聚类(企业 × 年份)——推荐
# 方法二:手动实现 Cameron-Gelbach-Miller 双向聚类# (MacKinnon et al. 2022 算法)def two_way_clustered_se(df, formula, y_var, x_var, firm_col, year_col): """ 双向聚类标准误(Cameron-Gelbach-Miller 2015) 返回普通SE、企业聚类SE、年份聚类SE、双向聚类SE """ import statsmodels.api as sm from linearmodels.panel import PanelOLS df_p = df.set_index([firm_col, year_col]) # 普通OLS残差 model_ols = smf.ols(formula, data=df).fit() residuals = model_ols.resid # 企业聚类SE fe_firm = PanelOLS.from_formula( formula, data=df_p ).fit(cov_type='clustered', cluster_entity=True) # 年份聚类SE fe_year = PanelOLS.from_formula( formula, data=df_p ).fit(cov_type='clustered', cluster_time=True) # 双向聚类SE(MacKinnon-Nielsen-Webb 2022) # V_cl = V_firm + V_year - V_robust(核心公式) n = len(df) k = model_ols.df_model # 提取各版本的标准误 se_iid = model_ols.bse[x_var] se_firm = fe_firm.std_errors[x_var] se_year = fe_year.std_errors[x_var] # 双向聚类 SE(近似公式) se_two_way = np.sqrt(se_firm**2 + se_year**2 - se_iid**2) return { 'iid_se': se_iid, 'firm_se': se_firm, 'year_se': se_year, 'twoway_se': se_two_way, 'twoway_t': model_ols.params[x_var] / se_two_way, }# 运行双向聚类se_results = two_way_clustered_se( df, formula=f'{Y_VAR} ~ {X_VAR} + {" + ".join(CTRL_VARS)}', y_var=Y_VAR, x_var=X_VAR, firm_col=FIRM_ID, year_col=YEAR)coef = ols_model.params[X_VAR]print("\n" + "=" * 70)print("标准误对比(核心解释变量:X)")print("=" * 70)print(f"{'标准误类型':<25} {'SE':<12} {'t值':<10} {'结论'}")print("-" * 70)print(f"{'普通OLS(i.i.d.)':<25} {se_results['iid_se']:<12.4f} {ols_model.tvalues[X_VAR]:<10.4f}")print(f"{'企业单向聚类':<25} {se_results['firm_se']:<12.4f} {coef/se_results['firm_se']:<10.4f}")print(f"{'年份单向聚类':<25} {se_results['year_se']:<12.4f} {coef/se_results['year_se']:<10.4f}")print(f"{'企业×年份双向聚类':<25} {se_results['twoway_se']:<12.4f} {se_results['twoway_t']:<10.4f} 推荐")print("=" * 70)# 显著性判定(α=0.05)p_twoway = 2 * (1 - stats.t.cdf(abs(se_results['twoway_t']), df=len(df)-1))print(f"\n双向聚类 p值:{p_twoway:.4f}")if p_twoway < 0.01: sig = "1%水平显著 ***"elif p_twoway < 0.05: sig = "5%水平显著 **"elif p_twoway < 0.1: sig = "10%水平显著 *"else: sig = "不显著"print(f"结论:{sig}")se_types = ['i.i.d.\n普通OLS', '企业\n单向聚类', '年份\n单向聚类', '企业×年份\n双向聚类']se_values = [se_results['iid_se'], se_results['firm_se'], se_results['year_se'], se_results['twoway_se']]colors = ['coral', 'steelblue', 'steelblue', 'darkgreen']bars = plt.bar(se_types, se_values, color=colors, alpha=0.8, edgecolor='black')# 在柱子上标注数值for bar, val in zip(bars, se_values): plt.text(bar.get_x() + bar.get_width()/2, bar.get_height() + 0.001, f'{val:.4f}', ha='center', va='bottom', fontsize=11)plt.ylabel('标准误', fontsize=12)plt.title('标准误类型对比\n(值越大 = 结果越不确定)', fontsize=14)plt.axhline(y=se_results['twoway_se'], color='darkgreen', linestyle='--', linewidth=1.5, label='推荐:双向聚类SE')plt.legend()plt.tight_layout()plt.savefig('se_comparison.png', dpi=150)plt.show()print("标准误对比图已保存")如果你是 Stata 用户,命令更简洁:
* 普通 OLS(i.i.d.)reg Y X size lev age, robust* 企业单向聚类reg Y X size lev age, vce(cluster firm_id)* 双向聚类(Sergio Correia 的 confa 命令)ssc install cmgreg, replacecmgreg Y X size lev age, cluster(firm_id year)* 或手动两阶段聚类reg Y X size lev age, vce(cluster firm_id)est store cluster_firmreg Y X size lev age, vce(cluster year)est store cluster_year* 然后用套索估计器组合(参考 Cameron et al. 2011)当聚类数量 G 较小时(如省份层面只有 31 个),标准误需要进行小样本修正(degrees of freedom correction):
经验法则:
# 有限样本修正n = len(df)k = ols_model.df_model + 1 # 参数个数n_clusters = df[FIRM_ID].nunique()df_adjustment = (n - 1) / (n - k) * n_clusters / (n_clusters - 1)se_adjusted = se_results['twoway_se'] * np.sqrt(df_adjustment)print(f"有限样本修正后的双向聚类SE:{se_adjusted:.4f}")回到最初的问题:为什么面板回归要用聚类标准误?
答案很简单:
因为面板数据中,同一企业不同年份的残差天然相关,违反了 OLS 标准误的 i.i.d. 假设。不聚类,你的显著性可能只是「统计假象」。
换个角度说——聚类标准误是一种谦逊:它承认我不知道数据内部是怎么相关的,所以我把所有可能的相关性都「打包处理」,给你一个更保守、更可靠的推断区间。
这是实证研究中最容易被忽略、但也最不该忽略的一步。
下次跑回归之前,记得先问自己:我的数据,应该在哪个维度上聚类?
互动话题:你曾经在实证分析中遇到过「一聚类就不显著」的情况吗?是怎么处理的?**评论区聊聊你的经历 **
觉得有收获的话,点赞 + 在看,让我知道你来过
推荐阅读

长按或扫描下方二维码,免费获取 Python公开课和大佬打包整理的几百G的学习资料,内容包含但不限于Python电子书、教程、项目接单、源码等等
▲扫描二维码-免费领取
推荐阅读
Python 3.15 默认UTF-8来了!新手乱码问题有救了
点击 阅读原文了解更多