Python高维变量选择:SCAD平滑剪切绝对偏差惩罚、Lasso惩罚函数比较
- 2026-03-26 09:16:49
原文链接：http://tecdat.cn/?p=24940
变量选择是高维统计建模的重要组成部分。许多流行的变量选择方法，例如 LASSO，都存在偏差。带平滑削边绝对偏离(smoothly clipped absolute deviation,_SCAD_)正则项的回归问题或平滑剪切绝对偏差 (SCAD) 估计试图缓解这种偏差问题，同时还保留了稀疏性的连续惩罚。
相关视频
惩罚最小二乘法
一大类变量选择模型可以在称为“惩罚最小二乘法”的模型族下进行描述。这些目标函数的一般形式是
其中 
是设计矩阵， 
是因变量的向量， 
是系数的向量，
是由正则化参数索引的惩罚函数 
.
作为特殊情况，请注意 LASSO 对应的惩罚函数为 
，而岭回归对应于 
。回想下面这些单变量惩罚的图形形状。
SCAD
Fan和Li（2001）提出的平滑剪切绝对偏差（SCAD）惩罚，旨在鼓励最小二乘法问题的稀疏解，同时也允许大值的 β。SCAD惩罚是一个更大的系列，被称为 "折叠凹陷惩罚"，它在以下方面是凹的， R+ 和 R-。从图形上看，SCAD 惩罚如下所示：
点击标题查阅往期内容
左右滑动查看更多
01
02
03
04
有点奇怪的是，SCAD 惩罚通常主要由它的一阶导数定义 
， 而不是 
。它的导数是
其中 a 是一个可调参数，用于控制 β 值的惩罚下降的速度，以及函数 
等于 
如果 
, 否则为 0。
我们可以通过分解惩罚函数在不同数值下的导数来获得一些洞察力 λ:
对于较大的 β 值 （其中 
)，惩罚对于 β 是恒定的。换句话说，在 β 变得足够大之后，β 的较高值 不会受到更多的惩罚。这与 LASSO 惩罚形成对比，后者具有关于 |β|的单调递增惩罚：
但是，这意味着对于大系数值，他们的 LASSO 估计将向下偏置。
另一方面，对于较小的 β 值 （其中 |β|≤λ），SCAD 惩罚在 β 中是线性的。对于 β 的中等值（其中 
），惩罚是二次的。
分段定义，pλ(β) 是
在 Python 中，SCAD 惩罚及其导数可以定义如下：
def scad: s_lar iudic =np.lgicand iscsat = (vl * laval) < np.abs lie\_prt = md\_val * pab* iliearreturn liprt + urtirt + cosaat
使用 SCAD 拟合模型
拟合惩罚最小二乘模型（包括 SCAD 惩罚模型）的一种通用方法是使用局部二次近似。这种方法相当于在初始点 β0 周围拟合二次函数 q(β)，使得近似：
关于 0 对称，
满足 q(β0)=pλ(|β0|)，
满足 q ′ (β0) = p′λ (| β0 |)。
因此，逼近函数必须具有以下形式
对于不依赖于 β 的系数 a 和 b 。上面的约束为我们提供了一个可以求解的两个方程组：
为了完整起见，让我们来看看解决方案。重新排列第二个方程，我们有
将其代入第一个方程，我们有
因此，完整的二次方程是
现在，对于系数值的任何初始猜测 β0，我们可以使用上面的 q 构造惩罚的二次估计。然后，与初始 SCAD 惩罚相比，找到此二次方的最小值要容易得多。
从图形上看，二次近似如下所示：
将 SCAD 惩罚的二次逼近代入完整的最小二乘目标函数，优化问题变为：
忽略不依赖于 β 的项，这个最小化问题等价于
巧妙地，我们可以注意到这是一个岭回归问题，其中
回想一下， 岭回归 是
这意味着近似的 SCAD 解是
本文中分析的数据、代码分享到会员群，扫描下面二维码即可加群！
本文摘选《Python高维统计建模变量选择:SCAD平滑剪切绝对偏差惩罚、Lasso惩罚函数比较》，点击“阅读原文”获取全文完整资料。
点击标题查阅往期内容
