本文共 2184 字，大约阅读时间需要 7 分钟。

1 共线性与L2正则化

L2正则化，可以使系数w的绝对值变小，使对应的特征项对结果的影响变小。如果数据没有问题，多元线性回归和多项式回归中，才有使用正则化的必要，一元线性回归不需要L2正则化。

在岭回归中，经常能看到共线性（collinearity）这个词，其实就是特征之间线性相关。 $$X_{mn}=[x_1,x_2,...,x_n]$$ 这里假如m表示样本数量，n表示特征数，那么$$x_1,x_2,...,x_n$$均为列向量，若$$x_1,x_2,...,x_n$$线性相关，则说明特征之间存在共线性。 因此当特征之间存在共线性时，X不可逆，$$X^{T}X$$也不可逆，那么正规方程$$w=(X^{T}X{)}^{-1}{X}^{T}y$$就不能使用，L2正则化，就是为了解决这个问题而诞生的，即令$$w=(X^{T}X+\lambda \ast I{)}^{-1}{X}^{T}y$$I是单位矩阵，λ是超参数 在线性回归的损失函数中，添加一个L2正则化项，即为岭回归的损失函数，为 对J2(θ)求导

其中，J1(θ)是没加L2正则化项时的损失函数，即

当$$w=(X^{T}X+\lambda \ast I{)}^{-1}{X}^{T}y$$时， 具体过程详见这篇知乎文章：https://zhuanlan.zhihu.com/p/32488420

2 Lasso回归

岭回归是在构建损失函数的时候，在普通线性回归损失函数的基础上加上L2正则化项，如果加的不是L2正则化项，而是L1正则化，那么就是Lasso回归。

关于L1正则化，详见这篇知乎文章：https://zhuanlan.zhihu.com/p/38309692 Lasso回归的目标函数为：

3 多任务Lasso回归

先说一下何为多任务，如果要用同一条数据做多个预测，比如用一个人的身高、体重预测他的体脂率、血压、血糖等信息，这就是多任务，说白了，就是目标值不止一个。

而多任务Lasso回归，其实就是对每个目标值都用Lasso回归进行预测。 多任务Lasso回归的目标函数： 这里Fro表示弗伦尼乌斯范数 正则化项为L1和L2的混合范数

4 弹性网络

弹性网络的正则化项综合了L1和L2范数，其目标函数为

5 随机梯度下降

随机梯度下降，在每次迭代参数时，都只使用一个样本，而非遍历所有训练样本，这样与普通梯度下降比起来，计算量就会小很多，从而使得参数快速接近局部最优解。但随机梯度下降仅以当前样本点进行梯度更新，通常无法达到真正局部最优解，只能比较接近，属于用精度换效率。

sklearn.linear_model.SGDRegressor()

可以通过参数，指定正则化方法（L1，L2，elasticnet等），学习率是常数还是衰减（如果要指定学习率是多少，那么learning_rate=‘constant’ 而非具体的值，eta0才是指定具体的值），是否早停等。关于参数的详细说明，请查阅scikit-learn官方文档（这个还是去读源文档吧，一个个介绍参数真的太花时间，但这个方法中不少参数确实有必要看）。

关于在函数中出现参数 * ，可以阅读这个问题下的回答：https://www.zhihu.com/question/287097169

6 回归模型的评价标准

在回归问题中，不能再像分类一样用准确率来估计误差，sklearn中自带的评价标准为R^2

如果不建模，直接用训练集目标值的平均值进行估计（暴力估计），假如 y_i 为真实值，那么误差平方和为 建模之后，根据模型的预测值来估计，那么误差平方和为 我们做优化/升级的时候，喜欢使用“经过优化（升级、改造）后，成本（效率）仅仅相当于原来的50%，30%”之类的术语，其实就是优化后的成本除以优化前的。我们把这种思路引入到模型评价上来，使用模型估计的误差，除以暴力估计的误差，那么也就可以用前面的术语了：建模后的误差为原来的百分之几了。

如果要计算建模后的误差相对于建模前降低了多少，那么可以用1减上面的数，得到：

此即为R^2，即 当 R^2 越大，表示回归效果越好。

为何不用均方差来作为模型评价的标准，可以看这篇知乎专栏：https://zhuanlan.zhihu.com/p/158817889?utm_source=wechat_session

在sklearn的线性回归模型中，默认使用 R^2 作为模型的评价标准

可以看到，使用线性回归模型自带的score方法得到的分数，和自己按照 R^2 定义计算得到的，完全一样

7 岭回归交叉验证

alpha是正则化力度的候选值

np.logspace()是获取一个在log尺度上等距分布的序列，即等比数列

转载地址：http://hnqh.baihongyu.com/