正则化是通过在损失函数中添加惩罚项，减少模型过拟合的技术。常见类型包括：l1 正则化（lasso 回归）：惩罚参数绝对值总和，实现特征选择。l2 正则化（岭回归）：惩罚参数平方和，收缩所有参数。正则化的优点：减少过拟合，提高泛化性能。l1 正则化可进行特征选择。正则化强度由超参数 λ 控制。
什么是正则化？
正则化是一种在机器学习中使用的技术，用于解决模型过拟合的问题。过拟合是指模型在训练数据集上表现良好，但在新数据集上的表现不佳。
正则化的原理：
正则化通过在模型的损失函数中添加额外的惩罚项来工作。这个惩罚项鼓励模型选择更简单的假设，从而减少过拟合。
正则化的类型：
有两种主要的正则化类型：
- L1 正则化（Lasso 回归）：向模型参数的绝对值总和添加一个惩罚项。这会迫使一些参数变为零，从而实现特征选择。
- L2 正则化（岭回归）：向模型参数的平方和添加一个惩罚项。这会收缩所有参数，但不会使它们变为零。
正则化的优点：
- 减少过拟合：通过鼓励更简单的模型，正则化可以防止模型过拟合。
- 提高泛化性能：正则化的模型在训练集和新数据集上的表现都更好。
- 特征选择（对于 L1 正则化）：L1 正则化可以帮助识别对模型最重要的特征。
正则化的超参数：
正则化超参数是添加到损失函数中的惩罚项的系数。超参数 λ 控制正则化的强度。λ 越大，正则化效果越强。
