2025-11-20 06:14:54
正则化就像给模型套个枷锁,让它别学得太偏。训练时除了算准确率,还额外扣钱给模型,系数越大扣得越多。这样模型就老实了,不敢随便记噪声,只能记住大部分规律。比如用L2正则化,系数像被压扁的气球,既不鼓太大也不瘪,刚好套在真实数据上。
正则化要扣钱是因为系数太大说明模型太复杂,容易记住个别样本的噪声。比如1000个数据点,普通模型可能记住每个点的差异,但正则化会选记住前500个共同特征的模型。实验数据显示,在房价预测中,不加正则化的模型在测试集误差5.2%,加L2正则化后降到4.1%。这说明正则化让模型从“死记硬背”变成“记重点”,就像教小孩先背乘法表再学奥数题,先掌握大部分规律再学小技巧。训练时模型越敢放大某些系数,正则化惩罚就越狠,迫使它均匀分配注意力。测试时新数据跟训练数据结构差不多,简单模型反而更准。
本题链接: