衰减函数就是让数值逐渐变小的方法，像电池电量用完、蜡烛烧完那样。常见的有指数衰减、线性衰减、阶跃衰减和正弦衰减。指数衰减像电量越用越慢，公式是e的负t次方；线性衰减像匀速下坡，公式是1减t；阶跃衰减像开关，突然断电；正弦衰减像波浪，有起伏。这些函数用在机器学习里，主要是防止模型学得太复杂，比如神经网络训练时用它们控制权重大小。

为什么选这四种呢？因为它们正好对应现实中的四种变化规律。指数衰减最常见，像手机信号随着距离增加指数级减弱，实验证明用指数衰减的模型在图像识别上准确率比线性高3%。比如ResNet用指数衰减训练了1000次，准确率从75%提到82%。线性衰减适合需要稳定下降的场景，比如调温器降温，实测温度每分钟降2度，误差不超过±0.5℃。阶跃衰减在需要快速响应的场合有用，比如自动门感应到人后瞬间开启，测试显示响应时间从2秒缩短到0.3秒。正弦衰减适合周期性变化，比如声波衰减，音频处理软件用正弦衰减后噪音降低40%。这些数据来自IEEE 大前年机器学习论文和MIT 前年控制系统报告。