2025-11-20 05:55:55
交叉熵用log是为了让计算更简单,避免数值问题,比如概率接近0或1时,直接相乘会导致数值过小无法准确计算损失。比如分类任务中,如果正确概率是0.9,预测概率是0.1,用log能放大差距,让模型更快学习到错误。
交叉熵用log是因为log能把乘法变成加法,这样计算更稳定,比如准确率提升5%时,log能放大误差差异。比如图像识别中,用log后损失值从0.3降到0.2,相当于准确率从85%提升到90%。而且log能处理稀疏数据,比如文本分类时,某些词出现概率极低,log能避免数值溢出。比如在NLP任务中,使用log后模型收敛速度加快30%,训练误差降低15%。但要注意,log只能用在概率值上,不能直接用在非概率的输出值里。
本题链接: