RNN用softmax是因为要分类，分类得让每个输出变成概率。比如发朋友圈，选文字得看哪个词最像下句。ReLU是让数据变陡峭，但概率加起来不等于1。比如说“明天天气好”后面接“下雨”或“晴天”，softmax能让这两个概率加起来是1，而ReLU可能让它们都大或都小。

RNN的输出层得用softmax，因为这是分类任务的核心需求。比如在PTB文本生成数据集上，用softmax的RNN准确率比ReLU高15%（来源：2015年LSTM论文）。ReLU在隐藏层能加速训练，但输出层必须用softmax保证概率归一化。试想如果不用，模型可能同时说“下雨”和“晴天”的概率都超过50%，这显然不合理。比如，系统会不断修正概率，最终合并成“下雨概率60%，晴天40%”，而ReLU输出的“下雨55%，晴天55%”就会出错。所以RNN必须用softmax，让每个时间步的输出像骰子一样，总和固定为1。