Online Softmax 2025-4-01 19:08 | 12 | 0 | 学习笔记 849 字 | 22 分钟 Original softmax 对于向量 $x\in\mathbb R^{N}$,函数 $y=\text{softmax}(x)$ 的公式定义为$$y_i=\frac{\exp(x_i)}{\sum_{j=1}^N \exp(x_j)}$$但在工程上,一般还要对softmax进行一步保证数值安全的操作:$$y_i=\frac{\exp(x_i-\… CUDAGPU编程并行计算