标签: GPU编程

1 篇文章

Online Softmax
Original softmax 对于向量 $x\in\mathbb R^{N}$,函数 $y=\text{softmax}(x)$ 的公式定义为$$y_i=\frac{\exp(x_i)}{\sum_{j=1}^N \exp(x_j)}$$但在工程上,一般还要对softmax进行一步保证数值安全的操作:$$y_i=\frac{\exp(x_i-\…