标签: 并行计算

1 篇文章

Online Softmax
Original softmax 对于向量 xRN,函数 y=softmax(x) 的公式定义为 yi=exp(xi)Nj=1exp(xj)
但在工程上,一般还要对 softmax 进行一步保证数值安全的操作:$$y_i=\frac {\exp (x_i-\…