admin管理员组文章数量:1026989
transformer注意力机制的理解（Q,K,V,dk）
Attention公式：
上面这个注意力公式可以理解为是算 V 的加权后的表示
权重就是V前面的所有部分，
其中 softmax 可以使得权重概率分布和为1。
其中 算的就是注意力的原始分数（其实也就是相似度分数，通过Q和K的点积求出）
其中 是缩放系数，可以使结果不至于过大或过小，导致 softmax 之后就非0即1。
可以看下图帮助理解（图中最上边一行是softmax之前的结果，中间一行是没有除的softmax结果，最后一行是除了的softmax结果。可以看出在不除 的时候softmax的结果只会在输入的最大值或者几个大值附近出现，看起来非常陡峭。当输入除了 以后我们发现输入数据的分布大部分都保留了下来，这样的好处就是可以在梯度回传的时候让梯度比较平稳）
transformer注意力机制的理解（Q,K,V,dk）
Attention公式：
上面这个注意力公式可以理解为是算 V 的加权后的表示
权重就是V前面的所有部分，
其中 softmax 可以使得权重概率分布和为1。
其中 算的就是注意力的原始分数（其实也就是相似度分数，通过Q和K的点积求出）
其中 是缩放系数，可以使结果不至于过大或过小，导致 softmax 之后就非0即1。
可以看下图帮助理解（图中最上边一行是softmax之前的结果，中间一行是没有除的softmax结果，最后一行是除了的softmax结果。可以看出在不除 的时候softmax的结果只会在输入的最大值或者几个大值附近出现，看起来非常陡峭。当输入除了 以后我们发现输入数据的分布大部分都保留了下来，这样的好处就是可以在梯度回传的时候让梯度比较平稳）
本文标签： transformer注意力机制的理解（QKvdk）
版权声明：本文标题：transformer注意力机制的理解（Q,K,V,dk） 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://it.en369.cn/jiaocheng/1699986442a317742.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论