自注意力
Self-Attention
让同一段输入里的每个位置直接判断自己与其他位置的关系。
先用人话理解
它像是让一句话中的每个词都能同时“看一眼”其他词，再决定哪些关系对理解自己最重要。
为什么重要
自注意力让序列计算更容易并行，也让模型更有效地处理远距离关系。
Self-Attention
让同一段输入里的每个位置直接判断自己与其他位置的关系。
它像是让一句话中的每个词都能同时“看一眼”其他词，再决定哪些关系对理解自己最重要。
自注意力让序列计算更容易并行，也让模型更有效地处理远距离关系。