注意力机制
Attention Mechanism
让模型在处理当前信息时，动态判断输入中哪些部分更值得关注。
先用人话理解
人读一句长话时不会平均记住每个字，而会把注意力放在和当前理解最相关的部分。注意力机制让模型也能做类似的权重分配。
为什么重要
它解决了长序列中关键信息难以传递的问题，并成为 Transformer 的核心基础。
Attention Mechanism
让模型在处理当前信息时，动态判断输入中哪些部分更值得关注。
人读一句长话时不会平均记住每个字，而会把注意力放在和当前理解最相关的部分。注意力机制让模型也能做类似的权重分配。
它解决了长序列中关键信息难以传递的问题，并成为 Transformer 的核心基础。