A行业级
Word2Vec 发布
用简单预测任务高效学习大规模词向量
已核验1可追溯来源
Google 团队发布 Word2Vec 的 CBOW 与 Skip-gram 方法，用局部上下文预测任务在数十亿词语料上快速学习稠密词向量。
发生了什么
CBOW 根据周围词预测中心词，Skip-gram 反过来根据中心词预测上下文。负采样和分层 softmax 降低计算量。向量出现可解释的相似度和类比结构，但并不等于可靠的符号运算。
当时的行业背景
One-hot 表示把每个词看成互不相关的独立符号，早期神经语言模型能学习嵌入，但训练大词表和海量语料的成本很高。
为什么重要
词向量成为搜索、分类和神经网络输入的通用部件，也让研究者清楚看到训练语料中的社会偏差会进入表示本身。后来的上下文化模型进一步解决一词多义问题。
在它之前
NLP 主要依赖词袋模型和 one-hot 编码，无法捕捉语义关系。
在它之后
词向量成为 NLP 的基础表示方法，为后续的 Transformer 时代打下基础。
来源