word2vec 究竟学到了什么？伯克利提出可定量预测的学习理论

伯克利 AI 研究团队证明，在随机小初始化等温和近似条件下，word2vec 的学习问题可化简为无权重最小二乘矩阵分解，梯度流动态有闭式解，最终学到的表示等价于对目标矩阵 M* 做 PCA。该矩阵仅由词共现概率与 unigram 概率定义，其顶部特征向量对应名人传记、政府行政、地理描述等可解释主题。训练因此表现为按序离散的秩递增步骤，每步降低损失并扩展一个正交子空间。