CS224n是斯坦福大学的一门关于自然语言处理的公开课。课程的第二讲的主要内容就是word2vec。word2vec是Google在2013年发布的一门自然语言处理技术。

词向量一般有两种形式，一种叫做One-hot表示，另外一种叫做Distributed Representation。word2vec就属于第二类。word2vec这种词向量表示方法，可以通过计算欧式距离等来判断它们之间的相似度。word2vec本质上属于一种神经网络语言模型范畴的技术，这一点和n-gram、决策树等等这些统计语言模型还是有不少区别的。

1. Log-Linear模型

Log-linear模型算是word2vec的一大基础了。虽然我现在也没深刻理解Log-linear的科学性论证，但是如果接受它这个模型，去理解word2vec，还是相对比较直观的。模型的具体内容如下：

1. 一个输入集合X；
2. 一个�