첫번째는 (Y. Bengio, NNLM)의 모델에서 non-linear hidden layer를 제거하고, projection layer를 공유하도록 설계하였다. 또 (Y. Bengio, NNLM)과는 다르게 과거(왼쪽)의 단어 뿐 아니라 미래(오른쪽)의 단어도 사용하였다는 점이 있다. (T. Mikolov, W2V)는 이 모델을 Continuous Bag-of-Words라 명명했다.