(Quoc Le, Phrase Vector)에서는 (T. Mikolov, W2V)의 CBOW 구조와 유사하지만, 입력으로 phrase-vector를 함께 주고 단어를 추론하는 모델을 제안한다. 최초 phrase-vector는 word vector와 같이 random 초기화한다. phrase 내의 단어들과 함께 입력되어 다음 단어를 추론하도록 학습된다. 이러한 학습 설정으로부터 저자는 paragraph vector가 "이 컨텍스트에서 없어진 것을 기억하는 메모리"처럼 동작한다고 이야기 했다.