(R. Kiros, Skip-Thought Vectors)는 RNN encoder-decoder 구조에 unsupervised approach로 문장열을 학습하여 sentence distributed representation을 생성하였다. 현재의 문장을 인코딩하여 문장 분산 표현을 생성하고, 그것으로 다음문장과 이전문장을 decode하도록 학습된다. 이는 (T. Mikolov, W2V)의 skip-gram의 문장 단위 버전이라고 볼 수 있다. 학습이 완료되면 encoder만을 이용하여 문장을 embedding할 수 있다. Unsupervised learning이고 단어 벡터만 존재한다면 언제든 문장 벡터를 생성할 수 장점을 가진다.