본 논문에서는 한국어 의미분석을 위해서 skip-thought vector[7]를 사용한다. skip-thought vector는 문장을 다차원 실수 벡터를 사용하여 표현하는 방법이다. 기존의 형태소 단위 임베딩을 학습하는 방법 중 하나인 Skip-gram을 문장 단위로 확장한 방법이라 볼 수 있다. 연속하는 n개의 문장이 있을 때 그 문장들은 서로 연관이 있다고 말할 수 있다. 그러한 정보를 임베딩에 사용하기 위해, 문장 임베딩을 RNN-based encoder로 encoding하고, 앞 뒤 문장을 decoding하는 방식으로 unsupervised 학습을 진행한다