우리는 [10 신창욱 2017 KCC]에서의 방법과 같이 형태소 분석 코퍼스를 이용해 한국어 형태소 skip-thought를 학습하였다. skip-thought는 [9]에서 제안된 문장 분산 표현 생성 기법이다. 그 구조는 기존의 RNN encoder-decoder이고, 현재의 문장을 입력하였을 때 앞, 뒤의 문장을 decode하도록 학습한다. 그 학습 방식이 [12 skip-gram]의 skip-gram과 닮아 있다. [12 skip-gram]에서는 현재의 단어로 주변 단어를 추론해내는 방식으로 학습을 진행해 높은 성능을 낸 바 있다.