분산 언어 표현 이전에는 n-gram을 사용하였으나, 기계학습 기술의 진보로 여러 컨셉의 언어모델 연구가 진행되었고, 그 중 단어 분산 표현 연구가 가장 성공적이었다. (T. Mikolov, W2V)