(Y. Bengio, NNLM)은 단어간 joint probability를 학습하는 데에 기존에 큰 이슈였던 차원의 저주를 극복하고자, distributed representation과 인공신경망 학습기를 제안하였다. 그 성능은 기존 state-of-the-art였던 n-gram based 모델에 비해 나은 성능을 보였다.