fastText

fastText는 facebook에서 개발한 model입니다.

메커니즘 자체는 Word2Vec와 동일해 Word2Vec의 확장형이라고 보시면 됩니다.

Word2Vec는 단어를 더 이상 나눌 수 없는 원소로 본다면, fastText는 하나의 단어 안에도 여러 단어들이 존재하는 것으로 간주합니다.

즉, sub-word를 고려해 학습합니다.

fastText는 context independent하다는 단점이 있습니다. context independen는 Sentence들 간의 관계를 알지 못한다는 의미입니다.