Что такое word2vec

Что проверяют

Понимаете ли вы, как текст превращается в числа, и на каком предположении это держится. Word2vec удобен для проверки: он простой, из него видна идея дистрибутивной семантики, и по ответу понятно, читали вы про него или действительно им пользовались.

Как отвечать

Word2vec это способ получить плотные векторы слов из неразмеченного корпуса. Модель мелкая, всего один скрытый слой, и сами эмбеддинги это её веса; обучается она на задаче-предлоге предсказать соседей по окну.

Две схемы: skip-gram предсказывает контекст по центральному слову и лучше держит редкие слова и небольшие корпуса, CBOW предсказывает центральное слово по контексту и учится быстрее. Полный softmax по словарю считать дорого, поэтому берут негативное сэмплирование или иерархический softmax, а слишком частые слова прореживают.

Что это даёт: близость по косинусу отражает совместную встречаемость, арифметика над векторами работает на популярных примерах, а сами векторы служат признаками для классификации и поиска похожего.

Очертите границы: вектор у слова один на все его значения, контекст предложения не учитывается, поэтому в текстовых задачах word2vec давно потеснили контекстные модели. Зато он жив в другом месте: последовательности товаров, треков или событий обучают тем же алгоритмом и получают дешёвые эмбеддинги для рекомендаций.

Где спотыкаются

Называют word2vec глубокой моделью, понимающей смысл. Слой там один, а смысл сводится к статистике соседства; омонимы склеиваются в одну точку, и развести значения по такому вектору уже нечем.

Не знают, что делать со словом, которого не было в обучении. Вектора у него просто нет, и дообучением на лету это не лечится: случай закрывают подсловные модели. Сюда же попытка сравнивать напрямую векторы из двух разных прогонов, пространства не совмещены.

Читают близость как синонимию. Рядом оказываются антонимы, потому что живут они в одинаковых контекстах; качество проверяют на своей целевой задаче, а не на подборке красивых аналогий.