Что такое embedding
Что проверяют
Понимаете ли вы, откуда берутся векторы и что с ними делают дальше. Для инженера данных это ещё и вопрос про хранение и поиск: эмбеддинг без индекса и согласованной метрики никакой пользы не приносит.
Как отвечать
Эмбеддинг это плотный вектор фиксированной длины, в который модель переводит объект: слово, текст, картинку, товар, пользователя. Обучение устроено так, чтобы близость векторов отражала близость объектов в смысле той задачи, на которой модель училась. Полезно уточнить, о каком применении спрашивают: тексты и признаки пользователей живут по разным правилам.
Разложить полезно по пунктам:
- зачем: разреженное представление категорий не несёт сходства, а обученный вектор несёт и работает как готовый признак для модели поверх;
- откуда берутся: исторически word2vec и статистика совместной встречаемости, сейчас чаще энкодер на трансформере, дающий вектор с учётом контекста, и двухбашенные модели для пар пользователь и товар;
- как сравнивают: косинус или скалярное произведение, метрику согласуют с обучением модели и с настройкой индекса;
- где живут: векторная колонка в PostgreSQL через расширение, библиотека поиска или специализированное хранилище, поверх приблизительный поиск соседей;
- для чего: семантический поиск, рекомендации, поиск дублей, кластеризация.
Где спотыкаются
Смешивают векторы разных моделей или разных версий одной. Пространство у каждой своё, совместное сравнение даёт правдоподобный мусор. Отсюда следствие, о котором забывают: смена модели означает переиндексацию всего корпуса, а не подмену одного компонента.
Теряют согласованность нормализации и метрики. Если векторы не нормированы, косинус и скалярное произведение дают разный порядок выдачи, а индекс, построенный под евклидово расстояние, отвечает не то, чего ждёт вызывающий код. Проверяется это на размеченной выборке, а не на глаз по паре примеров.
Принимают близость за истину. Рядом в пространстве оказываются и противоположные по смыслу слова, и просто похожие по стилю тексты, а приблизительный поиск по построению теряет часть настоящих соседей. Качество меряют метриками поиска на отложенной выборке, сверяясь с полным перебором на небольшом срезе.