Что такое обучение с подкреплением в рекомендательных системах
Что проверяют
Отличаете ли вы красивую идею от того, что действительно внедряют. За вопросом стоит проверка на понимание главной сложности: обучать приходится на логах, собранных другой политикой, и наивный перенос учебной схемы на рекомендации разваливается именно здесь.
Как отвечать
Сформулируйте задачу в терминах среды: состояние это контекст пользователя и сессии, действие это показ подборки, награда это сигнал качества, политика это правило выбора действия по состоянию. Цель не максимум клика сейчас, а суммарная ценность на горизонте, ради чего подход и берут.
Дальше разделите два уровня зрелости.
Контекстные бандиты. Состояние есть, переходов между состояниями нет, задача сводится к балансу исследования и использования: эпсилон жадная стратегия, верхняя доверительная граница, сэмплирование Томпсона. Это внедряется и окупается, особенно на холодном старте новых объектов.
Полноценное обучение с подкреплением нужно, когда сегодняшний показ меняет завтрашнее поведение: борьба с однообразием ленты, длинная сессия, удержание. Здесь появляются обучение по логам вместо живого взаимодействия и поправки на вероятность показа.
Обязательно скажите про оценку. Модель учится на данных старой политики, поэтому нужны сохранённые вероятности показа и офлайн оценка через взвешивание по обратной склонности или её устойчивые варианты, а окончательная проверка только онлайн экспериментом. Без логирования вероятностей вся конструкция теряет смысл.
Где спотыкаются
Путают взаимодействие с состоянием. Клик это награда и часть истории, а состояние это то, что известно до выбора действия, и сваленные в кучу сущности дают модель, которая учится на собственном будущем.
Берут суррогатную награду и не замечают, во что она вырождается. Награда за клик выводит наверх кликабельные заголовки, награда за время просмотра плодит длинные записи, лечится это составной наградой и штрафом за отписки и жалобы.
Не думают про петлю обратной связи. Модель учится на показах, которые сама же и выбрала, разнообразие каталога схлопывается, а офлайн метрики при этом растут, потому что считаются на том же смещённом распределении.