Как учитывать ситуацию, когда смешной ответ имеет много лайков, но не является правильным

Что проверяют

Понимаете ли вы, что лайк это шумная прокси-метка «понравилось», а не «правильно», и умеете ли разделить вовлечённость и корректность в ранжировании. Следом спрашивают, откуда брать разметку правильности и как убедиться, что новая формула не убила вовлечённость.

Как отвечать

Начните с того, что у лайка несколько смещений сразу:

• другая цель: лайкают за юмор, форму и согласие с мнением, а не за точность;
• позиционное смещение: ответ наверху видят чаще, он собирает больше лайков и остаётся наверху, получается петля обратной связи;
• смещение по времени: ранние ответы копят лайки дольше поздних.

Дальше каркас решения:

• нормировать лайки: брать долю лайков от показов с нижней границей доверительного интервала Уилсона, а не сырое число; позиционный эффект снимать оценкой вероятности просмотра позиции и IPS-взвешиванием;
• отдельный сигнал правильности: разметка асессорами по инструкции с перекрытием и агрегацией (например, моделью Dawid-Skene), отметка «решение» от автора вопроса, жалобы и опровергающие комментарии, повторный вопрос пользователя на ту же тему;
• модель корректности: классификатор по тексту вопроса и ответа, обученный на асессорской разметке, а не на лайках. Признак «шутка» уместен как фича, но не как штраф;
• комбинированный скор: score = w1 * P(correct) + w2 * engagement или корректность как порог: ответ ниже порога не поднимается в топ, сколько бы лайков ни собрал. Веса зависят от продукта: в техническом Q&A правильность важнее, в развлекательной ленте наоборот.

Оценка: офлайн NDCG на асессорской выборке по правильности, затем A/B-тест с основной метрикой полезности (больше решённых вопросов, меньше повторных) и защитными метриками вовлечённости.

Где спотыкаются

Просто штрафуют юмор. Смешной и правильный ответ это лучший случай, наказывать надо неправильность, а не шутку.

Используют лайки и как признак, и как целевую переменную. Модель выучит «популярное популярно» и закрепит ту же проблему.

Забывают про позиционное смещение: без его учёта любой ответ, случайно попавший в топ, выглядит лучшим, и офлайн-оценка по логам врёт.