Каковы знания по теории вероятностей?

Что проверяют

За размытой формулировкой стоит проверка фундамента: сможете ли вы объяснить, откуда берутся функции потерь, доверительные интервалы и выводы A/B-тестов. Почти всегда следом дают короткую задачу, чаще всего на теорему Байеса или на выбор распределения.

Как отвечать

Не отвечайте оценкой «хорошие» или «средние». Назовите темы, которыми владеете, и привяжите каждую к работе с моделями:

• условная вероятность и Байес: P(A|B) = P(B|A)·P(A) / P(B) и формула полной вероятности. Классика: тест с чувствительностью и специфичностью 99% при распространённости болезни 0,1% даёт при положительном результате вероятность болезни около 9%;
• распределения: Бернулли и биномиальное для кликов и конверсий, Пуассон для числа событий за период, экспоненциальное для времени между событиями, нормальное для ошибок измерений;
• матожидание и дисперсия: линейность матожидания, дисперсия суммы независимых величин, ковариация;
• ЗБЧ и ЦПТ: центральная предельная теорема говорит о распределении выборочного среднего, на ней держатся доверительные интервалы и t-тест;
• правдоподобие: минимизация MSE равна методу максимального правдоподобия при гауссовском шуме, log loss это отрицательное логарифмическое правдоподобие Бернулли, L2-регуляризация соответствует гауссовскому априорному распределению;
• калибровка: predict_proba у случайного леса или модели, обученной на пересэмплированных данных, не совпадает с реальной частотой, для этого есть CalibratedClassifierCV.

Если какая-то область слабее, так и скажите: «байесовский вывод знаю только по курсу». Это лучше, чем посыпаться на уточнении.

Где спотыкаются

Путают независимость с некоррелированностью. Нулевая корреляция исключает только линейную связь: X и X² при X, симметричном относительно нуля, не коррелированы, но зависимы.

Считают, что по ЦПТ сами данные становятся нормальными. Нормальным становится распределение среднего, а данные с тяжёлыми хвостами такими и остаются.

Путают P(A|B) и P(B|A) и забывают про базовую частоту. Именно на этом ловят в задаче про медицинский тест.