Назовите ансамблевый метод обучения, кроме бэггинга и бустинга

Что проверяют

Понимаете ли вы, за счёт чего ансамбли вообще работают, или помните только два слова. Вопрос сформулирован так, что заученный ответ про случайный лес не проходит: лес это бэггинг с отбором признаков.

Как отвечать

Назвать стекинг и объяснить механику. Базовые модели разных семейств учатся на одних данных, их предсказания становятся признаками для мета-модели, которая учится их взвешивать.

Ключевая деталь, ради которой вопрос и задают: мета-модель обучается на предсказаниях вне обучающей выборки. Данные режут на фолды, каждая базовая модель предсказывает тот фолд, которого не видела, иначе мета-модель учится на подогнанных ответах и на новых данных рассыпается.

Дальше можно добавить соседей по классу:

• блендинг: то же самое, но вместо кросс-валидации отложенная выборка. Проще и быстрее, но мета-модель видит меньше данных;
• голосование и усреднение: по меткам или по вероятностям. Простейший ансамбль, работает, когда модели сопоставимы по качеству и ошибаются в разных местах;
• метод случайных подпространств: каждая модель видит свой поднабор признаков, а не объектов;
• каскад: дешёвая модель закрывает лёгкие случаи, дорогая подключается на спорных.

Закрыть мыслью про смещение и разброс: бэггинг сбивает разброс, бустинг работает со смещением, а стекинг выигрывает ровно настолько, насколько слабо скоррелированы ошибки базовых моделей.

Где спотыкаются

Собирают ансамбль из похожих моделей. Пять одинаковых бустингов с разной инициализацией ошибаются в одних и тех же местах, и усреднение почти ничего не даёт: нужна разнородность, а не количество.

Второе: учат мета-модель на тех же предсказаниях, на которых учились базовые. Валидация показывает прекрасные числа, на новых данных качество падает, и причина именно в этой утечке.

Третье: не считают цену. Ансамбль умножает время ответа, объём кода и число артефактов, которые надо версионировать и переобучать. Вне соревнований такой прирост качества часто не окупается.