Что такое видеокарты

Что проверяют

Вопрос звучит наивно, но в разговоре про обучение моделей за ним стоит другое: понимаете ли вы, во что реально упирается ваш пайплайн. Проверяют, различаете ли вы вычисления и память, и сумеете ли объяснить, почему задача идёт в разы медленнее пиковых чисел из спецификации.

Как отвечать

Видеокарта это ускоритель с массово-параллельной архитектурой: много простых ядер, собственная память с широкой шиной и модель исполнения, где одна инструкция выполняется группой потоков сразу. Центральный процессор оптимизирован под задержку одного потока: большие кэши, предсказание переходов, внеочередное исполнение. Поэтому матричные операции и свёртки уходят на ускоритель, а ветвистая логика остаётся на процессоре.

Что стоит назвать на собеседовании:

объём видеопамяти определяет, какая модель и какой размер батча вообще поместятся, причём при обучении память съедают не столько веса, сколько активации и состояния оптимизатора;

пропускная способность памяти чаще оказывается потолком, чем число ядер: нормализации и поэлементные операции упираются в чтение и запись, а не в арифметику;

специализированные матричные блоки дают ускорение только в пониженной точности, отсюда смешанная точность как стандартная практика;

обмен с хостом по шине это отдельное узкое место, поэтому данные держат на устройстве и подгружают асинхронно.

Хорошо закончить тем, как вы это измеряете: занятая память, доля времени в вычислениях против ожидания данных, профиль шагов обучения.

Где спотыкаются

Сводят всё к тезису «ядер больше, значит быстрее», и не могут объяснить, почему маленькая модель с крошечным батчем не ускоряется: ускоритель не заполнен, и время уходит на запуск ядер и ожидание данных.

Путают нехватку памяти с нехваткой скорости. Ошибка о выходе за пределы памяти лечится размером батча, накоплением градиентов, пересчётом активаций и пониженной точностью, а не переездом на более мощную карту.

Забывают про загрузчик данных. Ускоритель простаивает, пока препроцессинг идёт в один поток на процессоре, а на собеседовании ценится именно привычка сначала выяснить, кто кого ждёт.