Был ли опыт работы с обработкой звука

Что проверяют

Работали ли вы с аудио руками и понимаете ли, чем оно отличается от табличных данных: частота дискретизации, разная длина записей, шум, дорогая разметка. Следом просят рассказать про конвейер признаков и про то, как оценивали качество модели.

Как отвечать

Стройте ответ на своём проекте: задача, данные, признаки, модель, метрика, что дошло до прода. Каркас, в который удобно ложится реальный опыт:

• данные: объём в часах, частота дискретизации (для речи обычно 16 кГц), моно или стерео, откуда разметка и насколько она шумная;
• предобработка: ресемплинг к одной частоте, нормализация громкости, обрезка тишины через VAD, нарезка на окна фиксированной длины;
• признаки: лог-мел-спектрограммы и MFCC через librosa или torchaudio. Сейчас чаще берут предобученные модели: Whisper для распознавания речи, wav2vec 2.0 или HuBERT как энкодер, AST или PANNs для классификации звуков;
• аугментации: подмешивание шума, сдвиг по времени, SpecAugment с маскированием частот и времени;
• метрики: WER и CER для распознавания, F1 и ROC AUC для классификации, DER для диаризации;
• прод: потоковая или пакетная обработка, скорость относительно реального времени, экспорт в ONNX.

Цифры должны быть вашими: сколько часов аудио, какой был базовый уровень и насколько вы его улучшили. Интервьюер обязательно спросит, на какой выборке мерили, поэтому помните, как делили данные.

Если опыта не было, так и скажите и покажите близкое: работу с временными рядами или сигналами, учебный проект на открытом датасете вроде LibriSpeech, Common Voice или ESC-50. Опишите, с чего начали бы, например с Whisper как базовой линии.

Где спотыкаются

Делят данные случайно по фрагментам, и записи одного говорящего попадают и в обучение, и в тест. Метрика завышается, а на новых людях модель проседает. Делить нужно по говорящим или по исходным записям.

Называют MFCC плюс SVM единственным подходом и не знают о предобученных аудиомоделях. В 2026 году это звучит как опыт из старого учебника.

Приводят «точность 85%» без базовой линии и без баланса классов. На несбалансированных данных такая цифра ничего не говорит.