В каком виде приходят чеки: строки или изображения
Что проверяют
Это уточнение, которое кандидат должен сделать сам, получив задачу про чеки: категоризация покупок, извлечение позиций, антифрод. Интервьюер смотрит, понимаете ли вы, что от формата входа зависит вся архитектура, и следом просит набросать пайплайн для обоих случаев.
Как отвечать
Если чеки приходят строками, сложность в самих текстах. Названия позиций короткие и грязные: «МОЛ.ПРОСТОКВ.3,2% 0,9Л», у каждой сети свои сокращения, опечатки, коды товаров. В России такие данные обычно приходят структурированными через оператора фискальных данных: позиции, цены, количество, ИНН продавца. Каркас:
- нормализация: регистр, раскрытие частых сокращений, вынос объёма и веса в отдельные признаки;
- бейзлайн: TF-IDF по символьным n-граммам и логистическая регрессия, на коротких грязных строках это сильная точка отсчёта;
- дальше: дообученный трансформер для русского языка или эмбеддинги с поиском ближайших по размеченному справочнику;
- метрики: F1 по классам с учётом дисбаланса, редкие категории отдельно.
Если приходят изображения, до текста добавляется целый слой:
- предобработка: поиск чека на фото, выравнивание перспективы, контраст. Термобумага выцветает, чеки мнутся, длинные снимают по частям;
- распознавание: OCR вроде Tesseract или PaddleOCR и разбор структуры строк, либо модели, понимающие макет (LayoutLM, Donut), либо мультимодальные LLM;
- короткий путь: на российских чеках есть QR-код с суммой, датой и фискальными реквизитами, по нему можно получить структурированный чек без распознавания текста;
- метрики: CER для OCR и точность по извлечённым полям.
Спросите ещё про объём, требования к задержке и наличие разметки: от этого зависит, брать классическую модель или LLM.
Где спотыкаются
Не задают этот вопрос вовсе и сразу предлагают модель. Для интервьюера это главный минус.
Считают, что после OCR получится чистый текст. Ошибки распознавания нужно закладывать в качество всей цепочки.
Предлагают большую нейросеть на всё, не назвав простой бейзлайн и не спросив про разметку и бюджет.