Какие виды ошибок бывают в медицинских протоколах и как их типизировать

Что проверяют

Умеете ли вы превратить размытую предметную задачу в постановку для модели: таксономию ошибок, правила разметки и метрики с учётом цены ошибки в медицине. Следом обычно спрашивают, как оценить качество разметки и какую ошибку модели здесь хуже пропустить.

Как отвечать

Таксономию стройте по нескольким независимым осям, а не одним плоским списком:

• где возникла: сбор данных (пропущенный анамнез, неверные единицы), интерпретация результатов, назначение, исполнение, коммуникация;
• что за ошибка: пропуск нужного действия (omission), лишнее или неверное действие (commission), противоречие внутри документа, нарушение формата или справочника, например несуществующий код МКБ-10;
• тяжесть: от ситуации, где ошибка возможна, до вреда пациенту. Образец такой шкалы: классификация ошибок лекарственной терапии NCC MERP, категории от A до I.

Отсюда постановка: multi-label классификация (в одном протоколе бывает несколько ошибок) и отдельная голова на тяжесть.

Решение обычно двухслойное. Правила ловят то, что формализуется: диапазоны значений, единицы, дозировки против справочника, валидность кодов. Модель берёт текстовые ошибки: NER извлекает препараты, дозы и диагнозы, дальше классификатор на трансформере или LLM.

Разметку проверяют согласием экспертов: каппа Коэна для двух разметчиков, альфа Криппендорфа для нескольких. Низкое согласие чаще говорит о плохих определениях классов, чем о плохих экспертах. Метрики считают по каждому классу: полнота, F1, PR-AUC, классы сильно несбалансированы. Для тяжёлых категорий порог подбирают под высокую полноту: пропущенная опасная ошибка стоит дороже ложной тревоги.

Где спотыкаются

Смешивают оси в одном списке: «ошибка дозировки», «критическая ошибка» и «ошибка оформления» оказываются соседними классами, и разметчики расходятся.

Оценивают по accuracy. Если ошибочных протоколов пара процентов, модель, которая всегда отвечает «ошибок нет», получит высокую точность и нулевую пользу.

Делят выборку случайно по документам. Протоколы одного пациента или врача попадают и в обучение, и в тест, и метрика завышается. Делить нужно по группам, например GroupKFold по пациенту или клинике.