Были ли данные анонимизированы

Что проверяют

Вопрос обычно звучит после рассказа о проекте, и проверяют две вещи: знаете ли вы, какие данные у вас были и как их защищали, и отличаете ли настоящую анонимизацию от переименования колонок. Следом часто спрашивают: «А можно ли было восстановить человека по вашему датасету?»

Как отвечать

Начните с фактов своего проекта: какие персональные данные были (ФИО, телефоны, адреса, свободный текст обращений), кто и на каком этапе их обрабатывал, что в итоге доходило до обучения. Затем разведите термины:

• псевдонимизация: прямые идентификаторы заменены на токены или хэши, но с ключом или таблицей соответствия связь восстанавливается. По GDPR такие данные остаются персональными, в 152-ФЗ близкое понятие называется обезличиванием;
• анонимизация: связь с человеком нельзя восстановить разумными средствами, в том числе сопоставлением с внешними данными.

Дальше методы с их ценой:

• удаление и маскирование прямых идентификаторов, для текста Microsoft Presidio или NER-модели;
• хэширование с секретом (HMAC, ключ хранится отдельно), чтобы джойнить таблицы без исходных значений;
• обобщение и подавление: возраст в интервалы, адрес до региона, редкие комбинации удаляются. Критерии k-anonymity и l-diversity, инструмент ARX;
• дифференциальная приватность: калиброванный шум с бюджетом ε, для агрегатов и для обучения (DP-SGD);
• синтетические данные, когда реальные нельзя выносить из контура.

Честно назовите компромисс: чем сильнее защита, тем больше страдает качество модели. Если данные в проекте не анонимизировались, скажите прямо и объясните, чем их защищали: закрытый контур, роли доступа, запрет выгрузки.

Где спотыкаются

Называют анонимизацией хэш телефона без секрета. Мобильных номеров порядка миллиарда, перебор занимает минуты.

Забывают про квазиидентификаторы. Классический результат Латаньи Суини: почтовый индекс, дата рождения и пол однозначно выделяют около 87% жителей США.

Чистят таблицу для обучения, но оставляют персональные данные в логах, в признаках из свободного текста или в самой модели: большие модели умеют запоминать и воспроизводить редкие строки обучающей выборки.