Какие нюансы с файловыми дескрипторами при fork

Что проверяют

Понимаете ли вы разницу между дескриптором и открытым файлом в ядре, и чем это оборачивается в Python-сервисах с pre-fork моделью: Gunicorn, Celery, multiprocessing. Следом обычно спрашивают, почему после форка соединение с базой начинает отдавать чужие ответы.

Как отвечать

• что копируется: fork() копирует таблицу дескрипторов, но оба номера указывают на одно открытое описание файла в ядре. Смещение и флаги общие: сдвинул позицию родитель, сдвинулась и у потомка. Закрытие дескриптора в одном процессе на другой не влияет;
• буферы Python: print и файловые объекты держат данные в пользовательском буфере, и он копируется вместе с памятью. Без flush() до форка одна строка попадёт в файл дважды. По той же причине потомок завершают через os._exit(), а не sys.exit();
• сокеты и соединения: общий слушающий сокет это основа pre-fork серверов, а общее соединение с PostgreSQL или Redis ломает протокол, ответы перемешиваются. Соединения открывают после форка: хук post_fork в Gunicorn, сигнал worker_process_init в Celery, engine.dispose(close=False) в SQLAlchemy;
• exec: с Python 3.4 (PEP 446) дескрипторы, созданные Python, ненаследуемые, то есть закрываются при exec. На сам fork это не влияет. subprocess по умолчанию работает с close_fds=True;
• потоки: в потомке остаётся только вызвавший поток, а блокировки, занятые другими потоками, так и остаются занятыми. Отсюда дедлоки в logging. Python 3.12 предупреждает о fork в многопоточном процессе, а в 3.14 multiprocessing на Linux по умолчанию перешёл на forkserver.

Где спотыкаются

Говорят, что дескрипторы в потомке «независимые копии». Номера независимые, а смещение общее, и параллельная запись без O_APPEND перетирает данные.

Забывают закрыть ненужный конец пайпа. Читатель так и не получит EOF, потому что пишущий конец остался открытым в другом процессе.

Предлагают защищать общий дескриптор мьютексом из threading. Между процессами он не работает: правильнее не делить дескриптор вовсе или взять multiprocessing.Lock.