Как используется aiohttp для асинхронных запросов в Python

Что проверяют

Понимаете ли вы, как устроены сессии и конкурентность в aiohttp, а не только умеете ли переписать пример из документации. Следом почти всегда спрашивают, как ограничить число одновременных запросов и чем aiohttp отличается от requests в потоках.

Как отвечать

Каркас такой:

• одна сессия на приложение: aiohttp.ClientSession держит пул соединений и keep-alive. Её создают один раз через async with и переиспользуют для всех запросов, а не открывают на каждый URL;
• запрос и ответ: async with session.get(url, params=...) as resp:, затем await resp.json() или await resp.text(). Контекстный менеджер ответа возвращает соединение в пул;
• статусы: по умолчанию 4xx и 5xx исключением не считаются. Нужен resp.raise_for_status() или параметр raise_for_status=True у сессии;
• таймауты: aiohttp.ClientTimeout(total=10). По умолчанию на весь запрос отводится 5 минут, для боевого кода это слишком много;
• конкурентность: задачи запускают через asyncio.gather или asyncio.TaskGroup (Python 3.11+), а число одновременных запросов ограничивают asyncio.Semaphore или параметром limit у TCPConnector, по умолчанию он равен 100;
• ошибки: сетевые сбои приходят как aiohttp.ClientError и его наследники, таймаут как asyncio.TimeoutError (с Python 3.11 это тот же встроенный TimeoutError).

Объясните, почему это быстро: пока один запрос ждёт ответа, цикл событий переключается на другие. Выигрыш есть только на ожидании ввода-вывода, CPU-нагрузку aiohttp не ускорит.

Кроме клиента, в aiohttp есть серверная часть aiohttp.web, это стоит упомянуть одной фразой.

Где спотыкаются

Создают ClientSession внутри функции fetch на каждый запрос. Пул соединений теряет смысл, а на тысячах URL растут расходы на TLS-рукопожатия.

Запускают десять тысяч корутин через gather без ограничения. Сервер отвечает 429 или рвёт соединения, а у клиента заканчиваются файловые дескрипторы.

Вызывают внутри корутины синхронный requests.get или time.sleep. Это блокирует весь цикл событий, и асинхронность исчезает.