Какие способы оптимизации обхода сайта для поиска информации существуют

Что проверяют

Понимаете ли вы, где у краулера на самом деле узкое место: не в процессоре, а в сети и в чужом сервере, который может вас забанить. Следом обычно спрашивают, как ограничить параллелизм и не скачивать одно и то же дважды.

Как отвечать

Идите по конвейеру: очередь адресов, загрузка, разбор, сохранение.

• один HttpClient на всё приложение: через IHttpClientFactory или статический экземпляр с SocketsHttpHandler. Там же настраиваются PooledConnectionLifetime, MaxConnectionsPerServer и AutomaticDecompression для gzip и Brotli;
• ограниченный параллелизм: загрузка это ввод-вывод, поэтому async/await, а не лишние потоки. Parallel.ForEachAsync с MaxDegreeOfParallelism или Channel<T> с несколькими потребителями, плюс отдельный лимит на каждый домен;
• вежливость: robots.txt, пауза между запросами к одному хосту, реакция на 429 и заголовок Retry-After. Для лимитов подходит System.Threading.RateLimiting;
• без повторов: нормализация URL (регистр хоста, фрагменты, utm-метки, порядок параметров), множество посещённых адресов, на больших объёмах фильтр Блума. Условные запросы с If-None-Match и If-Modified-Since возвращают 304 без тела;
• выбор страниц: sitemap.xml с lastmod, открытое API или JSON вместо HTML, приоритетная очередь PriorityQueue<TElement, TPriority>, лимит глубины против ловушек вроде бесконечного календаря;
• разбор: HTML-парсер AngleSharp или HtmlAgilityPack. Headless-браузер через Playwright включайте только для страниц, которые без JavaScript пустые: он на порядки дороже обычного запроса.

Закончить стоит метриками, по которым вы судите об оптимизации: страниц в секунду, доля ошибок и ответов 304, длина очереди.

Где спотыкаются

Создают new HttpClient() на каждый запрос. Под нагрузкой сокеты копятся в TIME_WAIT, и краулер упирается в нехватку портов.

Запускают Task.WhenAll на десять тысяч адресов разом. Итог: таймауты, бан по IP и ни одной сохранённой страницы.

Разбирают HTML регулярными выражениями. Такой разбор ломается на первом вложенном теге или атрибуте в других кавычках, а поддерживать его дороже, чем подключить парсер.