Как избегать блокировок при веб-скрапинге в 2026 году

Снижение числа блокировок при веб-скрапинге предполагает контроль частоты запросов, повторов, кеша и состояния сессии в соответствии с правилами целевого сайта. Автоматизация сценариев полезна для повторяющихся браузерных операций, но не заменяет разрешение на доступ и не отменяет ограничения ресурса.
Чтобы снизить риск блокировки, сначала проверьте robots.txt, условия использования сайта и наличие официального API, а уже затем оценивайте необходимость ротации IP. Если API нет, скрапер должен ограничивать параллельность, учитывать Retry-After, кешировать неизменные страницы и прекращать работу после явного отказа. Для управляемого запуска задач через REST можно отдельно изучить API Afina, не смешивая браузерную автоматизацию с API сервиса сбора данных.
Код 429 обычно указывает на превышение лимита, а 403 может означать отсутствие прав, неподходящие заголовки, неисправную сессию или политику доступа. Для них нельзя использовать одинаковую логику повторов. Если задача требует входа в разрешенную учетную запись, отдельные браузерные профили помогают не смешивать cookies и локальное хранилище между сессиями.
Какие принципы уменьшают количество блокировок
Стабильный скрапер поддерживает предсказуемую нагрузку и автоматически останавливается при появлении ограничений доступа. Его базовый контур состоит из очереди URL, лимита запросов на домен, кеша, журнала ответов и механизма повторов. Если одного компонента нет, ошибки быстро множатся: повторы создают новую нагрузку, а дубликаты расходуют квоту без пользы.
Порядок работы с новым источником стоит определить до масштабирования:
- проверьте правила доступа и официальный API
- запустите небольшую выборку с одним параллельным запросом
- сохраните статусы, заголовки и контрольный фрагмент ответа
- настройте экспоненциальный backoff со случайной задержкой
- добавьте кеширование и дедупликацию URL
- увеличивайте параллельность только после стабильной контрольной серии
Лимиты запросов следует определять по правилам конкретного ресурса. Они могут применяться к домену, отдельному маршруту API, IP-адресу, аккаунту, API-ключу или группе маршрутов. Если точные границы неизвестны, начните с минимальной параллельности и корректируйте ее по ответам сервера. После 429 запрос возвращают в очередь до времени из Retry-After, а не запускают сразу. Для сетевых ошибок подходит backoff, например 2, 4, 8 и 16 секунд с jitter. Постоянные 401, 403 или ошибки валидации не следует повторять без изменения условий.
Кеш уменьшает количество повторных обращений. Для каталога достаточно хранить ответ по ключу из URL и параметров, а срок жизни выбирать по частоте обновления данных. ETag с If-None-Match или Last-Modified с If-Modified-Since позволяют получить ответ 304 без повторной передачи документа, если сервер поддерживает условные запросы. Ответ 304 позволяет использовать кешированные данные, однако сам запрос все равно может учитываться в серверных лимитах.
Последовательность сессии важна для разрешенных сценариев со входом. В одной авторизованной сессии сохраняйте согласованное хранилище cookies и параметры подключения, необходимые приложению. При необходимости поддерживайте постоянные User-Agent, язык, часовой пояс и сетевой выход. Ротация всех параметров на каждом URL часто выглядит менее естественно, чем спокойная последовательная работа.
Как диагностировать 403 и 429 без лишних повторов
Код 429 следует считать сигналом снизить темп. Прочитайте Retry-After, уменьшите число одновременных запросов к конкретному домену и верните URL в очередь на заданное время. Если заголовка нет, используйте экспоненциальный backoff с верхней границей и лимитом попыток. Неограниченные повторы резко увеличивают нагрузку на сервер.
Код 403 требует другой проверки: он означает отказ в доступе, но не обязательно блокировку скрапера. Причиной могут быть права пользователя, сетевые ограничения, конфигурация сервера или политика автоматизированного доступа. Сравните URL, метод, авторизацию, cookies, заголовки и текст ответа с разрешенным контрольным запросом. Убедитесь, что это страница отказа, а не ошибка маршрута или просроченный токен. Если ресурс явно запрещает автоматизированный доступ или показывает challenge, остановите задачу и используйте официальный API либо согласуйте доступ.

Журнал ошибки должен содержать время, домен, маршрут, статус, Retry-After, идентификатор сессии, число предыдущих попыток и хеш тела ответа. Секреты, персональные данные и полные cookies в лог не записывают. Хеш помогает группировать одинаковые страницы блокировки без сохранения их содержимого.
По каким критериям сравнивать сервисы сбора данных
Сервисы в подборке выполняют разные роли. Scraping API принимает URL и возвращает HTML или структурированные данные. Прокси-провайдер дает сетевые выходы, но логика повторов и парсинга остается в вашем коде. Управляемый пайплайн берет на себя разработку, поддержку и доставку набора данных.
| Критерий | Что проверить перед оплатой |
|---|---|
| лимиты запросов | лимит параллельных запросов, реакцию на превышение и возможность отдельных очередей |
| задержки и повторы | какие статусы повторяются, максимальное число попыток и оплату неудачных запросов |
| кеширование | хранение результатов, дедупликацию, TTL и условные запросы |
| официальные API | специализированные конечные точки для нужного источника и разрешенный формат использования |
| 403 и 429 | доступность журналов, статусов целевого сайта и диагностики расхода кредитов |
| постоянство сессии | cookies, sticky sessions, геолокацию, браузерную сессию и срок жизни состояния |
Цены ниже проверены 30 октября 2026 года. Сравнивать только месячную сумму недостаточно: стандартный запрос может стоить один кредит, а JavaScript, premium proxy или сложный домен увеличивают расход в несколько раз.
Сравнение ролей и стартовых условий сервисов
Выбор зависит от того, сколько инфраструктуры готова поддерживать команда. Таблица не ранжирует сервисы от лучшего к худшему, а показывает разные модели продукта и нижнюю точку входа на дату проверки.
| Сервис | Основная модель | Стартовое условие | Лучше всего подходит |
|---|---|---|---|
| ScrapingBee | scraping API | от $19/месяц | быстрый API-доступ с управляемым браузером |
| Scrapfly | API и Cloud Browser | 1 000 бесплатных кредитов | сочетание HTTP и CDP-сессий |
| Bright Data | Web Scraper API | 5 000 записей бесплатно | готовые скраперы и крупные пакеты |
| ScraperAPI | API, crawler, pipeline | от $49/месяц | синхронные и асинхронные задачи |
| ZenRows | общая кредитная система | бесплатно, затем от $16/месяц | Fetch, Batch и Browser Sessions |
| Roundproxies | прокси | от $3,50 за 1 ГБ со скидкой | собственный скрапер и контроль IP |
| Crawlbase | API, crawler, storage | оплата по факту без подписки | один баланс для компонентов |
| PromptCloud | управляемая услуга | индивидуальный расчет | регулярные корпоративные потоки |
| Scrapingdog | scraping API | бесплатно, затем от $40/месяц | специализированные API endpoints |
| Oxylabs | Web API и прокси | от $30/месяц | переход от API к прокси-стеку |
Не выбирайте тариф только по количеству кредитов. Возьмите 100 типичных URL, разделите их на статические, JavaScript и авторизованные, затем рассчитайте фактический расход для каждого класса. Один миллион кредитов может означать миллион простых страниц или только сорок тысяч запросов с JavaScript и premium proxy.
ScrapingBee для API-запросов с управляемым браузером

ScrapingBee объединяет HTML API, JavaScript rendering, прокси, геотаргетинг, скриншоты и правила извлечения данных. Auto-Mode может выбрать самую дешевую рабочую комбинацию рендеринга и прокси, а max_cost ограничивает стоимость отдельного запроса. Это полезно для источников разной сложности, где фиксированный режим либо слишком дорог, либо часто возвращает ошибку.
План Hobby стоит от $19 в месяц за 75 000 кредитов и 25 одновременных запросов. Бесплатный тест включает 1 000 кредитов. Стандартный запрос начинается с одного кредита, JavaScript стоит пять, premium proxy без JavaScript десять, а их сочетание двадцать пять.
Сервис подходит разработчикам, которым нужна одна конечная точка HTTP API вместо собственного парка браузеров. Встроенная интеграция с Afina не подтверждена. В смежном процессе ScrapingBee собирает данные через API, а Afina выполняет разрешенные браузерные шаги в отдельных профилях, когда нужна ручная проверка результата.
Scrapfly для API, CDP-сессий и структурированного извлечения

Scrapfly предоставляет Web Scraping API, Cloud Browser через CDP, Screenshot API, Extraction API и crawler под одним ключом. Cloud Browser подключается к Playwright или Puppeteer как удаленный Chromium. Такой режим нужен для страниц с кликами, формами и длинной сессией, тогда как обычный API-запрос дешевле для статического HTML.
После регистрации доступны 1 000 бесплатных кредитов без карты. Оплата привязана к кредитам, а индивидуальные контракты для нагрузки свыше 6 млн кредитов в месяц начинаются от $1 200. Перед расчетом бюджета проверьте множители для прокси, браузера и extraction.
Scrapfly подходит командам, которые хотят сочетать HTTP-сбор и управляемые CDP-сессии. Прямая интеграция с Afina не подтверждена. Scrapfly может выполнять серверное получение данных, а Afina сохранять отдельный браузерный контекст для разрешенных операций, которые нельзя перенести в API.
Bright Data для готовых скраперов и крупных наборов данных

Bright Data предлагает Web Scraper API с шаблонами для популярных источников, браузерным рендерингом, управлением прокси, пакетными задачами и доставкой в JSON или CSV. Оплата за успешно доставленные записи упрощает расчет для структурированных endpoints, но единицей становится запись, а не исходный HTTP-запрос.
Бесплатный уровень включает 5 000 записей в месяц. Pay as you go начинается от $1,50 за 1 000 записей, а Scale от $499 в месяц за 384 000 записей. Если один документ создает много записей, это может быть выгоднее кредитной модели. Для страниц с небольшим числом полей рассчитайте оба варианта.
Сервис подходит крупным каталогам, мониторингу цен и регулярным пакетным задачам. Встроенная интеграция с Afina не подтверждена. Bright Data может формировать набор данных, а Afina использоваться только там, где у оператора есть законные основания работать с браузерной сессией.
ScraperAPI для синхронного и асинхронного сбора

ScraperAPI поддерживает синхронные запросы, асинхронные пакеты, JavaScript rendering, premium proxy, custom sessions и специализированные endpoints со структурированными данными. В асинхронном режиме клиент не держит соединение открытым и забирает результат после завершения задачи.
План Hobby стоит от $49 в месяц за 100 000 кредитов и 20 потоков. Семидневный тест дает 5 000 кредитов без карты. Стоимость зависит от домена и параметров: стандартная страница расходует один кредит, а сложные источники и антибот-обработка имеют свои множители. Установите max_cost до массового запуска.
ScraperAPI подходит командам, которым нужны API, crawler и DataPipeline в одном кабинете. Специальная интеграция с Afina не подтверждена. Не переносите cookies и токены между системами без необходимости: API-задачи и профиль Afina имеют отдельные границы сессии.
ZenRows для кредитной модели и браузерных сессий

ZenRows объединяет Fetch, Extract, Crawl, Batch и Browser Sessions с общим кредитным балансом. Стандартная успешная страница стоит один кредит, JavaScript rendering пять, premium proxy десять, обе опции вместе двадцать пять. Неудачные запросы не списываются, а 404 и 410 считаются валидным ответом.
Бесплатный план содержит 5 000 кредитов ежемесячно. Build начинается от $16 в месяц за 45 000 кредитов и 20 одновременных запросов, Launch стоит $58 за 250 000. Browser Sessions дополнительно расходуют пять кредитов в минуту плюс трафик.
ZenRows удобен для перехода от простого получения страниц к пакетам и интерактивной браузерной сессии без смены поставщика. Нативная интеграция с Afina не подтверждена. ZenRows может отвечать за серверные данные, а Afina сохранять изолированное состояние профиля для разрешенных ручных операций.
Roundproxies для управления сетевым выходом

Roundproxies предоставляет резидентские, датацентровые, ISP и мобильные прокси, но не пишет парсер и не управляет очередью URL. Лимиты, backoff, кеширование, анализ 403 и 429 и проверка полноты ответа остаются в вашем приложении. Прокси решает только сетевую часть.
Резидентский пакет начинается от $3,50 за 1 ГБ со скидкой на первую покупку, обычная цена составляет $7 за 1 ГБ. Доступны HTTP, HTTPS, SOCKS5, автоматическая ротация и sticky sessions. Для авторизованной сессии важно закрепить IP на весь ее срок.
Roundproxies подходит командам с собственным скрапером, которым нужен контроль геолокации и сессий. Прокси можно добавить в отдельный профиль Afina как стандартные реквизиты подключения. Это совместимость через протокол, а не подтвержденная встроенная интеграция.
Crawlbase для общего баланса API и crawler

Crawlbase использует один баланс для Crawling API, Crawler, Smart AI Proxy, скриншотов и Cloud Storage. Стандартный успешный запрос равен одному кредиту, JavaScript удваивает расход, скриншот стоит два кредита, а хранение страницы месяц половину кредита. Сложность домена добавляет множитель.
Pay as you go не имеет абонплаты и использует ставки от $3 до $0,02 за 1 000 успешных запросов в зависимости от объема. Starter стоит от $99 в месяц за 200 000 кредитов. Новый аккаунт получает 1 000 кредитов, а после настройки баланс может вырасти до 5 000.
Crawlbase подходит командам, которые хотят финансировать компоненты из одного баланса и задавать жесткий лимит расходов. Прямая интеграция с Afina не подтверждена. API и браузерный профиль следует оркестрировать как два независимых этапа.
PromptCloud для полностью управляемых потоков данных

PromptCloud работает как управляемая услуга, а не self-service API для одного URL. Команда поставщика проектирует crawler, поддерживает логику извлечения, проверяет схему и доставляет структурированные данные через API, S3, FTP или другой согласованный канал. Это снижает объем внутренней поддержки, но дает меньше низкоуровневого контроля.
Фиксированных тарифов нет. Стоимость зависит от числа источников, объема записей, частоты обновления, сложности защиты, формата доставки и схемы. Модель подходит для регулярных потоков из десяти и более разных источников, но обычно не для разового сбора нескольких URL.
PromptCloud подходит компаниям, которым нужны SLA, человеческий контроль качества и готовый набор данных. Встроенная интеграция с Afina не подтверждена. Результаты можно передавать в корпоративное хранилище, а разрешенные браузерные операции выполнять отдельно.
Scrapingdog для специализированных scraping API

Scrapingdog предоставляет общий Web Scraping API и специализированные endpoints для поиска, карт, e-commerce и других типовых источников. Планы открывают все API и отличаются объемом кредитов и параллельностью. Кредиты за неудачные, заблокированные и просроченные запросы возвращаются на баланс.
Бесплатный уровень содержит 200 кредитов и один одновременный запрос. Lite начинается от $40 в месяц за 200 000 кредитов и пять параллельных запросов, Standard стоит $90 за 1 млн. Геолокация или JavaScript могут увеличить расход.
Scrapingdog подходит небольшим продуктам и командам, которым нужны готовые endpoints без собственного прокси-менеджера. Подтвержденной интеграции с Afina нет. Между API-сбором и разрешенным браузерным этапом лучше передавать только необходимые данные, а не полное хранилище cookies.
Oxylabs для Web API и прокси в одном контракте

Oxylabs объединяет Web API, Web Unblocker, резидентские, мобильные, ISP и датацентровые прокси. Web API имеет отдельные endpoints для поиска и получения страниц, поддерживает готовые парсеры и доставляет структурированные результаты. Можно купить управляемый API либо оставить extraction в собственном коде и использовать только прокси.
Доступны $5 приветственных кредитов. Starter стоит от $30 в месяц. Для endpoint /Scrape ставка начинается от $0,50 за 1 000 результатов, резидентские прокси от $6 за ГБ, а Enterprise от $2 500 в месяц. Не смешивайте цену результата API и прокси-трафика.
Oxylabs подходит компаниям, которые хотят масштабироваться от одного endpoint до отдельной прокси-инфраструктуры. Встроенная интеграция с Afina не подтверждена. Стандартные реквизиты прокси можно настроить в профиле, а Web API остается самостоятельным серверным каналом сбора.
Как выбрать сервис под нагрузку команды
Для небольшого прототипа подойдет сервис с бесплатными кредитами, прозрачными правилами списания за JavaScript и ограничением одновременных запросов. Цель этого этапа не максимальная скорость, а определение себестоимости одной полезной страницы и доли повторов.
Команде с собственным crawler может быть выгоднее прокси-провайдер. Тогда она отвечает за задержки, кеш, сессии, парсинг и мониторинг. При ограниченных ресурсах scraping API передает часть этих задач поставщику. Управляемый сервис имеет смысл, когда бизнесу нужен готовый поток данных по SLA, а не контроль каждого запроса.
Перед оплатой выполните короткую проверку:
- подсчитайте уникальные URL и нужную частоту обновления
- определите долю страниц с JavaScript и авторизацией
- оцените расход кредитов на контрольной выборке
- проверьте параллельность, очередь и поведение после 429
- измерьте долю полных и корректно разобранных ответов
- задайте бюджетный лимит до масштабирования
Главный показатель не цена месячного плана, а стоимость валидной записи после повторов, рендеринга, прокси и парсинга. Он позволяет объективно сравнить модели оплаты.
Как использовать Afina в смежном рабочем процессе
Afina может быть отдельным браузерным слоем для разрешенных задач, где нужны профили, cookies, прокси и контролируемая ручная или автоматизированная сессия. Scraping API работает через собственный серверный ключ. Данные передаются между этапами через очередь, файл или базу, а не через общие cookies.
Такое разделение не делает Afina встроенной интеграцией с каждым сервисом. Оно разделяет серверный сбор и браузерную работу, чтобы ошибка одного контура не смешивала сессии другого. Материал предоставлен только в ознакомительных и образовательных целях.
Перед запуском проверьте правила целевого сайта, законные основания обработки данных, доступные API и ограничения поставщика. Профиль браузера не является разрешением на сбор и не отменяет лимиты запросов.
СкачатьFAQ — Часто задаваемые вопросы
Как избежать 429 при веб-скрапинге?
Уменьшите параллельность, соблюдайте Retry-After и добавьте экспоненциальный backoff с jitter. Повторяйте запрос ограниченное число раз.
Почему скрапер получает 403?
Причиной могут быть отсутствие прав, просроченная сессия, неправильный маршрут или политика автоматизированного доступа. Сначала проверьте ответ и правила ресурса.
Какой сервис подходит небольшой команде?
Небольшой команде удобен API с бесплатным тестом, прозрачными кредитами и бюджетным лимитом. Выбирайте после проверки собственных URL.
От чего зависит общая стоимость скрапинга?
Стоимость определяют число страниц, JavaScript rendering, тип прокси, частота обновления, повторы и сложность парсинга. Месячный тариф не показывает себестоимость валидной записи.
Нужна ли ротация IP для каждого запроса?
Нет. Авторизованной сессии часто нужен стабильный IP и одно хранилище cookies. Ротация должна соответствовать модели доступа и правилам сайта.
Можно ли использовать кеш при сборе данных?
Да. Кеш уменьшает повторные обращения и нагрузку. Согласуйте TTL с фактической частотой обновления источника.
Как сервисы сбора данных работают с Afina Browser?
Подтвержденной встроенной интеграции для упомянутых API нет. Их можно использовать в отдельном серверном контуре, оставив Afina для разрешенной браузерной сессии.
Что проверить перед масштабированием скрапера?
Проверьте правила доступа, расход кредитов, параллельность, реакцию на 403 и 429 и полноту данных. Затем установите лимиты бюджета и скорости.
