LIMB
Вход Регистрация

тема

Как лучше?

walker · · 3 ответов · 964 просмотров

К разделу
При написании парсера на copart .com появилась проблема в виде Incapsula. Может час подряд блочить все запросы, даже с разными прокси и выдает капчу
  1. 1. Начал пробовать искать ip, есть с открытым 8443 портом, редиректит на субдомен faveosandbox 
  2. На shodan куча CVE показывает, но все же апи другое чем на основном домене. Как эта инфа может помочь к обходу?

  4. 2.Или же стоит пытаться делать новые куки эмуляцией/искать другие эндпоинты которые выдают валидные?
👍68 😁13 😮11 👏11 🤔11
Ответwalker

При написании парсера на copart .com появилась проблема в виде Incapsula. Может час подряд блочить все запросы, даже с разными прокси и выдает капчу 1. Начал пробовать искать ip, есть с открытым 8443 портом, редиректит…

на чем пишешь? какую либу используешь для запросов?
👍1
Typescript, node-fetch
Ответzhnout

на чем пишешь? какую либу используешь для запросов?

Ответwalker

Typescript, node-fetch

не подскажу как устроено там к сожалению, но скорее всего дело в tls отпечатках, https://tls.peet.ws/api/all поделай сюда через фетч запросы и посмотри ja3 hash немного ресерча в гугле и он там может найдется, если да, то искать либу под тс, которая умеет менять отпечатки

Гостевой просмотр. Чтобы отвечать и ставить реакции, войдите или зарегистрируйтесь.