Esse é um caso de estudo de um bypass para o sistema de Cookies da Cloudflare, que é um serviço de segurança que protege sites de ataques DDoS, mas que também pode ser usado para proteger sites de scraping.
O objetivo desse projeto é estudar como o Cloudflare protege sites de scraping e como é possível burlar essa proteção, e conseguir fazer scrapping por meio de requisições HTTP/HTTPS.
É HTTP para o site alvo, e o Cloudflare retorna um desafio que é um HTML com um script que executa um desafio de JavaScript.
Leia a função getCloudflareCookies
no arquivo cf_bypasser.js
para entender melhor como o bypass funciona.
- Capturamos o valor de
key
es
contidos dentro do site alvo - Capturamos o header
Cf-Ray
utilizando puppeter - Utilizamos os dados do site
baseData
ekey
para resolver o desafio e obter o valor dewp
- utilizamos
Cf-Ray
para montar o url alvo para fazer a requisição com o valor dewp
es
o retorno é o cookie da sessão
Por enquanto não consegui retornar o header Cf-Ray
sem usar o Puppeteer, então o bypass ainda depende do Puppeteer para funcionar.
- NodeJS
- Puppeteer
Primeiro instale as dependências nodejs:
npm install
Depois execute o script:
node main.js