rfoel / cnpj Goto Github PK

@rfoel, blz?
Fiz um projeto bem semelhante, no caso, um scheduler para rodar todos os dias e extrair todas as infos do CNPJ com base no CNAE;

O endpoint api.casadosdados.com.br/v2/public/cnpj/search retorna dados "básicos", então fiz um service para extrair os dados unitários:

@Injectable()
export class CnpjService {
  constructor(private _puppeteer: CommonService) {}

  async extract(param: string): Promise<Cnpj> {
    const request = await this._puppeteer.crawl(
      `https://casadosdados.com.br/solucao/cnpj/${param}`,
    );

    const response = await request.evaluate(
      () => window['__NUXT__'].data[0].cnpj,
    );

    await request.close();

    return response;
  }
}

O ponto é: Não sei até que nível deseja escalar este projeto, mas, como o site casadosdados.com.br tem proteção CloudFlare, é questão de tempo (requests) até esse user-agent ser bloqueado.
Minha sugestão/solução é: Criar uma lista de user-agents e aplicar no puppeteer de forma randômica para cada requisição, segue utilitários:

https://gist.github.com/caioagiani/0a179cbf48ab7de8df99515744e772a5
https://gist.github.com/caioagiani/911b6fab52e6ab194d76da586ec42086

Ps: Fiz um list dos CNPJ na rota solucao/cnpj/pesquisa-avancada (semelhante ao seu), mas só guardo o CNPJ e pesquiso à parte no Service acima. Motivo: coletar os dados de contato como email/telefone e o restante das infos.
Em pouco tempo de extração, meu request foi bloqueado com Captcha e Access denied, então fiz o random user-agent e funcionou aqui!

Resultado (simples):

USER-AGENT: Mozilla/5.0 (X11; U; FreeBSD i386; ru-RU; rv:1.9.1.3) Gecko/20090913 Firefox/3.5.3
CNPJ 45162751000142 - KYRO BX LTDA - [email protected]

USER-AGENT: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.10) Gecko/20100915 Ubuntu/9.04 (jaunty) Firefox/3.6.10
CNPJ 45164310000180 - FUSION PLATAFORMA LTDA - [email protected]

USER-AGENT: Mozilla/5.0 (X11; U; Linux ppc; fr; rv:1.9.2.12) Gecko/20101027 Ubuntu/10.10 (maverick) Firefox/3.6.12
CNPJ 45163049000101 - WTNK SYSTEM LTDA - [email protected]

USER-AGENT: Mozilla/5.0 (Windows; U; Windows NT 6.1; hu; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9 (.NET CLR 3.5.30729)
CNPJ 45161956000103 - PROMAIS SISTEMAS DE GESTAO LTDA - [email protected]

USER-AGENT: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; ja) Opera 11.00
CNPJ 45152663000160 - PAULO SILAS VIOLIN ARQUITETURA DE DADOS - [email protected]

USER-AGENT: Opera/9.80 (X11; Linux i686; U; fr) Presto/2.7.62 Version/11.01
CNPJ 45162627000187 - YURI SANTOS LEMES PRODUCOES E PARTICIPACOES DIGITAIS - [email protected]