ning-0217 Goto Github PK

aiospider

AioSpider是一套基于asycnio开发的多协程、高并发的异步爬虫框架，高速采集、易上手，具备请求自动调度、数据自动入库功能，支持CSV、mysql、sqlite、mongodb等主流数据库

android-inline-hook

:fire: ShadowHook is an Android inline hook library which supports thumb, arm32 and arm64.

boost_spider

用户自由无束缚的分布式光速python爬虫函数执行框架,写法和性能远远暴击仿scrapy api式框架

browser_cluster

aiohttp+pyppeteer写的集群浏览器(半成品)

crawler_framework_system

爬虫框架系统

cydianx

更加快速的获取框的模型

dianxuan

基于孪生神经网络实现的点选识别

douyin_spider

抖音，抖音爬虫，抖音视频、图片、主页、搜索、用户、抖音直播爬取

ipserver

工具可以实现代理池的搭建利用手机可以一直切ip,把手机（使用流量，不是wifi）作为类似拨号服务器,可以在我们需要过ip风控(利用手机切ip)的时候使用

js_reverse

主要用来收集/学习爬虫相关技术如：js逆向、app逆向、抓包、验证码、加密技术、自动化技术、机器学习。

lexbor

Lexbor is development of an open source HTML Renderer library. https://lexbor.com

mediacrawler

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬虫

newscrawl

狠心开源企业级舆情新闻爬虫项目：支持任意数量爬虫一键运行、爬虫定时任务、爬虫批量删除；爬虫一键部署；爬虫监控可视化; 配置集群爬虫分配策略；👉 现成的docker一键部署文档已为大家踩坑

paixu

语义排序

python-crawler

基于python web，python 爬虫，数据分析相关的游戏舆论监控系统

requests-go

go版requests的python版本，支持tls，http2，ja3指纹自定义

rotate-the-verification-code-pytorch

旋转验证码训练脚本

rotate_captcha

solve Rotate Captcha

scrapy-cloudflare

通过对Scrapy爬虫的twisted源码高并发改造，成功冲破5秒盾站点的屏障。

scrapy-fingerprint

scrapy-playwright

🎭 Playwright integration for Scrapy

sdenv-jsdom

补环境框架sdenv专用jsdom版本

spidermon

Scrapy Extension for monitoring spiders execution.

text_select_captcha

实现文字点选、选字、选择、点触验证码识别，基于pytorch训练

tiktokdownloader

完全免费开源，基于 Requests 模块实现：TikTok 主页/视频/图集/原声；抖音主页/视频/图集/收藏/直播/原声/合集/评论/账号/搜索/热榜数据采集工具

tlsclientmiddleware

tls client downloader middleware for scrapy, send request by tls client.

traspider

一个开箱即用的轻量异步爬虫框架

verification_code

验证码研究破解心得记录。包含网易易盾，阿里云验证码，极验验证码，通用汉字识别，梦幻西游验证等主流验证码破解。包含点按验证码、点选验证、语序点选等等。已更新极验验证码、企业公示网/工商/文书采集系统、极验打码接口。

weibo_crawler

支持多种爬取方式，下载用户相册，爬取用户帖子，爬取实时搜索帖子等，欢迎下载使用和补充功能