foxgeek36 Goto Github PK

scrapy_redis_cluster

scrapy-redis的集群版，可以借助Redis集群实现海量网站的独立去重，避免单机内存不足的尴尬

search-engine-principle

搜索引擎原理详解，开源电子书

search_adserver

搜索广告系统

search_engine

python搭建搜索引擎

search_system_example

快速搭建一个搜索引擎，示例程序

selenium-framework

基于python的selenium UI自动化测试框架，采用Page Object设计模式进行二次开发，通过对页面对象和测试代码进行分离，并封装了日志输出，浏览器引擎选择，二次封装常用方法。降低后期因页面变化带来的维护成本，减少了代码的重复，提高测试用例的可读性

shell

Linux命令行与shell脚本编程大全案例

smart_login

各大网站登陆方式，有的是通过selenium登录，有的是通过抓包直接模拟登录（精力原因，目前不再继续维护）

solo

🎸 一款小而美的博客系统，专为程序员设计。

sourcecodeofbook

《Python爬虫开发 从入门到实战》配套源代码。

sparrow

运维管理平台（python3+flask+pycharts+pyscheduler+gunicorn),模块化结构设计,底层依托mysql、influxdb、elasticsearch、zabbix、k8s等数据源数据

spider

爬虫实例：微博、b站、csdn、淘宝、今日头条、知乎、豆瓣、知乎APP、大众点评

spider-1

Python website crawler.

spider-code

scrapy分布式爬虫，selenium 爬虫，手机群控（自动化）（appium,airtest,uiautomator2），反爬破解;大众点评dianping 破解,评论采集，商铺团购信息采集，店铺搜索接口,饿了么，美团外卖，soul社会调查

spider_world

🕷spider world with me

spidernotices

爬取东方财富公司公告文本

spring-boot-quick

:herb: 基于springboot的快速学习示例,整合自己遇到的开源框架,如：rabbitmq(延迟队列)、Kafka、jpa、redies、oauth2、swagger、jsp、docker、spring-batch、异常处理、日志输出、多模块开发、多环境打包、缓存cache、爬虫、jwt、dubbo和Async等等:pushpin:

ss

superl-url

【公告：不提供技术支持服务，不接定制，有问题可发技术群】根据关键词，对搜索引擎内容检索结果的网址内容进行采集的一款轻量级软程序。 程序主要运用于安全渗透测试项目，以及批量评估各类CMS系统0DAY的影响程度，同时也是批量采集自己获取感兴趣的网站的一个小程序~~ 可自动从搜索引擎采集相关网站的真实地址与标题等信息，可保存为文件，自动去除重复URL。同时，也可以自定义忽略多条域名等。

supermarket-shopping-system-python

小型超市购物系统（GUI）（Python）包括进货、存储仓库、售货、结算。登录系统账号及密码保存在本地文件中。数据库选用SQL server2008，界面使用pyqt3

taobao

crawl products data from taobao based on keyword

taobao-login

taobao-login

taobaoproduct

Taobao Product Spider by Selenium

tc_zufang

使用scrapy,redis, mongodb,django实现的一个分布式网络爬虫,底层存储mongodb,分布式使用redis实现,使用django可视化爬虫

test

test-1

自动化测试架构，python、Selenium、unittest

the-book

tianyancha

pip安装的天眼查爬虫API，指定的单个/多个企业工商信息一键保存为Excel/JSON格式。A Battery-included Scraper API of Tianyancha, the best Chinese business data and investigation platform.

tieba_spider

百度贴吧爬虫(基于scrapy和mysql)

timelyprojects

collect & note the temporary projects