zzy2210 / moon_trace

A tool for web safe

Hi there 👋

moon_trace's Issues

完善报错机制与日志

补充报错机制空白，引入日志记录

版本变更，引入grpc，通过http调用

完成grpc api 定义

修复url深度爬取无法中止等问题

目前的url爬取是深度无限爬取，存在无法中止以及可能的重复爬取问题
需要更改后做到

1. 深度有限制
2. 超时解决
3. 无重复爬取问题

增加cmake文件

增加cmake文件，目标

• 支持 编译protobuf 文件 api
• 支持 规范代码
• 支持 编译二进制
• 支持 安装部分编译工具

引入kratos框架

结合 #9 与目前个人技术发展的一些情况，项目引入kratos框架

目标：

• 服务接入kratos框架
• orm更改为ent
• 使用recover模块预防panic
• 使用 log 模块 丰富日志

子域名收集配置文件化

子域名收集url与正则为个人整理，或许可以单独做一个模块从配置文件里面读列数，假设有10个k-v，分别对应url与正则，则启用十个协程来爬取对应网站并分析。
如果采用这种方式，后续应该是通过apiserver的配置文件读取，由它向节点发送配置内容

完善注册机制，取消配置文件注册的方法

原注册机制为通过配置文件写入服务节点ip来完成注册，该方式过于粗暴。
现在为server端提供新服务，使节点服务器可以向服务端发送注册请求来完成注册。

服务端应维护路由表，路由表内容包含：节点名、节点ip、节点当前连接数