jyolo / wlogger Goto Github PK

2020-12-31 11:38:06 DEBUG /usr/local/src/abc/wLogger/Src/Core.py 353 online日志格式不存在 ; read threading stop pid: 27479
2020-12-31 11:38:06 DEBUG /usr/local/src/abc/wLogger/Src/Core.py 259 online日志格式不存在 ; cutFile threading stop pid: 27479
2020-12-31 11:38:06 ERROR /usr/local/src/abc/wLogger/QueueAdapter/Redis.py 45 online日志格式不存在 ; pushQueue threading stop pid: 27479 ---- tid: 139733623940864

还有一个nginx 路径反代的问题

location /abc {
proxy_pass http://localhost:8899/;
root /path/to/wLogger/webServer;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header Host $http_host;
proxy_set_header X-NginX-Proxy true;
}

我用这段代码反向代理 所有静态资源都无法正确加载 只能打开页面

还望大佬赐教 谢谢！

你好，我运行之后访问5000端口被deny，是我哪里设置的不对吗，secret_key应该如何设置?谢谢！

我一直在Windows下使用，将三部分分别注册为inputer outputer web三个服务， 环境为nginx+mongodb，三年来非常稳定，但是有几个问题
1.mongodb有时会占用CPU100%，重启也不能解决，但是只要将outputer服务重启一下问题立刻解决，因为此问题触发几率极低，未能找到原因。

2.近期才发生的问题，我现在的文件存储在mongodb的GridFS Buckets中，通过nginx对外访问。但是现在要访问文件速度非常非常的慢，经常访问失败， 刷新很多次以后才能成功。
前几天偶然把web服务关掉，访问速度立即恢复。然后我又做了多次试验，确定只要关掉web就能保证GridFS的访问速度。
而如果web开着，只有GridFS的访问速度会受影响，数据不受影响。

不知道其他使用者有没有碰到以上问题

用mysql命令行进去没问题

table construction？

试用了一下，效果拔群！
不知是否可以兼容Win平台，在win平台测试时错误
执行命令python main.py -r inputer -c config.ini时
报错
Traceback (most recent call last):
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python39\lib\multiprocessing\process.py", line 315, in _bootstrap
self.run()
File "C:\Users\Administrator\AppData\Local\Programs\Python\Python39\lib\multiprocessing\process.py", line 108, in run
self._target(*self._args, **self._kwargs)
File "C:\data\wLogger-master\main.py", line 13, in runReader
r = Reader(log_file_conf=log_files_conf ,config_name=config_name)
File "C:\data\wLogger-master\Src\Core.py", line 192, in init
self.server_conf = loggerParse(log_file_conf['server_type'],self.conf[log_file_conf['server_type']]['server_conf']).logger_format
File "C:\data\wLogger-master\Src\Core.py", line 28, in init
self.logger_format = self.__handler.getLoggerFormatByServerConf(server_conf_path=server_conf)
File "C:\data\wLogger-master\ParserAdapter\Nginx.py", line 404, in getLoggerFormatByServerConf
content = fd.read().decode(encoding="utf-8")
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb5 in position 4226: invalid start byte

页面打开无法显示实时数据

My Question

• 请教一下，我现在遇到的一个问题就是数据库里面已经有数据了，页面也能打开，但就是无法显示数据，get_total_ip以及get_total_pv等在F12里面都是红色的提醒。

Environment

• Operating System: Centos 8

VMWare IP

• 192.168.31.13

Nginx Configuration

• 192.168.31.13:8080->127.0.0.1:5000

在配置完成启动后，发现日志报错数据解析错误，提示检查client配置中的日志格式名称是否和log_foramt_name一致，我nginx配置默认日志名称为main，log_format_name 设置也为main，请问试什么问题？

pid : 12795 数据解析错误: ('解析日志失败,请检查client 配置中 日志的 格式名称是否一致 log_format_name',) 数据: {"node_id": "server_80", "app_name": "web1", "log_format_name": "main", "line": "192.168.191.4 - [29/Dec/2021:10:50:40 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36\" \"-\"", "log_format_str": "$remote_addr $remote_user [$time_local] \"$request\" '\n '$status $body_bytes_sent \"$http_referer\" '\n '\"$http_user_agent\" \"$http_x_forwarded_for\"", "log_format_vars": "$remote_addr<@>$remote_user<@>$time_local<@>$request<@>$status<@>$body_bytes_sent<@>$http_referer<@>$http_user_agent<@>$http_x_forwarded_for"}

outputer和web都已经正常运行

outputer因为收不到数据，一直卡着
web已经可以正常访问，接口正常，就是没有数据

数据库表没有自动创建
sqlalchemy.exc.ProgrammingError: (pymysql.err.ProgrammingError) (1146, "Table 'logger.logger_watcher_2020_12_31' doesn't exist")
[SQL:
select count(*) as total_num ,ua from logger_watcher_2020_12_31
where MATCH(ua) AGAINST('spider')
GROUP BY ua
ORDER BY total_num desc
]
(Background on this error at: http://sqlalche.me/e/13/f405)