cocofree / azkaban_assistant Goto Github PK

View Code? Open in Web Editor NEW

118.0 12.0 50.0 13.53 MB

azkaban小助手,增加任务web配置、远程脚本调用、报警扩展、跨项目依赖等功能。

License: Apache License 2.0

Shell 0.54% Python 99.46%

azkaban

azkaban_assistant's People

Contributors

Stargazers

Watchers

Forkers

rucky2013 bleachzk jet2007 xwzpp haiyang1987 witnesslq nieer wentium reinhardhsu sc750531323 xjtuseredlee 3838438org zzjie77 forestlzj hejiang2000 gcoandchao hello-000 vblvbl caozhen1937 long1208 luyee livolleyball zhugeyixun zvrr deanwei zhaojinpeng021 xiaoqingwang robinzyx sundisee michielzh gangh potaly chaiwenjun zixuedanxin shangguanfeilong robinloop lianxiaobao lenmom skywalker2256 qzjdll lzm1996 xiaohei-info xiuqingyao zhenbin24 solitarylang chenxi0599 lucaqy 9500770 starshineman fffffx0

azkaban_assistant's Issues

请问这个工具是否可用

目前从代码来看，好像clone下来并不能直接使用。还有一个问题是：这个任务流的配置是否支持内嵌任务流的配置方式？

怎么安装部署

按照你写的部署方案，没能部署成功！

azkaban-web 使用官方的2.5版本
azkaban-executor 使用官方的2.5版本

schedule 使用你的schedule目录；

部署后，没在页面看到“任务调度”项

任务陪置：500错误

Hi 你好，非常感谢你能够开源你的小助手。
我在使用你小助手的时候发现了一个问题。在点击任务配置的时候，会出现如下错误：
500: Internal Server Error
不知道你是否遇到过这样的情况。

如何同步到官方最新版本

Hi,楼主，最近也在使用azkaban，不知你这个更新是否支持最版本呢？如需要同步的话，应该如何更新？

请教几个问题

目前我们在自己做一个数据平台的调度系统，对于一天任务量在几千个的系统来说，azkaban配置太麻烦了，感谢你开源了azkaban_assistant（https://github.com/cocofree/azkaban_assistant），有几个疑问像你请教下，谢谢。

1、azkaban都是用project来管理项目的，那我们az助手是如何通过任务交给az来调度的？
2、az助手的任务和project是什么关系？
3、远程执行脚本是如何和实现az的集群模式，在多个exec执行器间调度？

现在azkaban安装成功了，但是任务配置没法跨项目依赖

现在azkaban安装成功了，但是任务配置没法跨项目依赖，有没有什么群交流下呢，看了使用文档也没弄出来

跳转到任务配置

Hi：
Azkaban webserver前端页面代码应该是打包在azkaban-web-server.xxxxx.jar这个文件里，能否开源页面跳转这部分代码？

执行的shell脚本里面会起一个python进程，这个进程不会被job监控到吗？

python exe_job.py 执行一个shell a.sh
a.sh的内容为spark-submit --master yarn b.py
ps -ef | grep python
会有exe_job.py 和 b.py
kill job只会杀掉exe_job.py进程。b.py进程不会被杀掉。导致yarn的任务仍然在运行。
也不能真正监控到yarn上的这个任务。
请问一下有解决方案吗？

在任务配置页面新建的任务不会出现在Project Flows下面

那这些任务是如何提交执行和放进日常调度里的？

可配置成集群？

可以配置成集群？

web/executor/scheduler应该怎样配置呢？比如3台机器ABC;

[root@dev-cdh04 webapp]# cat schedule_web.log
Traceback (most recent call last):
File "router/schedule_router.py", line 69, in
server.bind(options.port)
File "/usr/lib/python2.6/site-packages/tornado/tcpserver.py", line 158, in bind
backlog=backlog)
File "/usr/lib/python2.6/site-packages/tornado/netutil.py", line 69, in bind_sockets
sock = socket.socket(af, socktype, proto)
File "/usr/lib64/python2.6/socket.py", line 184, in init
_sock = _realsocket(family, type, proto)
socket.error: [Errno 97] Address family not supported by protocol

代码是否方便开源

能否开源代码一起进行二次开发工作

在任务配置界面中新增的job没有同步到azkaban的Job中

我在任务配置中新增了个job，没有同步到az的Job中，日志如下

2017-08-03 10:15:51,701 - job_to_update.py[line:71] - INFO - to update job []
2017-08-03 10:15:51,702 - web.py[line:1514] - INFO - 200 POST /job_to_update (172.29.30.105) 9.29ms
2017-08-03 10:15:51,748 - web.py[line:1514] - INFO - 304 GET /static/js/bootstrap-suggest.min.js (172.29.30.105) 0.71ms
2017-08-03 10:15:56,079 - job_check_exist.py[line:32] - INFO - ----name:[TEST1111]
2017-08-03 10:15:56,082 - web.py[line:1514] - INFO - 200 POST /job_check_exist (172.29.30.105) 3.23ms
2017-08-03 10:16:06,595 - job_update.py[line:47] - INFO - >>>>>>>>>>><type 'str'>
2017-08-03 10:16:06,595 - job_update.py[line:48] - INFO - >>>>>>>>>>>
2017-08-03 10:16:06,595 - job_update.py[line:55] - INFO - name:TEST1111
2017-08-03 10:16:06,596 - job_update.py[line:55] - INFO - project_name:TEST
2017-08-03 10:16:06,596 - job_update.py[line:55] - INFO - server_host:123 0.0.01
2017-08-03 10:16:06,596 - job_update.py[line:55] - INFO - server_user:hadoop
2017-08-03 10:16:06,596 - job_update.py[line:55] - INFO - server_dir:/tmp
2017-08-03 10:16:06,596 - job_update.py[line:55] - INFO - server_script:echo &[last_date];
2017-08-03 10:16:06,596 - job_update.py[line:55] - INFO - retries:0
2017-08-03 10:16:06,599 - job_define.py[line:266] - INFO -
delete t from kk_jobs t where t.name='TEST1111'

2017-08-03 10:16:06,609 - job_define.py[line:75] - INFO -
select id,name,project_name,flow_name,server_host,server_user,server_dir,server_script,dependencies,success_email,failure_email,success_sms,failure_sms,retries,creator,updater,create_time,update_time,loc,ext_dependencies
from kk_jobs
where 1=1 and project_name in (
select p.name
from project_permissions t
inner join projects p on t.project_id=p.id
where (t.permissions&2>0 or t.permissions=134217728)
and t.name='azkaban'
)
order by update_time desc

2017-08-03 10:16:06,611 - job_update.py[line:78] - INFO - [azkaban] update job [TEST1111]
2017-08-03 10:16:06,611 - web.py[line:1514] - INFO - 200 POST /job_update (172.29.30.105) 16.74ms
2017-08-03 10:23:50,649 - job_define.py[line:75] - INFO -
select id,name,project_name,flow_name,server_host,server_user,server_dir,server_script,dependencies,success_email,failure_email,success_sms,failure_sms,retries,creator,updater,create_time,update_time,loc,ext_dependencies
from kk_jobs
where 1=1 and project_name in (
select p.name
from project_permissions t
inner join projects p on t.project_id=p.id
where (t.permissions&2>0 or t.permissions=134217728)
and t.name='azkaban'
)
order by update_time desc

2017-08-03 10:23:50,652 - job_list.py[line:54] - INFO - query job list [{'query_user': '', 'query_project_name': '', 'login_user': u'azkaban', 'session_id': u'b194cc50-a517-4f31-b900-9daab27e53c9', 'query_name': '', 'query_server_host': ''}]
2017-08-03 10:23:50,653 - web.py[line:1514] - INFO - 200 GET /job_list?session_id=b194cc50-a517-4f31-b900-9daab27e53c9&login_user=azkaban (172.29.30.105) 4.77ms