azkaban任务调度器使用-折腾笔记

一、使用教程

请见以下链接:

  • http://www.jianshu.com/p/484564beda1d
  • http://www.jianshu.com/p/01188607a794
  • https://zhuanlan.zhihu.com/p/22184691?refer=dataeye

二、服务器信息

azkaban地址:http://127.0.0.1:8081

账号:azkaban

密码:azkaban

三、使用规范

1、多版本python选择

系统默认python版本为2.7.5,如果使用python2.7.5的代码,直接运行即可。

若采用python 3.5.1的代码,需先激活virtualenv中的python3.5.1虚拟环境。

激活方法:

2、任务可执行文件存放路径

所有任务可执行文件均存储在/home/jobs/路径中,不用的项目需建立单独的文件夹。

例如:

/home/jobs/simulate/PrototypeDataSimulation/spc_dataGenerator.py

3、文件上传方法

请使用filezilla+sftp的方式上传。

四、使用技巧

1、python virtualenv虚拟环境job command技巧

type=command
command=bash -c “source /usr/local/py3.5.1/python-3.5/bin/activate && python /home/jobs/simulate/PrototypeDataSimulation/spc_dataGenerator.py”

 

2、http api 调用技巧

使用curl命令调用。

 

赞 (4)
分享到:更多 ()

留言板 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址