Azkaban3.81.x部署过程及遇到的坑
|
log4j.rootLogger=INFO, Console log4j.logger.azkaban=INFO, server log4j.appender.server=org.apache.log4j.RollingFileAppender log4j.appender.server.layout=org.apache.log4j.PatternLayout log4j.appender.server.File=logs/azkaban-webserver.log log4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n log4j.appender.server.MaxFileSize=102400MB log4j.appender.server.MaxBackupIndex=2 log4j.appender.Console=org.apache.log4j.ConsoleAppender log4j.appender.Console.layout=org.apache.log4j.PatternLayout log4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n 添加管理员用户: # sudo vim azkaban-users.xml <azkaban-users> <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/> <user password="metrics" roles="metrics" username="metrics"/> <user username="admin" password="admin" roles="admin,metrics" /> <role permissions="ADMIN"/> <role permissions="METRICS"/> </azkaban-users> 2.4部署 azkaban-exec-server # cd /mnt/addDisk1/BigData/azkaban # sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/ # cd ./azkaban-exec-server/conf 配置azkaban.properties： # sudo vim azkaban.properties #Azkaban default.timezone.id=Asia/Shanghai #时区 # Azkaban JobTypes 插件配置 azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置 #Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects #数据库设置 database.type=mysql #数据库类型(目前只支持mysql) mysql.port=3306 #数据库端口号 mysql.host=localhost #数据库IP地址 mysql.database=azkaban #数据库实例名 mysql.user=azkaba #数据库用户名 mysql.password=azkaba #数据库密码 mysql.numconnections=100 #最大连接数 # 执行服务器配置 executor.maxThreads=50 #最大线程数 executor.port=12321 #端口号(如修改,请与web服务中一致) executor.flow.threads=30 #线程数 在azkaban-exec-server和azkaban-web-server安装目录下创建extlib目录，将lib目录下的mysql-connector-java-5.1.28.jar包拷备这extlib目录： # cd /mnt/addDisk1/BigData/azkaban # sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-web-server/extlib/ # sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-exec-server/extlib/ 2.5启动web-server和exec-server # ./azkaban-exec-server/bin/start-exec.sh # ./azkaban-web-server/bin/start-web.sh 2.6访问https://ip:8443打开azkaban的web页面 2.7 测试 三、遇到的问题 3.1、 找到guava-*.jar包版本过低，但在/lib/下的是0.21版本，不低了，根据排除可知找到系统中版本过低的而使用。 2019/12/20 14:25:34.573 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main" 2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector; 2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.Status.<clinit>(Status.java:40) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows.<clinit>(FetchActiveFlowDao.java:177) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:148) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:102) 2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:384) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:136) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:149) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231) 2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224) 解决方案：https://www.jb51.net/article/185901.htm # vim /mnt/addDisk1/BigData/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh 将如下： for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$CLASSPATH:$file done 改为： for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$file:$CLASSPATH done # vim /mnt/addDisk1/BigData/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh 将如下： for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$CLASSPATH:$file done 改为： for file in $azkaban_dir/lib/*.jar; do CLASSPATH=$file:$CLASSPATH done 3.2解决executor非active的问题 解决方案： 1） # cd ./azkaban/azkaban-exec-server/ # curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo 2）也可以通过在MySQL中修改：https://www.jb51.net/article/185900.htm 到此这篇关于Azkaban3.81.x部署过程及遇到的坑的文章就介绍到这了,更多相关Azkaban3.81.x部署内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！ （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
