程序员笔记 | 一次Zookeeper扩展之殇

背景

基于公司发展硬性需求，生产VM服务器要统一迁移到ZStack 虚拟化服务器。检查自己项目使用的服务器，其中zookeeper集群中招，所以需要进行迁移。

迁移计划

为了使迁移不对业务产生影响，最好是采用扩容 -> 缩容的方式进行。

说明：

• 原生产集群为VM-1,VM-2,VM-3组成一个3节点的ZK集群;
• 对该集群扩容，增加至6节点(新增ZS-1,ZS-2,ZS-3)，进行数据同步完成;
• 进行缩容，下掉原先来的三个节点(VM-1,VM-2,VM-3);
• 替换nginx解析地址。OK! 目标很明确，过程也很清晰，然后开干。

步骤 (过程已在测试环境验证无问题)

1. 对新增的三台服务器进行zk环境配置，和老集群配置一样即可，最好使用同一版本(版主使用的是3.4.6);

2. 对老节点的zoo.cfg 增加新集群的地址(逐一增加)，然后对新增加节点逐一重启。

问题

ZS-1 启动成功，zkServer.sh status 报错,用zkServer.sh status查看，反馈如下异常：

[root@localhost bin]# ./zkServer.sh  status 
ZooKeeper JMX enabled by default 
Using config: /usr/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg 
Error contacting service. It is probably not running. 

此时查看数据，数据同步正常：

ZS-1 数据同步正常，但是无法查看节点的状态信息； 

• 怀疑是因为老节点没有重启的原因;此时去查看原集群节点信息，发现原集群节点状态异常。 经排查定位，原集群的状态一直处于异常状态。
• 初步定位原因可能是原集群的选举存在异常，导致新节点无法正常纳入，继续排查。
• 恢复集群初始状态，如果集群节点的状态一直没法正常查看。OK 继续定位...

排查过程

以下方法来自于网络：

可能有以下几个原因：

第一、zoo.cfg文件配置：dataLogDir指定的目录未被创建。

1.zoo.cfg 
[root@SIA-215 conf]# cat zoo.cfg 
... 
dataDir=/app/zookeeperdata/data 
dataLogDir=/app/zookeeperdata/log 
... 
 
2.路径 
[root@SIA-215 conf]# cd /app/zookeeperdata/ 
[root@SIA-215 zookeeperdata]# ll 
total 8 
drwxr-xr-x 3 root root 4096 Apr 23 19:59 data 
drwxr-xr-x 3 root root 4096 Aug 29  2015 log 

经排查，排除该因素。

第二、myid文件中的整数格式不对，或者与zoo.cfg中的server整数不对应。

[root@SIA-215 data]# cd /app/zookeeperdata/data 
[root@SIA-215 data]# cat myid  
2[root@SIA-215 data]#  

定位排查后排除不是该原因。

第三、防火墙未关闭。

使用service iptables stop 关闭防火墙 使用service iptables status确认使用chkconfig iptables off禁用防火墙。

确认防火墙是关闭的。

[root@localhost ~]# service iptables status 
iptables: Firewall is not running. 
确认防火墙是关闭的 

第四、端口被占用。

[root@localhost bin]# netstat -tunlp | grep 2181 
tcp        0      0 :::12181                    :::*                        LISTEN      30035/java           
tcp        0      0 :::22181                    :::*                        LISTEN      30307/java  
 
确认端口没有被占用 

第五、zoo.cfg文件中主机名出错。

经测试环境测试，主机名正确，多域名解析也正常，不存在此问题 

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!