namenodeha切换优化-创新互联

一、背景

创新互联建站-专业网站定制、快速模板网站建设、高性价比泾源网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式泾源网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖泾源地区。费用合理售后完善,十年实体公司更值得信赖。

目前namenode使用了ha的部署模式,但系统会经常出现ha的自动切换(namenode节点其实正常)。经过调研发现可能的原因如下:

  1. HealthMonitor check本地namenode的rpc端口时超时,导致HealthMonitor认为namenode挂掉。

  2. zk上的session timeout,导致丢掉当前持有的active锁(temp节点),引起自动切换。

二、优化

下面的优化将针对1)和2)调整相应的超时参数,看是否起效。修改core-site.xml

    
    
        ha.health-monitor.rpc-timeout.ms
        300000
    
   
    
        ha.zookeeper.session-timeout.ms
        180000
    

三、操作影响

无,不需要重启hadoop,不会引起namenode切换

四、操作步骤

下面操作假设master1(active),master2(standby),只有按照该顺序操作,才能实现namenode不切换

1)登陆master2(standby),注释掉crontab中的restart-zkfc.sh任务, 执行

sbin/hadoop-daemon.sh stop zkfc

2)登陆master1(active),注释掉crotab中的restart-zkfc.sh任务,执行

sbin/hadoop-daemon.sh stop zkfc

3)备份master1和master2的core-site.xml文件,将上述配置项加到master1和master2的core-site.xml配置文件中

4)登陆master1(active),执行

sbin/hadoop-daemon.sh start zkfc

5)登陆master2(standby),执行

sbin/hadoop-daemon.sh start zkfc

6)check hadoop集群状态
7)重要!!! 登录master1和master2,恢复crontab中的restart-zkfc.sh任务
8)完成

注意事项

1)需要先注释掉机器上的crontab任务restart-zkfc.sh,否则该程序会自动拉起zkfc进程。导致namenode active产生切换
2)任务完成后要恢复crontab中注释掉的restart-zkfc.sh任务

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


新闻标题:namenodeha切换优化-创新互联
URL网址:http://scjbc.cn/article/pcepc.html

其他资讯