加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

干货:如何将Hadoop存储容量提升4倍?

发布时间:2018-08-16 01:25:19 所属栏目:教程 来源:赵钰莹
导读:技术沙龙 | 邀您于8月25日与国美/AWS/转转三位专家共同探讨小程序电商实战 在Hadoop 1.0中,HDFS的单NameNode设计带来诸多问题,包括单点故障、内存受限制约集群扩展性和缺乏隔离机制(不同业务使用同一个NameNode导致业务相互影响)等。为了解决这些问题,Ha

HTTP和HTTPS地址(dfs.namenode.http-address和dfs.namenode.https-address)是可选参数,可以配置为类似于RPC地址。

  1. <property>  
  2. <name>dfs.namenode.http-address.ns1.nn1</name>  
  3. <value>node-1.example.com:50070</value>  
  4. </property>  
  5.  
  6. <property>  
  7. <name>dfs.namenode.https-address.ns1.nn1</name>  
  8. <value>node-1.example.com:50072</value>  
  9. </property>  
  10.  
  11. <property>  
  12. <name>dfs.namenode.http-address.ns1.nn2</name>  
  13. <value>node-2.example.com:50070</value>  
  14. </property> 
  15.  
  16. <property>  
  17. <name>dfs.namenode.https-address.ns1.nn2</name>  
  18. <value>node-2.example.com:50072</value>  
  19. </property> 
  20.  
  21. <property>  
  22. <name>dfs.namenode.http-address.ns2.nn3</name>  
  23. <value>node-3.example.com:50070</value>  
  24. </property> 
  25.  
  26. <property>  
  27. <name>dfs.namenode.http-address.ns2.nn4</name>  
  28. <value>node-4.example.com:50070</value>  
  29. </property> 

3.5 其他NAMESERVICE特定密钥

通过使用NameserviceID后缀键名,可以为每个名称服务配置以下键:

  1. dfs.namenode.keytab.file  
  2. dfs.namenode.name.dir  
  3. dfs.namenode.edits.dir  
  4. dfs.namenode.checkpoint.dir 
  5. dfs.namenode.checkpoint.edits.dir  
  6. dfs.secondary.namenode.keytab.file  
  7. dfs.namenode.backup.address 

4.集群设置

federated集群中的所有Namenode应具有相同的clusterID,应使用以下命令格式化一个namenode,选择唯一的clusterID,使其不与环境中的其他集群冲突。如果未提供clusterID,则会自动生成唯一ID。

  1. [hdfs]$ $HADOOP_HOME/bin/hdfs namenode -format [-clusterId ] 

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读