加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

干货分享:Hadoop学习系列一之环境搭建

发布时间:2018-08-14 11:31:16 所属栏目:教程 来源:定西
导读:【资讯】Hadoop学习系列一:环境搭建。为了学习HBase,跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了,废话不多说了,开搞。 一. 安装虚拟机 相比VMware,Vritual Box是免费的,因此这里采用Virtual Box。首先在virtualbox官网的

  浏览器打开http://192.168.56.100:50070:

  Hadoop学习系列一:环境搭建

  可以看到Live Nodes是3,说明由node1管理的3个节点在运行中

  在namenode上使用slaves文件启动datanode

  其实可以直接在namenode上启动datanode,但要确保datanode上的hadoop路径与namenode上的一致,而且需要datanode配置了上一篇文章中提到的core-site.xml。在etc/hadoop/slaves中添加所有的datanode节点:

  node2 node3 node4

  使用下列命令启动整个集群:

  start-dfs.sh

  运行完成后,发现datanode也都启动了

  在namenode上免密启动datanode

  虽然上面通过slaves文件已经可以启动整个集群了,但是在连接每个datanode时都需要输入密码,很不方便。

  到root用户的.ssh下:

  cd /root/.ssh

  生成密钥对:

  ssh-keygen -t rsa

  将密钥对拷贝到所有node中:

  ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id node3 ssh-copy-id node4

  接下来,启动和结束hdfs时不需要再输入密码

  hdfs的使用

  使用hadoop fs或hdfs dfs可查看帮助

  将文件1.txt保存到hdfs根目录下:

  hadoop fs -put ./1.txt /

  查看hdfs根目录文件:

  hadoop fs -ls /

  命令和linux下命令很像

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读