你好,游客 登录
背景:
阅读新闻

Hadoop全分布模式操作

[日期:2014-05-09] 来源:csdn博客  作者:王路情 [字体: ]

  

  摘要:介绍hadoop全分布模式操作,实现真正意义上的集群架构。

  关键词:Hadoop 全分布模式 文件配置

  利用Hadoop解决大数据问题时,我们是用全分布模式来操作Hadoop。

  如何基于全分布模式来操作Hadoop,构建Hadoop集群呢?具体步骤如下。

  第一步:配置hosts文件。

  执行命令: vi /etc/hosts,修改所有的节点,使得彼此之间都能把主机名解析为ip,即实现主机名与ip的绑定。

  第二步:建立Hadoop运行账号

  在所有节点上都建立运行Hadoop的账号,建议不要使用root账号,因为其权限最大,有时会带来意想不到的麻烦。

  第三步:配置ssh,实现免密码登录

  针对每个节点都要进行相同操作

  首先,检查是否安装了ssh

  依次执行命令:which ssh

  which sshd

  which ssh-keygen

  其次,生成ssh密钥对

  执行命令: ssh-keygen -r rsa

  最后,分发ssh公钥

  把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中

  第四步:下载并解压Hadoop安装包

  第五步:配置namenode,修改hdfs-site.xml文件

  第六步:配置hadoop-env.sh

  说明:以上三步配置可以参照伪分布模式操作Hadoop的配置

  第七步:配置masters和slaves文件

  第八步:向各节点复制Hadoop

  第九步:格式化namenode,启动Hadoop

  鉴于作者实验环境和资源有限,目前是基于伪分布模式操作Hadoop。因此,上述关于Hadoop全分布模式的操作,作者目前还没有试验过,仅是通过查阅相关文档和资料,进行的一个步骤归总。若有问题或不足,欢迎读者指正。

原文链接:http://blog.csdn.net/wangloveall/article/details/20767161





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (1)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款
第 1 楼
* 匿名 发表于 2014/5/14 18:08:38
误导人啊