你好,游客 登录
背景:
阅读新闻

Hadoop中的一些基本操作

[日期:2014-04-30] 来源:OSCHINA 博客  作者:KEVIN701 [字体: ]

    先粗略说一下“hadoop fs”和“hadoop dfs”的区别:fs是各比较抽象的层面,在分布式环境中,fs就是dfs,但在本地环境中,fs是local file system,这个时候dfs不可用。

1、列出HDFS文件:

1 hadoop fs –ls

 

    a) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容

    b) 如果要列出某个文件夹中的内容,则-ls后面跟该文件夹的路径,例如列出input中的内容:

1 hadoop fs –ls input

 

2、在HDFS中创建文件夹:

1 hadoop fs –mkdir 文件夹的名字

 

    例如:

1 hadoop fs –mkdir input

3、删除HDFS中的文件或文件夹

1 hadoop fs –rmr  文件夹名或者文件名

 

4、上传文件到HDFS:

1 hadoop fs –put ~/file test

 

    将本机中的file文件上传到HDFS上并重命名为test。

    如果要上传到某个文件夹中,则将test改为文件夹的地址,此时,上传的文件名称不会改变,例如将本地文件

夹test中的文件test1.txt,test2.txt,test3.txt上传到HDFS中的input中:

1 hadoop fs –put ~/test/test*.txt input

 

5、查看HDFS下的某个文件:

1  hadoop fs –cat 文件路径

 

    例如查看input中的test文件的内容:

1 hadoop fs –cat input/test

 

6、将HDFS中的文件复制到本地系统中:

1 hadoop fs –get HDFS中的文件名本地系统中的文件名 本地存放地址

 

    例如:将HDFS中的output文件复制到本地系统Documents文件夹中

1 hadoop fs –get output /home/kevin/Documents/

7、进入/退出安全模式

    有时,在hadoop启动时不能对文件系统进行如创建文件,删除文件之类的操作,此时,文件系统所处的状 态叫做安全模式,用途大家可以到网上搜一搜,笔者不在这里赘述(由于笔者属于初学者,HDFS上的东西还不多,节点也不多,所以笔者一般开启Hadoop后,不管有没有在安全模式,先输退出安全模式的命令)。

1 hadoop dfsadmin –safemode enter
2

hadoop dfsadmin –safemode leave

猜您喜欢:

  1.Hadoop读写文件时内部工作机制是怎样的?

  2.Hadoop与大数据不脱轨的十大秘诀

  3.基于Hadoop的大数据企业前十大集合

原文链接:http://my.oschina.net/kevin701/blog/228684





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款