你好,游客 登录
背景:
阅读新闻

Hadoop参考设计的实现及性能:Hadoop性能初步测试

[日期:2014-07-02] 来源:风信网  作者:末信 [字体: ]

  Name Node/Second Name Node 规格(共两台服务器):

  

Hadoop参考设计的实现及性能:Hadoop性能初步测试

  DataNode/TaskTracker 规格:

  

Hadoop参考设计的实现及性能:Hadoop性能初步测试

  机柜规格:

  

Hadoop参考设计的实现及性能:Hadoop性能初步测试

  hadoop 性能初步测试

  基于上述所建立的Hadoop集群,使用标准测试组件进行方案验证,并使用Hadoop性能标杆套件HiBench进行性能测试。

  nnbench

  测试目的:对NameNode的硬件及配置进行负载测试。

  参数设置:

  maps = 12

  reduces = 6

  测试命令

  在hadoop安装目录(一般为/usr/lib/hadoop/)下输入:

  [root@hadoop3 hadoop]# hadoop jar hadoop-test-1.0.3-Intel.jar nnbench -operation create_write -maps 12 -reduces 6 -blockSize 1 -bytesToWrite 0 numberOfFiles 1000 -r eplicationFactorPerFile 3 -readFileAfterOpen true

  测试通过准则:

  在命令执行过程中没有报错。

  Sort

  测试目的:测试整个MapReduce系统的性能。

  参数设置:

  测试命令:

  第一步在一个目录中生成随机数据:

  hadoop jar hadoop-examples-1.0.3-Intel.jar randomwriter random-data

  第二步调用排序程序:

  hadoop jar hadoop-examples-1.0.3-Intel.jar sort random-data sorted-data

  第三步检查第二步输出的结果已被正常排序:

  hadoop jar hadoop-test-1.0.3-Intel.jar testmapredsort -sortInput random-data -sortOutput sorted-data

  测试通过准则:

  在第三步执行完后输出:

  SUCCESS! Validated the MapReduce framework's 'sort' successfully.

  TestDFSIO

  测试目的:测试HDFS的I/O性能。系统使用MapReduce同时读写文件。

  参数设置:

  nrFiles: 10

  fileSize: 1000

  测试命令:

  hadoop jar hadoop-test-1.0.3-Intel.jar TestDFSIO -write -nrFiles 10 -fileSiz e 1000

  测试结束后会输出以下结果:

  ----- TestDFSIO----- : write

  Da te & time: Thu Ma y 09 03:01:56 CST 2013

  Number o f files: 10

  Total MBytes processed: 10000

  Thr oughput mb/sec: 92.87206872533086

  Average IO rate mb/sec: 98.6314926147461

  IO rate std deviation: 23.668972646690577

  Test exec time sec: 47.991





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款