你好,游客 登录
背景:
阅读新闻

Hadoop发展历程以及配套项目

[日期:2014-03-27] 来源:云导  作者: [字体: ]

 

Hadoop

  hadoop发展历程是怎样的呢?

  Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。

  Hadoop最初只与网页索引有关,迅速发展成为分析大数据的领先平台。Cloudera是一家企业软件公司,该公司在2008年开始提供基于Hadoop的软件和服务。

  GoGrid是一家云计算基础设施公司,在2012年,该公司与Cloudera合作加速了企业采纳基于Hadoop应用的步伐。Dataguise公司是一家数据安全公司,同样在2012年该公司推出了一款针对Hadoop的数据保护和风险评估。

  Apache Hadoop配套项目

  Apache软件基金会维护着Hadoop的几个配套项目:

  ·Apache Cassandra是一款为大数据量场景设计的数据库管理系统。它的关键特性是容错、扩容、Hadoop集成性和复制支持。

  ·Hbase是非关系型的支持容错的分布式数据库,专为存储大量稀疏数据而设计。

  ·Hive是为Hadoop设计的数据仓库系统,支持简单数据汇总。

  ·Apache Pig由创建数据分析程序的高级语言组成,还包括评估那些应用程序的基础。

  ·Apache ZooKeeper是用于分布式应用的一款集中服务。它维护配置信息,并提供命名注册、分布式同步和组服务。

  ·Chukwa是一个数据收集系统,可以监控大型分布式系统,包括分析结果的一个工具包。

  ·Apache Mahout项目的目的是生成丰富的实现,在Hadoop平台,可扩展的机器学习算法。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款