现在,“大数据”这个概念在IT行业是越来越流行了。美国国家海洋与大气管理局NOAA利用“大数据”进行各种分析。《纽约时报》使用大数据对于新闻分析和WEB信息进行挖掘。迪斯尼则利用主题公园、商店以及WEB资产进行客户行为分析。
“大数据”不单单只是适用于大型的企业,而且还可以应用于各个不同规模的,不同杨业的企业。比如通过评估用户在网站上的浏览行为可以挖掘出他们需要什么样的需求,或者分析当天的天气以及其他条件对于送货的路线和时间上的安排。
hadoop基于海量大数据处理平台,可以为企业数据存储和挖掘出更有价值的信息。从技术的角度来看,Hadoop分布式文件系统可以让大数据能够安全可靠的进行存储,而从Hadoop另外一个核心组件MapReduce则提供了更加高性能并且大数据处理服务。这两项数据服务提供了一个使对结构化和复杂“大数据”的快速可靠处理分析成为了现实的基础。
Hadoop作为一种分布式的架构,可以让用户在不了解分布式底层细节的情况下进行分布式程序的开发。
关于Hadoop的价值,思科的领导人指出:“Hadoop可以说是不涉及任何现有专利的开源项目在企业软件方面所取得的首个里程碑式成功。”在业界,Hadoop也赢得“庞大数据问题的通用解决方案”的头衔。我们不得不说,Hadoop前途不可估量。
Hadoop目前已经正在迅速的成长,成为能够为首选、适用于非结构化数据的处理,为数据分析来带了很大的变化。通过数据挖掘机器可以产生非结构数据里丰富的信息,为企业做出更好的决策,降低成本,改善服务,促进企业收入。