根据数据来源划分,大数据主要包括三类:商业运作产生的数据、人类行为产生的数据和机器数据。目前,人们谈论最多的是前两类数据的处理和分析。创立于2004年的Splunk公司独树一帜,从公司成立之初就一直专注于机器数据的处理和分析。Splunk公司产品营销副总裁SanjayMehta在接受本报记者采访时表示,机器大数据未来具有非常广阔的发展前景。
机器大数据有可为
何为机器数据?人们的每项活动都会在机器数据中留下痕迹,这些数据包含客户行为、使用事务处理、应用程序行为、服务水平等的明确记录,像人们非常熟悉的日志文件、传感器数据等都是机器数据。SanjayMehta表示:“机器生成的数据是发展最快、最复杂同时也是最宝贵的那部分大数据。但是现有的数据分析、管理和监控解决方案很少有为这类数据设计的。”
机器数据处理的难点在于以下三方面:机器数据来自于不同来源,而将这些不同来源关联起来十分复杂;机器数据主要是非结构化的,很难用预先定义的架构来处理;机器数据对实时处理的要求非常高。Splunk的产品被外界称为机器数据的引擎,它能够有效应对机器数据的种种挑战,收集非结构化的时间序列机器数据,并编制索引加以利用。SanjayMehta表示,Splunk可以读取人们能够想到的任何来源的数据,比如网络流量、Web服务器、自定义应用程序、应用程序服务器、虚拟机管理程序、GSP系统甚至股市源、社交媒体和结构化数据库的数据,并通过它们实时掌握业务状况,深入分析在整个IT系统和基础设施中发生了什么,从而做出正确决策。
增强hadoop的易用性
“我们的某些客户告诉我们,他们要使用Hadoop,希望以更低成本来存储数据。但问题是,如果想部署Hadoop并基于它获得更多价值并不是一件容易的事。部署Hadoop所花费的人力和服务可能是部署普通软件的20倍。如果想充分发挥Hadoop的作用,至少要将13个项目与Hadoop进行集成。另外很多客户反映,Hadoop平台上的数据量太大而无法随意迁移。”SanjayMehta表示,“2012年10月,我们推出了SplunkHadoopConnect,让用户可以简单、方便地在SplunkEnterprise和Hadoop之间转移数据。”
SplunkHadoopConnect打通了Hadoop与Splunk产品平台之间的传输通道,用户可以将Splunk平台上的数据传输到Hadoop平台上进行长期存储。Hadoop上的数据也可以实时地传输到Splunk上进行分析和可视化。
对于很多客户来说,最棘手的问题是Hadoop上的数据量太大,无法随意移动。
2013年6月22日,Splunk发布了Hunk测试版——SplunkAnalyticsforHadoop,它提供了针对Hadoop平台的互动数据探索分析和可视化功能,这为用户使用Hadoop平台提供了更多便利。
SplunkAnalyticsforHadoop是一个全功能的集成的产品,针对Hadoop上的数据在同一个平台上提供了互动的数据探索、分析和可视化三种必要的功能。“SplunkAnalyticsforHadoop为用户提供了一个简单、易用的界面,不仅专业人员可以使用,即使普通的管理人员也能使用它对数据进行访问和分析。以前可能要花几个月时间来了解和分析数据,现在使用SplunkAnalyticsforHadoop,可能只要一小时甚至几分钟。”SanjayMehta表示。
SplunkAnalyticsforHadoop是首个采用Splunk虚拟索引技术(正在申请专利)的产品。用户通过它可以无缝使用Splunk的所有技术,包括Splunk搜索处理语言(SPL)等。它可以实现互动地探索、分析和可视化存储在任何地方的数据,就像这些数据存储在SplunkIndex中一样。SanjayMehta介绍说:“未来,我们会把更多技术创新反馈给Hadoop社区。目前,我们正在邀请特定的用户参与Hunk的测试。”