你好,游客 登录
背景:
阅读新闻

Splunk Hunk 6.1可存取Hadoop与NoSQL的大资料

[日期:2014-05-30] 来源:ITHOME  作者: [字体: ]

  新增对于多种NoSQL资料库的存取能力,并提供报表加速与互动式的仪表板介面:

  针对蓬勃发展的大资料应用环境,Splunk推出了专属的整合式资料分析产品Hunk,别名Splunk Analytics for hadoop and NoSQL Data Stores,顾名思义,它能够将Hadoop及NoSQL资料库内的非结构、塬始资料,快速、简易地转化为可辅助商业决策的资讯,提供搜寻、分析的机制与视觉化的处理能力,如此一来,能提升相关资讯回报速度,大幅缩短通报时间,此外,系统也提供互动式仪表板的操作介面,使用者可从中自行执行分析功能,而不需为此搬动资料或将资料纲要(schema)固定之后,才能开始作业。

  Hunk目前支援的Hadoop环境,主要是Apache Hadoop与主要的Hadoop版本,包括第一代MapReduce和YARN,而对于NoSQL与其他资料来源,目前支援了Apache Accumulo、Apache Cassandra、Couchbase、MongoDB与Neo4j。

  在今年5月所推出的Hunk 6.1最新版,裡面也针对Hadoop与NoSQL应用而新增了多种功能。例如加入了新的虚拟索引技术Splunk Virtual Index,所以,Hunk能够藉此拆开资料存取及分析层与储存层之间的相依性,方便Hunk将资料存取需求导引至各个资料库;另一个重点是可加速统计分析报表产生,当中将Hadoop的搜寻结果以透明化方式做成快取,因此改善了报表回应时间与效能,而且不用事先搬移资料就能做到,而有了这项机制,也可提升运用Hadoop资源的效率,无惧于资料成长与查询次数增加的应用趋势。

  新版Hunk提供的互动式操作仪表板与图表,也值得一提。这个仪表板提供了新的介面编辑器,使用者可以根据自己想要的项目,快速建立仪表板,而图表也提供层叠式呈现风格、平移-缩放的控制项与仪表板内的下钻式操作(drill down),互动性大幅提升。而且,这些统计分析的图表与仪表板,还可嵌入到第叁方商用软体裡面。

  对于非结构资料的处理,Hunk除了增强对于Hadoop与NoSQL资料的支援,也跨足到多种格式的档案内容存取,6.1版支援自动存取纯文字档、连续档、RCFile(Record Columnar Files,Apache Hive储存资料所採用的格式)、ORC(Optimized Row Columnar,Apache Hive储存资料所採用的格式)档案,以及Parquet档(Hadoop环境採用的栏式资料储存格式)

  6.1版Hunk在安全性也有所强化。它加入了直通式(Pass-through)的身分认证机制,当系统要提交MapReduce的工作与存取Hadoop丛集时,使用者可直接用IT部门所认可的帐号身分与角色来登入,以提升整体资料存取的安全防护。

  在程式开发环境的辅助上,Hunk也提供许多丰富的机制,让开发人员能够运用他们所熟悉的程式语言及框架,在採用Hadoop分散式档案系统(HDFS)的储存环境,以及NoSQL资料库当中,将资料与相关存取功能整合到企业级的大资料应用系统。

  Hunk的这些机制,包括了标準化的网页框架、整合相关文件的REST API、Eclipse外挂程式,以及适用C#、Java、JavaScript、Python、PHP、Ruby的软体开发套件。透过透过JavaScript、Django、Python等通用的程式语言,开发者也可以在Hunk上结合自定仪表板、使用介面元件与资料视觉化机制,建立专属的应用系统。

  Hunk提供互动式仪表板与图表,使用者可运用编辑工具建立自己想要仪表板,提升分析体验。

  Splunk在新版Hunk上加入报表加速器的功能,可将搜寻结果储存起来作为快取,这裡可以预先设定内容摘要涵盖的时间範围,这可以有效改善报表查询速度,以因应资料量与查询量的成长。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款