2013年中国hadoop高峰论坛,继10月底Hadoop技术领域最大的公司美国Cloudera公司宣布和DataBricks合作,提供Apache Spark计算框架的技术支持之后,本地大数据平台软件公司星环信息科技(上海)有限公司(以下简称“星环科技”)率先在国内推出一款大数据平台产品Transwarp Data Hub,融合Apache Spark和Apache Hadoop 2.0,提供全面本地化的技术支持。
“由于移动互联网和互联设备的发展,企业数据每年成倍的增长,所以Hadoop技术从一开始就受到广泛的关注,”星环科技联合创始人,CTO孙元浩表示,“大型企业和政府机构纷纷尝试使用Hadoop来解决大量复杂数据的存储和查询问题,同时寻求更好性价比的软硬件组合。Apache Hadoop作为一个分布式计算框架和存储引擎极好的满足了这一方面的需求。可以说Hadoop具备成为未来企业数据的“操作系统”或“Data Hub”的条件。而同时企业原有的众多基于SQL开发的应用和复杂的数据集也对Hadoop及其周围软件提出了更大的挑战”
大数据平台软件需要同时支持海量数据存储和高速分析能力
大数据的四大特征——海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。
目前,HDFS加Map Reduce的组合很好的解决了海量数据规模和多样的数据类型的问题,但在对高速的数据查询需求、不同数据规模的场景下对应用的灵活支持还有很大的提升空间。Apache Spark作为下一代Map/Reduce计算框架,充分利用了内存加速,很好的解决了交互式查询和迭代式机器学习的效率问题。Transwarp Data Hub通过对Apache Spark和Apache Hadoop2.0的支持,使用优化内存处理技术,能10x/100x级别的提升Hadoop平台的性能。
对多种应用场景和数据压力的支持
同时通过对新的框架的整合和优化处理技术,Transwarp Data Hub扩大了Hadoop的应用领域和处理不同数据压力的能力,适合处理从GB到PB级别的数据。目前适用于离线分析,统计/挖掘;在线的存储和OLAP系统;以及在线的基于内存的高速分析。
“Apache Hadoop的广泛使用还需要和传统数据处理工具的整合,才能给解决方案供应商,应用开发商提供方便,形成更完整的体系,使用户受益。”孙元浩还表示:“所以我们在开发Transwarp Data Hub同时,就寻求和更多的数据处理和分析工具厂商合作和整合。目前已经和Revolution R,Informatica,Tableau实现了对接。
“Transwarp Data Hub已经在一些重点的客户领域进行测试和使用,已经有十几个软件和硬件合作伙伴,我们希望通过我们的技术创新能获得更多的客户。”
与国内ISV,方案商全面合作
在市场方面,星环科技推出合作伙伴支持计划,真诚希望与各行业的ISV、系统集成商、Hadoop服务商展开深入、双赢、长期的合作. 希望产品能为合作伙伴带来新的大数据商机,新的客户,和丰厚长期的回报。这次推出的本土合作伙伴计划,提出了9条具体的对合作伙伴的支持方案。
IT168的企业级总编洪钊峰主持了发布会以及现场的嘉宾互动环节,星环科技的战略合作伙伴Revolution R 亚太区总经理Laurence Liew、DataBricks初创员工、Spark核心成员Reynold Xin、BDAS Tachyon作者李浩源博士、恒为总经理沈振宇、Informatica大中华区首席架构师但彬齐聚一堂,与大家分享了他们对大数据时代机遇和挑战以及产业未来发展的看法。
在谈到跟星环科技的合作时,DataBricks 初创员工,Spark核心成员辛湜(Reynold Xin)介绍道: “星环公司专注Spark技术的研发,是AMP Lab以及Databricks在国内的技术合作伙伴,大家一起为Spark技术的发展贡献力量。”