你好,游客 登录
背景:
阅读新闻

后数据库时代Hadoop无惧服务器损坏挑战

[日期:2013-04-22] 来源:  作者: [字体: ]

数据库,是按照数据结构来组织、存储和管理数据的仓库。二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。但是许多IT精英对他都颇有微辞,为什么?因为它产生于距今五十年前。

在信息大爆炸的时代下,你很难想象自己用的存储工具竟是发明于五十年前,许多IT业界人士的年龄无法与之相比。但如果我们抛弃数据库,又能有谁来肩负大任呢?hadoop也许是一个比较好的选择。

英特尔专家与主持人在访谈中

数据库难以应对大数据挑战

一个五十岁的人类已是人到中年,心有余而力不足,更何况五十年前发明的科技产品数据库。传统的数据库方案已很难应对新时代的大数据挑战。举例来说,过去我们在进行交通方案建设时候往往采用数据库分库方式完成,一个数据库完成为了应付违章车辆查询,一个数据库建设出来为了做碰撞分析,另外一个可能是用来做数据处理等分库方式建设,这种建设方式首先带来的问题是成本巨大,后期的维护成本也是巨大的,需要买很多小型机设备、存储设备进行扩容。

英特尔数据中心软件部大数据产品技术顾问黎超

其次是人为分库带来的问题是资源难以得到充分的利用。比如在白天的高峰时段,服务器可能就没有足够的CPU资源,没有足够的内存资源来支撑数据运转。但是我的另一条系统可能是处于闲置的状态,此时很难去把一条系统上的CPU和内存拔下来放在已经超过符合的服务器上。过了高峰时段之后,另外一条系统可能会非常忙碌,而白天处于超负荷状态下的一台服务器就等于闲置。这样的话就没有办法随着业务峰值的变化来实现资源动态的调整,在现实生活中经常会碰到类似问题。

第三个主要问题,这种分布方案带来的问题在智慧交通里更会体现出来,在智慧交通的系统中,除了传统的数据以外,会有大量的半结构化、非结构化的数据,这种混合存储需求。过去结构化数据都是存在数据库里,非结构化里主要存在存储,这两种信息一致性通常通过应用层进行保证,这种保证可能难免会出现一些问题,也就是我们通常说的数据一致性问题难以得到保障。

其次传统数据库也很难进行高并发的非结构化数据的接入。再次,带来了整合系统的复杂性,因为所有的这些系统,分库的方案里,所有这些数据之间并非说孤立的,它是存在这种连接关系的,这样的话我们需要在很多数据库之间做很多接口。当你的业务系统变化的时候,我们需要跟这种接口来进行相应的改造,带来我们说的代码的维护复杂性,而整个系统可靠性也会变的相对降低。

英特尔(中国)有限公司产品市场经理亢海峰

HADOOP,大数据时代中的存储专家

为了应对此种状况的发生,英特尔发行了Hadoop平台,来支撑用户在大数据方面的处理。比如我们的智慧交通里就广泛的应用Hadoop来帮助用户存储它的大数据,进行大数据的运算。

英特尔Hadoop跟传统的阿帕奇Hadoop相比自己的特色在几方面,总结下来就是第一,提供商业化的支持,提供相应的软件服务。其次根据我们传统行业客户的需求,在产品的性能上,稳定性上,可靠性上,易用性上做出比较多的改造。

具体在现实生活中里,英特尔Hadoop这种特性首先就是支持高并发的视频流的数据写入,在现实生活里有大量的卡口摄像设备。在前端通过我们的解码服务器进行分解码之后,数据会变成结构化的数据和原始非结构化的视频数据或者图片数据,这些数据需要快速的写入到后台的数据平台上,以供进行相应的分析,比如进行交通流量分析,车辆历史记录分析,进行实时的套牌分析。在这个过程中,原始图片保留是必须的,因为以现有的技术来讲,我们的业务发展很快,能提取的图片上的一些特征码是有限的,随着我们的技术发展,可能对原来的视频文件会提出更多有价值的丰富的信息去进行数据挖掘方面的支撑。

最重要的一点,在Hadoop使用上随时可以允许你的服务器出现损坏,而不会对你业务产生相应的影响。

(责任编辑:孙姗姗)





收藏 推荐 打印 | 录入: | 阅读:
相关新闻