微软已经和戴尔、惠普展开合作,开发将硬件和软件技术整合到数据仓库平台的SQL Server 2012数据仓库一体机。每一个一体机都包含存储、管理数据、能够交付高性能查询过程和分析的必要组件。它们不仅包含综合系统需要的服务器、内存、存储和网络硬件,也预安装了运行所有与系统操作和数据操作相关的软件。此外,这些一体机都会在配置和测试完成之后交付给用户。
SQL Server 2012并行数据仓库一体机
戴尔和惠普都推出了基于并行数据仓库(Parallel Data Warehouse, PDW)的SQL Server 2012数据仓库一体机。PDW是一个专门针对硬件一体机设计的大规模并行处理(Massively Parallel Processing, MPP)数据仓库平台。凭借自身横向扩展架构和几PB容量, MPP可以将计算操作分布并行分配到多个物理节点上,从而支持高级查询复杂度和并发性。每一个节点都运行着自己的SQL Server实例,并且有独立配置的CPU、内存和存储,从而实现最大性能。
微软并行数据仓库
SQL Server 2012 PDW还带有最新版本的xVelocity内存内分析引擎。它与SQL Server 2008 R2的列存储索引有所不同,该引擎支持优化内存使用的列存储索引,可以集群和升级。列存储索引以列(Columnar)格式将数据存储在内存中,同时使用了最先进的压缩技术。因此,数据更容易访问,而且有更多的数据保存在内存中,从而可以实现远远高于传统索引的性能。
SQL Server 2012 PDW还包含PolyBase,这是一种新的查询技术,它同时支持关系数据库和hadoop集群查询数据。Hadoop是一个使用廉价硬件来存储和处理大规模非结构化数据的框架。过去,如果整合结构化和非结构化数据,我们必须先执行MapReduce查询,从Hadoop集群查询数据,然后再将这些数据整合到关系数据库系统中。然而,PolyBase可接受标准T-SQL语句,既可以查询关系数据库的数据,也可以查询Hadoop集群的数据。此外,PolyBase还允许微软Excel等客户端工具连接PDW和查询Hadoop数据。
SQL Server 2012数据仓库一体机运行的是Windows Server 2012,因此它们可以使用两个重要的Windows特性:Hyper-V和Storage Spaces。Hyper-V是一种虚拟化技术,有了它就不需要PDW早期版本中出现的一体机控制台,因此可以降低硬件规模,从而降低成本。Storage Spaces可以将一组磁盘组合成为一个虚拟磁盘,这样就可以更好地优化硬件使用,也能降低成本。
惠普在自己的AppSystem for Microsoft SQL Server 2012 并行数据仓库一体机上支持PDW,它的另一个名称是惠普企业数据仓库一体机(HP Enterprise Data Warehouse Appliance)。这个一体机基于HP ProLiant Gen8服务器(DL300系列)和HP D6000直连存储。一个完整的机架包含8个活跃(主动)节点和两个被动节点,最多支持1PB数据量。然而,这个一体机支持在多个机架上运行最多64个节点。如果初始数据量小于一整个机架的容量,那么先使用一个四分之一机架系统(两个活跃节点和两个被动节点),然后根据需要增加节点。这种四分之一机架最多支持210TB的数据量。无论从哪一种规模的机架开始,这个一体机都可以配置微软和惠普的管理软件,并且带有一个协同支持模型。
戴尔的PDW一体机叫戴尔并行数据仓库(Dell Parallel Data Warehouse),它基于支持Energy Smart技术的第12代PowerEdge R620服务器。此外,这个一体机也使用了Dell PowerVault阵列,它提供高密度存储和高级冗余服务。每一个机架支持3、6或9个节点。3个节点配置的入门机架单元可以在多个1TB磁盘上存储最多113TB的数据,如果升级到2TB或3TB磁盘,就可以将容量翻两倍或三倍。一个完整机架(9个节点)可以提供最多1.2PB的可用存储容量。而且,我们可以将6个机架串联在一起,增加计算和存储资源。一体机主要由微软PDW支持,需要时戴尔也能参与协作。
戴尔Quickstart数据仓库一体机
有些组织并不需要PDW一体机这样强大的处理能力,他们可以考虑戴尔的Quickstart数据仓库一体机,它也支持SQL Server 2012。与PDW一体机类似,Quickstart是一个开箱即用的系统,这包含所有必要的硬件和软件,而且都是预安装或预配置的。此外,组织还可以享受培训服务和为期12个月的戴尔支持。
Quickstart一体机包含一个戴尔第12代PowerEdge服务器,它有一个四核英特尔至强处理器,96GB内存和26块硬盘。其中两块硬盘运行Windows Server R2,两块作为热备件,而剩余22块则作为数据存储和管理磁盘。这个一体机最多可存储5TB的压缩数据。
这个服务器配置了OEM版本的SQL Server 2012——SQL Server Data Warehouse Appliance Edition(SQL Server数据仓库一体机版本)。这个一体机版本是SQL Server企业版的缩减版,但是保留了重要的数据仓库特性,其中包括表分区、xVelocity引擎、远程BLOB存储(Remote BLOB Storage, RBS),并且集成了微软商业智能工具,如Excel。此外,这个数据库引擎还对数据仓库查询性能和数据压缩进行了优化。
Quickstart一体机以快速跟踪数据仓库(Fast Track Data Warehouse)参考架构(RA)为基础。RA提供了详细的创建SQL Server 2012数据仓库步骤指南。它不仅说明了如何购买和组装硬件,也说明了如何安装软件以及如何配置特定设置。通过使用RA来创建一体机,戴尔通过在一体机搭建中部署RA,使用符合行业标准的、经过测试的最佳实践,成功交付了硬件和软件彼此平衡的结构。
此外,戴尔还给Quickstart一体机提供了Boomi为期一年的许可证。Boomi能提供数据集成服务,它可以从各种生产应用提取数据,其中包括本地数据存储、软件即服务(SaaS)平台和基于云的资源。通过使用Boomi,我们就可以得到一个集中的Web管理端,而且完全不需要配置额外的硬件或软件。
SQL Server数据仓库
创建一个有效的SQL Server 2012数据仓库平台并不是一件小事。我们需要先规划好硬件和软件需求,然后再购买所需要的组件。硬件不仅包括服务器和数据存储,也包括交换机、布线及其他网络组件。在软件方面,我们还需要Windows Server、SQL Server及所有必要的管理软件。这种系统需要大量的资源才能实现。只有在正确的环境下,一体机才可能成为一个在长期而言具有成本效益的策略,特别是在建设自有系统还需要人力资源投入的时候。如果企业希望尽可能快速、方便和高效地实现一个SQL Server数据仓库时,那么就可以考虑采购微软的数据仓库一体机。