Hadoop，请离SQL近些

大数据对各个行业也不是新鲜概念，关系型数据库的十多年发展，各行各业已经积累了大量的技术人员。

而大量的关系型数据，已经使用传统的Oracle、Mysql比较难以使用，需要借助类似hadoop这样的处理框架对大量关系型数据进行处理。

hadoop对于国内目前的开发人员仍然存在比较大的技术难度，而SQL方式则被大家所期待，目前国外已经有大量SQL ON Hadoop的开源产品在发布或孵化，这次主要介绍的也是Apache开源组织孵化的产品Tajo。

Tajo 是一个分布式数据仓库系统，基于 Hadoop 实现，特点是低延迟、高可伸缩，提供专用查询和 ETL 工具

特点：

• 可伸缩性和低延迟

  • 完全分布式的 SQL 查询处理，基于存储雨 HDFS 的大数据集

  • 超低响应时间（约100毫秒），在合理数据范围内的简单查询

• 支持长时间运行的查询

  • 容错支持，避免某些任务失败后的查询重启

  • 动态调度，处理和异构集群节点故障

• ETL

  • ETL 可实现不同数据格式之间的转换

  • 支持多种文件格式，如 CSV、RCFile 和 RowFile

• 扩展性

  • 支持用户自定义函数

  • 提供自定义文件格式的 Scanner/Appender 接口

• 兼容性

  • 遵循 ANSI/ISO SQL 标准，非标准方面遵循 PostgreSQL 规范

  • 支持 HiveQL 模式

  • 在 HCatalog 和 Hive MetaStore 实现表访问

  • 支持 JDBC 驱动

• 简单

  • 提供交互式 Shell 来提交 SQL 查询到 Tajo 集群

  • 提供备份和恢复工具

  • 异步/同步 Java API 来提交 SQL 查询到 Tajo 集群