你好,游客 登录
背景:
阅读新闻

中交兴路系统架构师杨晓明:Hadoop+Storm+ HBase…,打造交通行业创新型服务

[日期:2014-03-25] 来源:CSDN  作者:陈秋歌 [字体: ]

  出租车、公交车、客运班车、重型货车……,营运车辆在城市交通中占据着重要的地位,与人们生活乃至社会发展有着重要关系。构建信息化平台,对营运车辆进行监控与管理,规范车辆行为,建立良好营运秩序,已成为智能交通建设中不可或取的一部分。

  “交通部全国货运监管服务平台”是北京中交兴路信息科技有限公司(以下简称”中交兴路“)所开发的重要产品之一,致力于对全国货运车辆进行监控、管理及信息交互,在充分运营的情况下,每秒将产生数十万的平均访问量乃至每日上百TB的数据。正是凭借常年在交通领域内的专注与行业知识的积累,及持续接纳新兴技术的勇气,该公司在业内已产生了自己独有的竞争力。近日,CSDN有幸采访了中交兴路系统架构师杨晓明,请他分享中交兴路对云计算、大数据等新技术的探索与尝试,及相关项目研发经验。

Hadoop,HBase

  CSDN:请简单介绍一下您的从业经历,重点参与的项目或产品有哪些?

  杨晓明:我2003年开始全职从事软件研发工作,2007年后一直担任架构师的工作。曾参与民航航空安全管理信息系统、民航总局运行管理中心、中国空中交通流量预测系统、交通部全国货运监管服务平台、雅迅车联网系统、浪淘金全媒体推荐引擎、位客网、分分网、简单网等包括政府平台、SNS系统及电子商务平台的开发和架构工作。

  CSDN:您主要关注哪些技术领域?

  杨晓明:长期关注新兴技术,现阶段主要研究可应用于交通领域的高并发、大数据及数据挖掘相关技术。

  致力于交通信息化  以营运车辆监控与管理为业务主旨

  CSDN:请介绍一下贵公司所专注的领域,相对于业内同类公司,贵公司的核心竞争力是什么?

  杨晓明:我们公司(北京中交兴路信息科技有限公司)一直致力于交通信息化领域的技术研发、解决方案提供。公司的核心竞争力在于常年在交通领域内的专注与行业知识的积累,以及持续接纳新兴技术的勇气。同时,作为交通部智能交通行业研发中心,政府的支持和一些国际一流IT公司的帮助也使我们公司在业内更加具有竞争力。

  CSDN:请列举贵公司的1至2拳头产品。该产品在产品设计、技术实现上有哪些创新之处?

  杨晓明:我们公司目前最重要的产品是交通部全国货运监管服务平台,这是国务院文件规定的全国性公共平台,是准公益性平台。该平台的目标是实现全国货运车辆的数据汇总、信息交互。由于该平台在充分运营后,将会有每秒数十万的平均访问量和每日上百TB的数据,因此在技术实现方面会有很大的挑战性。为了实现这样的任务目标,我们现在是采用业界主流的大数据技术进行设计开发的,下一步我们将会把互联网界成熟的高并发、大数据量技术在我们的平台中进行更为深入的运用。

  依托大数据、开源等技术,更多产品设想走进现实

  CSDN:贵公司的研发团队组织架构及分工是如何的?对研发投入主要集中在哪些方面?能不能谈些具体的做法。

  杨晓明:我们公司研发团队设立于公司CTO领导的研发中心内。包括技术研发部、技术管理部和测试部三个部门。研发的投入包括正常的员工薪酬、硬件采购、职业技术培训等方面。

  CSDN:如何看待以云计算、大数据及移动为代表的新技术给该领域带来的冲击,贵公司在产品(技术)上如何与之结合?

  杨晓明:多年前,我们从事交通数据相关技术工作的同仁们,一直为数据源长期处于移动状态,并持续产生大量数据的问题的解决方案而煞费苦心。如今云计算、大数据与移动互联网技术为我们处理之前的难题提供了可行、可靠、成本相对低廉的实施手段。目前我们公司通过使用hadoop、HBase、Lucene、Redis、Storm等技术已经解决了在处理海量车辆报文数据方面之前采用传统数据库技术很难解决的问题,通过这些新技术的使用,我们可以提供很多交通行业的新型服务,而这些服务在前些年都只能存在于产品经理的想象之中。

  CSDN:贵公司在产品研发过程中,都使用了哪些第三方服务、技术?

  杨晓明:除了上一问题中提到的技术,我们还运用了大量的开源技术,如Linux、Java、MySql、Tomcat、ActiveMQ、MongoDB等。

  重视技术发展潮流,稳抓实打才是互联网研发成功之道

  CSDN:您所经手的最难忘(或者令您最恶心)的项目或产品是哪一次?能否具体谈一下。

  杨晓明:我所经历的最难忘的项目是在浪淘金公司时的全媒体推荐引擎平台。这是由Google中国的前任技术总监周杰带领团队开发的一个在当时很具有创新性和技术深度的互联网广告平台。团队中有多半成员来自百度、腾讯、淘宝、新浪、搜狗等大型互联网公司,大家提供了很多独具创造性的思想和很有前瞻性的技术,后来构建了以机器学习技术为核心的一个包含多项技术、多种语言、日PV超过10亿的大型推荐引擎平台。和一群优秀的同事从事一项很有挑战性的工作是一段非常有乐趣的回忆。

  CSDN:您所遇到的最变态的客户需求有哪些?能否具体谈一下。

  杨晓明:我所遇到的最糟糕的需求是在位客网项目(2010年时开发的一个类似微信的软件)中,迫于一些压力在需求还未完全确定、用户群还未产生,就开始按照千万级用户的容量进行设计和开发。由于当时还未掌握Hadoop和HBase的技术,采用的是Mysql垂直分区和水平分区的技术进行开发,再融合了地理信息技术,这导致每一个功能的实现都会很复杂。在这种条件下,每一次需求的变更,都会造成大量的代码修改,令开发人员苦不堪言,也导致开发周期不断延迟。而平台的需求方在选型时着力于当时很有影响力的MTK平台,而忽视了正处于起步阶段的Android和iOS平台,这直接导致了产品问世后很快就遭遇Android和iOS的冲击而迅速被淘汰。那次失败的经验尤其让我认识到研发互联网服务不能设想一步登天,必须脚踏实地逐步完善。如果违背软件研发的规律,无视技术发展的潮流,必定会品尝随之而来的苦果的。

  CSDN:贵公司的主要合作伙伴有哪些?通过哪些模式来合作。

  杨晓明:公司的合作伙伴包括科研院所和IT公司的技术合作,合作方式主要是技术成果共享,购买技术支持等方式。商务合作伙伴包括全国各地的众多物流公司(见 http://www.sinoiov.com/fwwl.html),合作模式主要是盈利分成。

  业内对车联网认识不足,无可用参考模型成主要发展桎梏

  CSDN:在您看来,现阶段研发该领域产品的痛点是什么?

  杨晓明:现在的痛点主要在于开源软件在交通行业的运用没有太多可用的参考模型,还需要不断的摸索和尝试,在下一步的研发工作中肯定还会遇到各种很难找到现有解决方案的问题,我们也会投入更多的研发力量来进行处理。

  CSDN:贵公司目前在发展过程中遇到哪些困境?你们是怎么解决的?

  杨晓明:现阶段研发团队遇到的主要困难是技术业内不了解车联网(其实我们是一个与移动互联网非常接近的行业),在吸引人才方面与互联网公司相比总是不占优势。我们目前是通过加强参加各种技术交流活动和内部培训学习的方法来弥补这个问题的。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款