你好,游客 登录
背景:
阅读新闻

领先Google 150年的数据可视化及WhatsApp架构解析

[日期:2014-03-03] 来源:CSDN  作者: [字体: ]

  大数据这一近年来才流行起来的技术,看似十分深奥,但是早在150年前人们就开始使用大数据分析赶走霍乱,利用“小猎犬号”超级计算机来基因测序解决了很多医学上的难题;不顾谷歌CEO阻拦,Facebook最终以190亿美元的天价收购了WhatsApp,Facebook真正看重还是WhatsApp会成为下一个10亿用户应用,IBM出手收购NoSQL数据库公司Cloudant……

  1. 领先Google 150年的数据可视化和“不务正业”的超级计算机

  谷歌应用数据分析流感疫情堪称经典,然而早在150年前,既有数据分析赶走霍乱的先例。Farr和Snow对霍乱有着完全不同的两套理论,而且证明的方法也完全不一样。Farr是一个沉迷于数据的统计学家,其大量的图表文档表明了霍乱和海拔有联系(他认为是瘴气的原因)。Snow是一名医生,他把注意力放在病人身上,其观察显示霍乱从胃部进入人体,这让他相信是摄取食物或水的问题,最后他把问题指向了公共水源。

  基因科学其实也不仅是医学问题,超级计算机“小猎犬号”的加入让基因问题变成一个个“大数据”。这台超级计算机被命名为“小猎犬号”(很容易让人联想到达尔文在1831年那次着名的科学之旅),安置在伊利诺伊州Argonne国家实验室的理论与计算科学大厦,“小猎犬号”可应用于生物医学研究领域的计算、仿真和数据分析。

  该团队指出,生产DNA序列成本的降低使整个基因组测序进度加快。但由于一次分析好几个基因组需要很大的计算量,这又带来了“计算瓶颈”的问题。而有了超级计算机以后不用再局限于一次只能观察一个基因组,它可以同时处理多个基因组。

  2. 支撑4.5亿活跃用户的WhatsApp架构概览

  不顾谷歌CEO阻拦,WhatsApp最终以190亿美元的价格花落Facebook。能获如此天价与其月4.5亿的活跃用户是分不开的,同样不可或缺的还有支撑每日数百亿消息的高可靠架构。

  硬件:标准的面向用户服务器:

  Dual Westmere Hex-core(24个逻辑CPU)

  100 GB RAM、SSD

  Dual NIC(公共面向用户的网络、私有的后端 /分布)

  产品

  聚焦消息传递。连接来自世界各地的用户,忽视他们的地理位置,无需支付高额费用,创始人Jan Koum还经常提起1992年在世界各地与家里人联系是多么的难。

  隐私。由Jan Koum制定,消息不会在服务器上储存,聊天记录也不会储存,目的就是不去了解用户隐私。不会保存用户姓名及性别,聊天记录只存储在电话上。

  架构的其它详细信息请关注原文。

  准确的说,190亿美元收购WhatsApp是为了它的4.5亿用户,为了它的日百万用户增加,为了它可能会有10亿用户的潜能——Facebook需要WhatsApp成为下一个10亿用户应用,当然只能成为它的一部分。同时,40美元一个用户的价格也并不离谱,特别是以股票充当大部分金额。Facebook曾今使用  30美元每用户的价格收购了Instagram,而  Twitter的每个用户更值110美元。

  3. 当DDoS跨入400Gbps时代,那些来自孩子们的攻击该如何应对!

  从2013年3月的300Gbps到2014年2月的400Gbps,DDoS攻击以惊人的速度进入200-400Gbps时代;然而通过KrebsOnSecurity了解到,在DDoS服务租赁者中存在大量的年轻人,他们期望通过破坏别人的网站或服务以炫耀自己,而KrebsOnSecurity在这周也受到一位15岁男孩的攻击,他称自己为“Mr. Booter Master”。而通过KrebsOnSecurity网站选择的安全公司Prolexic Technologies得知,就是这个15岁的孩子发起了一个接近200Gbps的攻击。

  通过该安全公司还得知,这次攻击仅仅持续了10分钟左右,与其说是破坏不如说是演习和验证。通过知情人士还得知,攻击者的目的在于通过这种方式向Darkode论坛管理员证明他可以为社区贡献更多:类似“Mr. Booter Master”这个年龄段的攻击者还有很多,他们通过各种各样的方式证明自己的实力,但是无可否认的是他们的目的只有一个——为了娱乐!

  从Arbor Networks得知,2013年NTP攻击得到了长足的发展,DDoS攻击已经步入200-400Gbps时代。需要注意的是,这点并不仅限于欧美等国家—— 2014春节期间,阿里云曾遭遇一场160Gbit/s DDoS攻击,虽然官方公布了这场博弈的结果,但是如果下方回帖网友使用的也是阿里云服务的话,情况似乎并不乐观。同时,不可否认的是,在200-400Gbps DDoS攻击数量级下,国内的防范之路还有很长一段要走。

  4. 不差钱:30+收购案,170亿美元投资,IBM再度出手收购Cloudant

  北京时间2月25消息:IBM宣布收购数据库即服务(DBaaS)供应商Cloudant,预计Cloudant的收购将在2014年第一季度完成。Cloudant一共只有大约60名员工,但却拥有2500多家客户,其中包括一些非常着名的公司比如三星、Adobe和诺基亚等。

  此次收购案有助于夯实IBM在云计算领域的基础,但是Cloudant没有被直接投资者Rackspace收购的确让很多人大为不解,IBM的此番收购正好赶上Rackspace前CEO辞职不久,时间非常敏感。

  这笔收购标志着IBM继续投资云计算和大数据。除了研究和开发的投资,公司在这个领域投资已经超过170亿美元,完成30个以上的收购。最初160亿美元是2015年的目标,公司已将预算提高到200亿美元。

  IBM试图通过收购Cloudant利用全球移动设备用户。世界各地的移动电话用户每天产生5PB的数据,用户可以轻松地利用网络和设备访问这些数据,Cloudant帮助创建这些可扩展的应用程序

  5. 英特尔至强E7 v2处理器:2倍性能提升,3倍内存容量,4倍I/O带宽

  重塑数据中心一直是英特尔在服务器领域的远大目标,2014 年2月25日,为了进一步推动关键业务、数据分析等技术应用创新,英特尔在北京举办了主题为“洞察先机极智领航” 英特尔至强处理器 E7 v2产品发布会。

  本次发布会上,英特尔针对该创新产品在数据分析领域中的应用价值进行了详细解析。与RISC架构相比,英特尔至强E7 v2处理器能够将性能提升多至80%,并可将4年总体拥有成本降低80% 。此外,与前一代产品相比,E7 v2的性能、内存容量支持、 I/O 带宽及关键业务可靠性等方面都取得了重大突破:平均性能提升至2倍、3倍于上一代产品的内存容量支持、 高级RAS特性大幅度提升系统连续运行时间和可靠性。未来,全球各地的 21 家系统制造商,预计将会推出超过 40 个基于英特尔强至处理器 E7 v2 产品家族的平台。

  6. AT&T联手IBM对抗AllSeen:“晚点和堵车”将成历史

  电信巨头AT&T和IBM正在共同努力,利用物联网大潮,计划从城市和公用事业开始发力。AT&T拥有全球通信网,蓝色巨人拥有强大的软件技术来分析和可视化大量来自不同地方的传感器数据,当然它无与伦比的硬件技术也可以用来处理这些信息。

  如果现在哪天上班不堵车,可能还真觉得不正常,你能想象在北京这样的大城市不堵车是什么情形吗?没有什么是做不到的,AT&T和IBM在物联网领域展开合作,并直接以城市的公用事业为发力点,打造智慧城市。此前IBM已经在都柏林和爱尔兰测试了公交车的准点到达技术,并取得不错的效果。

  AllSeen Alliance项目以开源项目 AllJoyn 为基础,后者首先由高通发起,其目标是让各种各样的设备、应用及服务都能通过各种在线或离线渠道(如WiFi、电线或以太网)进行连接。AllJoyn 不需要互联网连接,且设计为跨操作系统及平台连接。基于AllJoyn 框架的直接对等交互可极大丰富用户体验,用户将可以在目前享受到的基于云服务基础上进一步享受到附近物联网的好处。

  7. 轻松搞定TB级数据,开源GraphLab突破人类图计算“极限值”

  近日一家新公司的成立大大推动了开源项目GraphLab的发展,该公司由GraphLab的开发者组成,筹集资金为图数据集开发分析工具。GraphLab公司也将继续使用开源GraphLab“突破图计算的极限,努力创新”。 由于SFrames类似于Pandas(PyData)和R数据架构,数据科学家可以非常方便快速地使用它们,提高工作效率。

  GraphLab的SFrame是一种趣味十足而低调神秘的工具,首次在Strata Santa Clara被揭开面纱。它基于磁盘,并通过二维表形式将GraphLab扩展到了表格数据。通过添加SFrame,用户可以利用GraphLab中许多处理图或表中数据的算法。更重要的是SFrame增加了GraphLab数据科学工作流的覆盖范围:它允许用户直接使用GraphLab对TB大小的数据集进行数据清洁或者创建新的功能,SFrame性能可以通过增加内核实现线性扩展。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款