根据ESG研究公司表示，44%的大型企业(即拥有超过1000名员工的企业)认为其安全数据收集和分析是“大数据”应用，而另外44%认为其安全数据收集和分析将会在未来2年内成为“大数据”应用。此外，86%的企业正在收集比两年前“更多”或“略多”的安全数据。
这种增长趋势非常明显，大型企业正在收集、处理和保存越来越多的数据用于分析，他们使用来自IBM、Lancope、LogRhythm、Raytheon、RSA Security和Splunk等供应商的工具和服务从数据中获取可操作情报用于风险管理和事故预防/检测/响应。
最近，笔者与安全专家以及供应商围绕大数据安全分析进行了很多探讨，这些讨论往往专注于分析应用程序方面。有时候这些讨论会围绕于安全分析基础设施，例如hadoop、HDFS、Pig和Mahout，有时候则围绕UI、可视化分析、应用程序整合等。
每个人都对大数据安全分析应用程序感兴趣，但几乎没有人会问大数据安全分析所需要的IT基础设施基础。其结果是，很多企业会受到打击，他们甚至无法收集他们想要分析的安全数据。
收集和处理千兆或兆兆字节的安全数据需要对大数据安全分析管道进行一些规划和部署，包括如下：
· 数据包捕捉设备。这些设备包括来自Cavium、Emulex和Solarflare等供应商的高性能智能NIC卡，磁盘驱动器，以及来自Wireshark等供应商的PCAP软件，它们整合在一起作为数据包捕捉设备。这些设备需要足够快以捕捉和处理数据包，用于分析引擎的分类。PCAP硬件设备将出现在整个网络的关键连接点，而虚拟PCAP设备能够支持服务器虚拟化和云计算[注]平台。
· 分析分布网络。数据包捕捉设备收集和处理数据，但数据仍然需要接近实时地在多个分析引擎移动。这正是分析分布网络的工作，这种系统包括来自Anue、 Apcon、BitTap、Gigamon、Netscout和Riverbed等供应商的设备。在某些情况下，分析分布网络将补充数据包捕捉设备，在其他情况下，分析分布网络将提供轻量级PCAP功能。(请注意，用来描述这个的行业术语是“网络数据包代理设备”，但笔者认为这太以设备为中心，所以换了名称。)
· SDN。SDN可编程控制平面很可能会成为穷人的分析分布网络，但SDN不会很快就抢占分配网络设备的地位。SDN将会成为分析基础设施的一部分，补充PCAP和分析分布网络功能。SDN和分析分布网络整合给网络数据捕捉和分析引擎带来了强大的连接性。
· 分析中间件。在很多情况下，每个分析工具收集、处理和路由其自己的数据。虽然这是可行的，但这带来了很大的冗余性、资本成本和运营开销。这里需要的是某种类型的基于标准的中间件，以进行消息队列或发布和订阅。例如，RSA Security公司使用开源RabiitMQ作为其分析引擎之间的中间件。
从架构的角度来看，企业可以采用分层的方法来部署大数据安全分析，其中分析引擎从管道中抽象出来，但可以很容易地用来定制化安全数据收集、处理和分布。这能让首席信息官[注]、首席信息安全官和网络工程师来调整期基础设施、流程和分析引擎，满足其具体的企业和行业要求，以及管理资本和运营成本。
这里有一个很明确的教训：你不能通过简单地连接每个分析引擎到span端口来收集、处理和路由安全数据。为了避免这种情况，首席信息官、首席信息安全官和网络工程师需要通过适当的管道为大数据安全分析调整其计划。
