人们常说的大数据真的好么？

现如今，每个公司都拥有大量数据可供使用，比如入侵检测系统日志、网络基础设施日志、服务器日志、应用程序日志等等。这些日志加起来，甚至可以达到PB级。然后当发现可疑事件时，威胁响应团队使用适当的工具，通过将高级数据分析技术应用于这些海量数据，对这些历史数据和实时数据进行查询、关联以及处理，以验证该事件是否危险并分析其危险程度。

然而，在现实世界中实现这一点说起来容易做起来真的很难。第一，一般公司使用安全信息和事件管理（SIEM）平台来管理所有这些数据。但是，这些管理SIEM平台中的很多都不是以大数据为基础构建的，所以对于各种设备产生PB级的日志数据，缺乏相应的处理大数据的计算能力来进行实时分析。第二，许多SIEM和安全分析工具都是在本地部署的。当数据呈数量级增长时，本地基础架构很难扩展。第三，大多数SIEM工具都会按照每GB处理的数据量向客户收费。这使得处理海量的数据成本高得令人难以置信。此外，大多数安全团队只能访问数周的历史数据，因为大规模存储和处理这些数据的成本也是昂贵的。但是，一旦事件发生，安全团队需要进行深入的历史分析，以充分调查攻击事件的有效性和影响度。这种数据处理成本限制了安全团队长时间实时的识别监测攻击事件的消息。最后一个常见的挑战是由SIEM工具产生的大量误报。由于在操作系统日志、云基础设施日志、入侵检测系统和其他监控设备每天捕获如此多的数据，很容易识别数百个可疑事件。许多事件并不能马上做出判断，需要依靠个人力量审查数百个警报，包括大量的误报，以确定每个威胁是否是真的。最终，不堪重负的安全团队将出现警报疲劳，忽略一些事件，然而那些事件可能实际上是真正威胁的事件。

所以，大数据时代真个好么？如果没有与之匹配的数据处理能力，大数据终将造成等量的威胁。还好的是，云计算的出现以及人工智能的发展或许在不久的未来可以使大数据能更好的为人类所用。