端点安全CrowdStrike与评测机构NSS Labs之间的互撕，究竟错在谁？

下面要出场的主角分别是CrowdStrike与NSS Labs。CrowdStrike是一家美国端点安全公司，致力于APT防御，详情可参考FreeBuf之前的介绍；后者则是知名的独立安全研究与评测机构。按理说本应有所合作的两家在前不久却因一件小事争得不可开交，甚至闹上公堂，一切究竟是怎么回事？

这场口水战还要从半年前的一次产品测试说起。

始于合作

事实上这两家之前的确合作过。最初（2016年4月和8月）CrowdStrike曾委托NSS Lab对旗下产品做一次非公开的测试，但随后CrowdStrike对其测试手段表示不满，认为存在“严重缺陷”，并拒绝继续参与接下来的公开测试（2016年12月）。但事情并未到此结束，CrowdStrike的说法是：不久后NSS Labs又与某个经销商暗地里交易了一笔，搞到了CrowdStrike Falcon系列防护产品用来测试。发现这一行为的CrowdStrike立刻采取反制措施，禁止了该系产品的云服务并宣称NSS此后获得的一切测试结果都是“不完整”且“方式错误”的。

接下来事情愈演愈烈。今年2月10号，CrowdStrike起诉NSS Labs，申请临时限制令试图禁止其发布Falcon系列产品的测试结果。该申诉于13日被特拉华州地方法院驳回。这下似乎刺激了NSS Labs，他们直接在14日的高级端点防护测试（AEP）报告中公布了CrowdStrike不想看到的结果，结果如下图。

在互相伤害的过程中，两家的隔空喊话也没断过。由于事件双方各执一词，众多细节有待澄清，目前我们暂不判断是非对错，仅引用各方意见作为参考。

2月15日，CrowdStrike在其官方博客里解释了部分原因。其中涉及上诉的一部分是这样说的：

“我们认为NSS Labs涉嫌以不正当手段访问我们的软件，违反双方合约，盗版我们的软件以及进行不合理的安全测试。无论测试的结果如何（我们并没有去看），CrowdStrike都将与非法行为对抗到底。”

这里插一句，NSS Labs放出的AEP测试报告中涉及的几家企业结果分别为：Cylance（99.69%），SentinelOne（99.79%），Invincea（99.49%）和CrowdStrike（74.17%）。当然NSS Labs也承认如果测试过程完整的话，Falcon的评测结果可能有所不同。

NSS Labs的反击

酝酿了两周后，NSS Labs也给出了自己的回应，同样发布在自家博客上。文章的标题很有意思：“用户第一？”

NSS Labs创始人兼CEO，Vikram Phatak写道：“鉴于CrowdStrike在他们博客里的描述错的离谱，是时候听听我们这边的故事了。”

Phatak在文章中逐条反驳了CrowdStrike的说法。上文提到，CrowdStrike以测试过程不完整为由拒绝承认结果有效，对此Phatak解释说测试结果并不会因此而受到影响。“NSS只统计了完成测试的部分，CrowdStrike虽然中途关闭了云服务，但并不会导致我们给未经测试的部分打0分——我们不愿这样惩罚性的结果给大众带来误导。”

当然NSS Labs的反击还不止这点——他们还补充了一个情况：在CrowdStrike发觉并断开服务之前，Falcon就已经在测试中漏掉了若干次攻击行为，所以无论后面的测试是否完整，至少前面这些miss是肯定要作数的。

此外很多人关注的一点是CrowdStrike拒不接受公开测试的要求是否合理。对此，NSS Labs在博客里解释了双方协定的来龙去脉。除了NSS Labs在一开始就向厂商公开挑明的测试政策外，还着重注明了一点己方的态度：

“如果（厂商觉得）一个产品是合格的，可以面向市场，那就意味着它自然也可以接受测试（验证其功能）。”

不仅如此，NSS Lab还表示由于CrowdStrike的态度坚决，自己还尝试过购买其产品用于测试，同样吃了闭门羹，不过好在他们后来找到了一家愿意合作的企业共同购买了该产品。

意见不一

总的来说这还是一场不怎么体面的争吵，不过很能反映一个现状：产品测试带来的问题越来越多地困扰着新一代的端点防护公司。目前大众主要关注在两个点上：

1. 对先进端点防护产品进行相对公正的测试是否可以实现？ 2. 法律是否是阻止此类测试的有效手段？

对于第一条疑问，各种声音都有。其中持肯定态度的安全学者David Harley在他之前的一篇博文中详细介绍过，在此不多赘述。持否定态度的则有Vesselin Bontchev，他本人曾参与上世纪90年代汉堡大学杀毒软件测试项目。他认为就现在的发展来说，无论产品还是测试恐怕都不太够格。对于NSS Labs与CrowdStrike的撕逼：“到最后你很可能发现双方都有问题。一方指望着卖出跛脚的软件产品而不愿接受测试结果，另一方则使用不科学的测试手段还被人揪住了法律漏洞。”

但不得不说，直接动用法律手段未免显得过重了一些，双方的理解与合作或许才是最佳方案。Invincea的CEO，Anup Ghosh在与SecurityWeek的采访中表示他们对于自己产品在AEP测试中的表现感到“很激动”，但他们不会去评论竞争对手的表现。他认为厂商应尽可能选择信誉、资质优秀的评测机构并经常参与其中。“每家评测机构都有所长与所短，这就是为什么我们应该多方听取意见。”