研究人员发现新式鱼叉式钓鱼检测方法,获FaceBook价值10万美元的互联网防御奖

近日,加利福尼亚大学伯克利分校以及劳伦斯伯克利国家实验室的一组研究人员获得 Facebook 本年度价值 10 万美元的“互联网防御奖金”,他们的主要贡献是研究发现了一种新的在密切监测的企业网络中检测鱼叉式钓鱼的方法。这个研究小组有五名成员,专注于研究鱼叉式钓鱼攻击的检测方法。

Facebook 官方获奖合影(别问我,我也不知道第五个人在哪)

这五名成员分别是:来自加利福尼亚大学伯克利分校的 Grant Ho, Mobin Javed 和 David Wagner;来自劳伦斯伯克利国家实验室的 Aashish Sharma 以及来自加利福尼亚大学伯克利分校国际计算机研究所的 Vern Paxson。

DAS 检测系统

本周在加拿大温哥华举行的 USENIX 安全会议上,该研究小组公布了其研究成果。研究论文名为”Detecting Credential Spearphishing in Enterprise Settings“ (检测企业网络中有凭证的鱼叉式钓鱼攻击)。

在论文中,研究人员表示:为了解决之前的钓鱼检测中出现的误报率高、训练模型小、分类不平衡等问题,他们在研究中首先针对鱼叉式钓鱼攻击的基础特征进行分析,总结出成功的鱼叉式钓鱼攻击在不同阶段的特征。然后引入只需未标注分类的数据即可训练的 DSA (定向异常得分)系统。与普通的异常检测系统相比,DSA 的数量级数据处理能力是一项优势。将鱼叉式钓鱼攻击的特征与 DSA 的大量数据分析处理相结合,就能得到鱼叉式钓鱼攻击的实时检测工具。

他们让 DAS 系统分析了某个拥有几千名员工的大公司在 2013 年 3 月到 2017 年 1 月之间往来的 3.7 亿多封邮件以及相关的 HTTP 日志,用作对 DAS 的训练。

接受训练后,DAS 系统中配置了一系列评估指标,用于评估最新接收到的邮件。

第一阶段的评估指标包括:发件人域名信誉得分、发件人信誉得分。其中,域名信誉指标的评估需要分析邮件中的链接,确认其是否含有风险。如果同一个公司内访问某 URL 的员工数量不多,或者之前没有任何人访问、近期才有访问记录,那么这个 URL 就被判定为含有风险。而发件人信誉指标则是为了确认“From”栏中的发件人姓名是否有欺诈性、识别出一个之前没有被发现的并利用伪造的已知或权威企业的名称或邮箱地址的攻击者、识别可疑邮件内容(涉及账户和登录凭证的内容,或者标明为紧急的内容等)。

一旦发件人和 URL 的信息被搜集完毕,DSA 系统就会评估并确认是否发出警报。DSA 会根据邮件的可疑程度把所有事件分级,并在分级之后将最高层级的事件筛选出来,向安全团队发出警告。

此外,DSA 还会分析 SMTP、NIDS 和 LDAP 日志;检测来自新 IP 的登录情况、每位员工的总登录情况、不活跃的时段等。

DAS 对这些指标进行评估后,就能检测出欺诈性网址、欺诈性发件人姓名,甚至检测出被攻击的账户对同事带来的侧面攻击。

高检测率、低误报率是 DAS 的主要突破

该小组的研究人员表示:

之前的钓鱼检测方法主要遇到的挑战有两点:一是发件人历史记录很少,二是标题混乱不利于分析。这两点导致普通钓鱼攻击检测方法的误报率达到 1% 甚至更高。这意味着,如果使用普通检测方法,训练数据的 3.7 亿邮件中将会有 3700 万邮件遭到误报,这无疑大大增加了分析人员的工作量

而在研究中,DAS 能检测出19 封攻击邮件中的 17 封(6 起已知且成功的鱼叉式钓鱼攻击;9 起未成功的鱼叉式钓鱼攻击和 2 起成功但之前没出现过的攻击)。研究员还表示,DSA 系统的平均误报率降低到了 0.004%,比之前的研究结果低了近 200 倍。

在训练中,DSA 平均每天发布的警报低于 10 个;借助 DSA,一名分析员可以在 15 分钟内处理完之前 1 个月才能完成的工作。具体到所使用的公司数据表明,该公司平均每天接收到 263086 封邮件。这意味着,如果使用了 DAS 系统进行邮件检测,事件响应小组平均每天只需要人工检测 10.5 封邮件(263086 * 0.004% ≈ 10.52)。省下来的时间可以去处理其他工作。

Facebook 表示,之所以将今年的互联网防御奖颁发给 DAS 研究小组,原因之一就是其超低的误报率。另一个原因则是鱼叉式钓鱼攻击(例如 DNC 攻击、OPM 攻击等)已成为如今网络攻击的主要根源,而 DAS 系统可以有效监测出鱼叉式钓鱼攻击。

下文是 Facebook 颁奖给 DAS 研究小组的完整原因:

首先,在近些年中,成功的鱼叉式钓鱼攻击造成许多重大信息泄露事件。当人们加强了技术方面的检测和预防能力之后,人为因素就成了更重要的入侵环节。帮助人们避免社会工程学攻击变得愈发重要。这个研究有助于减少未来发生的鱼叉式钓鱼攻击。其次,作者称承认并解释了其检测机制中的误报成本,这一点十分重要,因为对于应急响应团队而言,误报成本算是间接成本,关系到响应时间。

互联网防御奖荣誉提名

除了 DAS 系统外,今年还有其他两个在 USENIX 上公布的项目入围 Facebook 的互联网防御奖。

一、 “DR. CHECKER: A Soundy Analysis for Linux Kernel Drivers“ ( DR. CHECKER: 针对 Linux 内核驱动的有效分析系统” )这项研究详细描述了现有的一种静态分析技术,可以找出 Linux 内核驱动中的大量漏洞。

二、”Oscar: A Practical Page-Permissions-Based Scheme for Thwarting Dangling Pointers“ (Oscar:实用的基于页面许可的悬空指针阻挠机制)这项研究详细描述了阻止特定低级代码类别漏洞的方法。

2016 年的 Facebook 互联网防御奖 10 万美元奖金花落名为“Post-quantum Key Exchange—A New Hope”(后量子密钥交换——一种新希望)的研究。这项研究主要讲述提升 TSL 中的后量子加密保护。目前,谷歌 Chrome 已经采用了这项研究成果,Tor 浏览器也计划支持这个项目成果。

原文发布于微信公众号 - FreeBuf(freebuf)

原文发表时间:2017-08-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DT数据侠

一场危险的手机WiFi连接数据“试验”:世界之大,你无所遁形!

人人“机不离手”的这个时代,你能想象下一旦没了WiFi世界会怎样吗?WiFi使用越来越普遍,基于WiFi使用相关的数据研究也多了起来。

990
来自专栏大数据挖掘DT机器学习

Microsoft 时序算法——结果预算+下期彩票预测篇)

前言 本篇我们将总结的算法为Microsoft时序算法的结果预测值,是上一篇文章Microsoft时序算法的一个总结,上一篇我们已经基于微软案例数据库的销售历史...

6396
来自专栏安恒信息

解析阻止机器学习的十种网络攻击

即使是瑟曦.兰尼斯特的阴谋诡计或者乔拉.莫尔蒙爵士父亲般的保护(译注:两者都是HBO剧集《权力的游戏》中的人物)也无法阻止攻击者攻破HBO的网络并窃取了1.5T...

2967
来自专栏腾讯数据中心

变频冷机在超低负载下如何安全又节能运行?

使用变频冷机是为了节能,节能的前提是“冷机处于非满载工况下运行”。但如果当冷机负载太低(低于30%以下),冷机不仅无法有效节能,甚至不能正常工作——此时冷机会反...

2722
来自专栏花叔的专栏

为了研究一笔画完,结果做出了个游戏

某天,我看到流行的、一笔画完类型的小游戏,于是就在那想,这种游戏的关卡构建是不是都是人工构建的,还是说程序可以随机生成。

3621
来自专栏新智元

留住老照片,谷歌用AI帮纽约时报讲了500万个故事

纸质老照片记录下了当时的珍贵时刻,其中的历史意义也更为重要,但纸质极容易损坏,人类该怎么保存它们,让它们恒久远永流传?

1124
来自专栏吾真本

致想给遗留系统写自动化单元测试的开发团队——事件风暴之父的工作坊实录之二:软件开发设计

一家大型企业的关键业务代码已经年久失修成为了难以维护的遗留代码,有着硅谷高科技企业软件开发管理经验的高管决定在企业内部搞编写单元测试和重构的极限编程实践。这需要...

813
来自专栏企鹅号快讯

CNKI实用技能50例

《CNKI实用技能50例》由上海知网编制,以情景带入与问题导向的方式、简单易懂的原则进行编制,适合所有对CNKI有需求的读者。1-10例请点:收藏版 CNKI...

1925
来自专栏FreeBuf

这下好了,家里的智能灯泡都会泄露数据了

近日,来自国外的研究人员提出了一种新的技术,可以从智能灯泡获取用户的数据。举个例子,研究人员能够从远处记录智能灯泡的亮度模式来获取用户的偏好。

853
来自专栏腾讯研究院的专栏

深度链接行为入罪化问题

深度链接行为入罪化问题 王冠  上海市静安区人民检察院        链接是通过计算机资源定位技术,在两个不同的文档或同一文档的不同部分建立联系,使访...

20410

扫码关注云+社区