技术干货丨如何抵御Bot自动化流量威胁
受全球疫情的影响，线上业务迎来爆发式的增长。随着企业逐渐将应用程序转移至云端，网络罪犯也纷纷转向，借助Bot自动化流量，黑客能够大幅增加其攻击的波及面和有效性。从恶意爬虫、虚假用户注册到业务交易欺诈，无处不在的自动化攻击考验着每个行业的业务安全水准。
面对非法爬取网络数据违法案例的逐年上升，恶意Bot攻击事件层出不穷，企业面临何种挑战？又该如何进行有效应对？8月25日-26日，由腾讯产业互联网学堂联合腾讯安全产品团队，重磅推出腾讯安全产业公开课Bot流量专场，由腾讯安全产品规划张殷、腾讯安全应用运维安全马子扬，以自己对Bot流量的充分理解与丰富实践经验，从Bot流量的发展现状、如何认识Bot流量、企业面临的威胁与挑战、以及Bot流量如何抵御等多个维度，探讨企业如何应对网络中的恶意Bot流量。
认识Bot自动化流量及威胁
Bot自动化流量的定义
使用自动化的程序，对网站发起的所有攻击，统称为自动化的流量。本质上Bot是一个具有自动化的优势，被操作者用来执行高度重复任务的一个工具。决定Bot好坏的其实不是Bot自身，而是Bot的意图。
Bot自动化流量认知的误区
目前，Bot防御体系呈现从基础防御延伸到场景防御的发展趋势。很多人听说过Bot，也听说过自动化威胁，实际上这些认知存在偏差：
一、认为Bot只是一种简单的自动化脚本，而非高度发展的新技术；
二、认为Bot只是个安全部门的问题，实际上却影响公司各个方面；
三、认为Bot幕后由某个黑客在操作，实际上也可能是商业组织（黑灰产）等；
四、认为Bot的目标只会针对知名商户，实际上中小企业更容易得手，概率是相同的；
五、认为部署WAF或NGFW等就不必担心Bot活动，然而Bot基于业务场景里的逻辑漏洞而不是Web漏洞，Bot模拟人的行为，传统安全手段几乎无法有效对抗。
Bot自动化流量的威胁
互联网上暴露的所有可以获取的信息、所有可以获取的数据，都可以成为Bot的目标。对一个网站而言，可能有主页、产品列表、登录的页面、购物车、付款手续等部分。每一部分都可能会被攻击者盯上。通过对某一部分独立的入侵，就能达到目的。
（Bot攻击链）
Bot自动化流量对抗阶段
对抗Bot自动化流量的过程，按照应对手段可分为五个阶段：
第一阶段，通过在网站上设定Robots.txt的方式，防止合法爬取演变为dos攻击；
第二阶段，根据IP或HTTP请求里的headers，进行访问控制列表；
第三阶段，根据IP情报再导入或UA版本，查看下载页面完整度；
第四阶段，识别真实浏览器；识别用户物理设备真假；分析终端行为是否人为操作；不同维度收集终端、机器特征，产生唯一性指纹；
第五阶段，利用机器学习的方式，通过大量数据、大量AI模型，识别更加复杂的模拟真人的行为，结合业务评估Bot的真实意图和风险可信度等。
腾讯T-Sec Web 应用防火墙
一站式Bot安全解决方案
Bot对抗场景解决方案
如今，Bot自动化流量的对抗已经从单点对抗进化到了安全情报+客户端安全+后端分析的多层次体系化防护。
安全情报方面，腾讯T-Sec Web应用防火墙（WAF）依托腾讯安全积累的安全产品和数据，目前拥有国内最完整的情报数据触点。通过这些数据，根据情报标签、置信度、时间、威胁等级等维度，与Web应用防火墙自身Bot IP识别模块结合，有效提升Bot IP的识别率，并大幅度降低误判概率。
客户端安全方面，Bot在不断演进的过程中，已经从开始的电脑端流量，就是浏览器流量，演化到了多端的流量，手机也成为常用的流量之一。Web应用防火墙客户端风险识别体系通过专家模型验证快速鉴别客户端风险。实现了假人假机、假人真机、真人真机的全面覆盖，全方位抵御设备的欺诈行为。通过客户端风险检测模块，可以解决账户盗用、薅羊毛、流量作弊、恶意养号、虚假注册、模拟登录以及DDoS攻击这些风险。
（通过专家模型验证快速鉴别客户端风险）
后端分析方面，通过多维度实时分析，连同威胁情报、统计分析和机器学习，对Bot进行分类。分类出如爬虫、污染、自动点击、假的搜索引擎爬虫、Botnet等恶意Bot，以及搜索引擎、合作伙伴、网站监控、情形校验、Feed等友好Bot。
Bot检测响应体系
通过上述三个方面，Web应用防火墙建立了Bot检测响应体系。包括专家威胁情报模型、客户端风险识别、Bot会话行为检测以及Bot AI动态模型。
（腾讯 T-Sec Web应用防火墙 Bot检测响应体系）
专家威胁情报模型。主要应对分布式Bot。依托腾讯安全在威胁情报上的每日万亿级别的数据积累，快速感知来源的威胁程度，实现快速打击来自代理/秒拨/灰黑产等威胁来源。
客户端风险识别。主要负责应对业务欺诈。通过接入SDK的方式，快速检测客户端当前的环境，通过动态验证及相关风控信息，保障接入均为可信客户。
Bot会话行为检测。主要针对拟真流量。通过分析连续的会话请求，智能分析 Bot的会话行为，发现可疑流量轨迹。
Bot的AI动态模型。主要应对高级持续Bot。通过AI 智能动态分析，根据当前网站业务流量的模式，自动化生成业务安全模型，自动调整对抗策略，持续性的对抗高级持续Bot。
打造Bot管理平台的核心层次
要打造一款优秀且高效的Bot管理平台，有四个核心层次非常关键：
一、动态识别。识别Bot流量并对Bot流量进行分类；
二、风险评估。结合安全情报，发现当前流量的风险等级，并且能够量化相关展示效果；
三、响应处置。具备非常灵活的处置措施，快速打击Bot侵害，拦截Bot流量。可使用大量精细化管理方案，处置特定类型Bot；
四、威胁建模。根据Bot特性进行威胁建模，并且保证建模持续可迭代、可升级。能够自动发现Bot的策略调整，并进行自动打击。
（Bot管理系统四个核心层次）
打造优秀的Bot解决方案
Web应用防火墙Bot管理平台通过标识所有流量，自动化分析、评估每个时间段流量的类型，以及流量对网站的影响。在判定恶意Bot之后，定性定量地给Bot评分，判断Bot的恶意程度以及对网站是否有侵害，并根据分数进行下一步操作。
比如能把某一个分数段的Bot对它进行一个拦截，或者对它进行一个人机识别。还可以实时监控当前时间点的Bot动作，看到Bot分布情况以及对Bot采取了多少操作。
Web应用防火墙打造的Bot解决方案，具有以下特质：
一、识别、已知和未知的Bot；
二、根据业务影响和检测方法，对Bot分类及定性定量；
三、为每个不同类型的Bot分配适当的管理策略；
四、使用大量精细化方法管理特定类型的Bot流量；
五、尽量减少源站服务器的负担以及对业务和IT的影响，避免客户服务资源被占用。
最近Web应用防火墙针对Bot管理进行了重大升级。整合1000多个Bot库和威胁情报库，有效识别恶意Bot；采用Bot前端对抗技术，无感识别真假浏览器访问；推出全新体检报告式报表，可精细化到全流量日志，简单易懂，让恶意流量无所遁形；更新AI算法，覆盖从低到高的Bot攻击防御手段。
随着恶意Bot事件层出不穷，企业的关键在线业务系统逻辑越来越复杂，其安全措施很难覆盖到全业务层面。攻击者的入侵手段和意图产生了变化，从传统的网站扫描、渗透，演变成利用业务逻辑的漏洞，直接去拉取敏感数据，攻击手法越来越隐秘。此外，在线业务开展方式的多元化，如Web浏览器、APP、H5、小程序、API等，也暴露了更大的攻击面。
腾讯Web应用防火墙通过分析Bot管理典型场景进行层级划分，不同阶段采用不同的处置策略进行爬虫和防刷对抗；同时针对Web端、移动端、API采取不同处理策略，有效区分友好Bot及恶意Bot，打造一站式Bot解决方案，实现恶意Bot防护。
点击阅读原文，观看Bot自动化流量公开课完整版内容。
扫码加入腾讯云学习交流群
或添加小助手微信：Tcloudedu777
学习了解更多业内精彩资讯