结合CDN以及客户端慢速日志特征判断黑产

背景

随着网红主播，越来越受欢迎，产生了非常大的流量经济效应，因此引起了大量第三方黑产公司关注，为了提升主播热度和排名，出现了很多“机器粉丝”，扰乱直播平台运营，给主播和平台带来了非常大的经济损失。

涉及的直播平台有抖音，快手，斗鱼，虎牙，B站等直播平台，哪里能赚钱，哪里就有黑产的身影，通过逆向分析业务逻辑，了解指标含义，就能制定对应的黑产策略。

问题分析

客户端卡顿日志：

异常的客户端日志：

出现了平均播放时长为0的卡顿日志：

服务器端日志

上述这些日志上报的数据都是异常的，上报量还是挺多的，可以重点打击这些异常客户的播放行为。

根据客户端日志统计的弱网ip情况：

内部黑产库，来综合定位黑产信息：

通过cdn的日志，以及其它直播平台的特征分析，黑产的请求特征如下：

1、请求非常频繁。

2、为了省黑产成本，请求时间非常短，短时间拉高qps。

3、建立连接后，不收数据，只拉高在线人数，不产生流量。

4、设备持续充电。

5、设备在直播过程中，完全不会出现位置移动。

解决方案

方案架构

自建黑产库

黑产信息建立是一个长期积累和优化的过程，规则可以很复杂，也可以很简单，重点是黑产信息收集，黑产信息来源，可以是客户端播放日志，客户操作行为，cdn播放日志，以及其它产品收集的客户的行为分析。

直播客户端日志

客户端日志：

1、通过播放时长来判断

2、延迟时间

3、错误率

4、异常ip请求频率

客户端用户行为数据

可以通过端上收集客户使用app的行为，进行分析，判断是正常合法的客户，还是机器人，或者模拟器操作的。一般定时操作，都是脚本或者机器在操作的。

cdn播放日志

虽然客户端能收集到丰富观众的使用信息，但有些异常的请求，不是通过合法的客户端过来的，或者是脚本模拟的请求，这部分信息需要利用服务端信息进行补充。服务器作为网络连接另一端，有很多信息是客户端获取不到的，需要服务器端的日志，进行补充分析。

通过分析cdn的异常的日志，下面是其它直播平台的分析策略，通过断连接和发送超时的次数来判断，是否是黑产。

某直播平台的打击策略：

1、ip黑白名单，业务方负责ip名单的维护，平台方负责打击。

2、ua和referer信息，打击带特殊信息的请求。

3、区域控制，限制部分区域的访问。

其它业务

可以通过分析点播，静态，以及其他产品的上报数据，来收集黑产信息。

第三方黑产库

如果没有自己的黑产库，可以使用第三方的黑产库。

非IP规则

通过评估ua，referer等http头部进行打击，也可以通过设计复杂鉴权逻辑。

风险点

整个方案最关键的点，是怎样有效的提高打击的成功率，如果控制的不好，容易造成误判。

结论

整体思路是通过cdn和客户端的异常日志，来建立一个黑产特征库，对黑产的请求进行提前拒绝，避免经济损失。