专栏首页腾讯防水墙苹果修改IDFA协定 史塔克军团称凛冬将至(上)

苹果修改IDFA协定 史塔克军团称凛冬将至(上)

用科技守护信息安全,打击互联网黑色产业链,从来不是一件容易的事情。

近几天发生了一件震惊整个互联网广告界的大事,苹果于去年发布的IOS14操作系统中限制IDFA获取的规则即将正式施行。苹果公司《用户隐私和数据使用》规定,从IOS14.5,iPadOS14.5和AppletvOS14.5开始,App需要通过App Tracking Transparency框架征得用户许可,然后才能跟踪用户或访问其设备的广告标识符(IDFA)。

在此之前,用户的广告跟踪功能处于默认打开的状态,关闭选项时需要手动操作。而在2020年6月,苹果公司在全球开发者大会上表示,分享功能将由默认开启状态变为默认关闭,开发者想要获得用户的IDFA,需要明确向用户弹窗示意并请求许可,否则商家所获得的的将是一串无效的0值。

对普通苹果产品用户而言,这是保护个人隐私的重大进步,但对于在看不见的地方默默守护着网络洁净、信息安全的网络安全工程师而言却是一次严重的误伤。Winter is coming.凛冬将至,史塔克军团却在长夜失去了刺中黑产的匕首。

一、对互联网广告行业的影响

QuestMobile数据显示,2019年,中国互联网广告市场规模为4699.9亿元,预计到2022年,该市场规模将达到6535.1亿元。其中移动互联网广告占比接近90%,未来随着5G商业化应用的发展与落地,移动互联网市场仍将保持高速增长。

此外,QuestMobile的数据表明,截至2020年6月,中国大陆地区使用苹果终端的用户占比为所有智能终端品牌活跃设备的26.3%。而第三方数据公司Appsflyer表示,大约只有30%的用户在自主选择时会同意APP开发者继续获取IDFA。一旦广告归因分析的重要数据——IDFA被禁用,那么广告的精准投放将会受到极大的影响。

由此可以推测,该项协定将给中国移动互联网广告市场带来巨额损失。

二、对广告反欺诈工作的影响

1、互联网广告黑产概述

苹果修改IDFA协定对互联网广告行业的另一个深远影响在于,给安全工程师进行广告反欺诈工作带来的极大的困难。

据悉,互联网广告行业中充斥的大量的异常流量。第三方数据公司秒针的数据显示,以2019年为例,互联网广告市场的异常流量占比高达31.9%,造成的直接损失约300亿元。以行业为例,网络及通讯、房地产和家装家具行业的广告异常流量都超过了35%,而其他大多数行业的异常流量也都超过了30%。

根据中国广告协会的标准,异常流量可以分为常规无效流量(GIVT)和复杂无效流量(SIVT)。常规无效流量是指能够通过应用多种名单或标准化参数等常规方式进行过滤的流量。复杂无效流量是指无法通过简单的规则识别出来,一般需要通过高级分析,多方合作与协调,乃至人工干预等方法以及广告投放活动以外更大范围的数据信号才能分析和识别的流量。

通常人们所熟知的电商平台刷单、刷信誉,自媒体行业刷粉丝,APP刷下载、激活,广告行业刷曝光、刷点击等都可以产生异常流量。流量作弊的方法一般可分为机器作弊和人为作弊。机器作弊包括机器发送虚假流量、肉机访问网页、修改DNS/IP访问页面以及爬虫技术访问页面等,人为作弊即使用真人大量点击广告、下载APP等。这里我们重点讨论机器作弊产生的异常流量。

2、黑产如何修改IDFA非法获利

黑产能够修改IDFA非法获利,在于每一台设备可以无限改机。通过改机非法获利,需要完成以下几步:1、修改包含内存信息、Wi-Fi、IP、IDFA信息等;2、研究广告主、广告平台的监测方式;3、了解广告主、广告平台的风控行为,使原设备成为一台被正常用户使用的新设备。

互联网广告行业黑色产业链团伙常常拥有专业的破解技术团队、成熟的黑产设备、黑产账户供应体系以及很强的伪造能力,若破解其作案手法,难度非常大。

然而,苹果公司此次修改IDFA协定并未给黑产非法作案带来过多的影响。黑产利用无限改机进行引流、刷量、薅羊毛等行为时需要修改多个用户信息,而不只限于IDFA,作案难度与此前相似。

3、广告反欺诈工作流程

而对于从事打击黑产的安全人员来说,此次苹果修改IDFA协定最大的影响在于,定位具体设备的难度陡然增加。

识别黑产团伙通常需要以下流程:

以IOS系统为例具体说明。从苹果设备中可以获取到通用的包括用户行为在内的IDFA,并将其上传到后台进行分析,通过匹配这些IDFA的历史行为来判断流量,若流量正常,则判断为正常用户,若发现为无效流量或者疑似无效流量,则判断为非正常用户或黑产团伙。但如果IDFA无法获取,则需要在APP中嵌入SDK、JavaScript(JS)等代码,识别过程更加复杂。

以常用在APP广告检测和验证的SDK模式为例。

在APP中嵌入SDK代码,收集到广告相关参数并上传到后台,分析判断用户是否正常。

在整个工作流程里,识别用户的IDFA是业内通用的重要判断依据之一,是对付恶势力的龙晶匕首。只有精准定位产生异常流量的来源,才有将其一网打尽的可能。

三、CAID设备标识替代方案

虽然腾讯、阿里巴巴、字节跳动等皆有专属的设备识别方案,但互相无法通用。由此可见,推出一个业界普遍认同的设备标识方案势在必行。

事实上,中国已在2020年作出了尝试。中国广告协会与中国信息通信研究院联合研究机构以及广告产业链多方推出了CAID(CAA Advertising ID,中国广告协会互联网广告标识)以替代IDFA,并于2021年初开始测试。

CAID工作原理如下:

CAID在一定时间内具有唯一性。因为在阶段时间内,同一设备的标识ID保持一致,不同设备的标识ID不同,而CAID算法会遵循保密原则,以及为了确保匿名性和对抗性, CAID还会定期更新。

然而,CAID标识符的唯一性与苹果公司的《Apple Developer Program》许可协议相违背,即应用程序不能使用任何永久的、基于设备的标识符或从中派生的任何数据来唯一标识设备。从目前苹果对使用CAID的应用程序下架处理、对相关厂商发出警告信等一系列动作来看,苹果态度明朗坚决,明令禁止任何追踪用户设备的数据源。

苹果公司对其生态体系内的APP具有一票否决权,因此任何想要绕过ATT自行建立设备标识体系的行为风险极大。

The night is dark and full of terrors. 长夜漫漫,处处险恶,总有黑产团伙在虚拟世界里掘金敛财。“科技向善”是史塔克军团守卫的临冬城,是抵御恶势力的的第一道防线。探索定位与打击黑产的新方式,保护信息安全需要整个互联网行业的努力与担当。

事实上,苹果修改IDFA协定,对Facebook等互联网巨头同样带来了深刻的影响,Facebook广告联盟因此受到了重创。那么互联网行业内的重要参与者们如何应对这一变动呢?下篇为您揭晓答案。

感谢安迪、艾瑞(均为化名)对本文的技术支持。

微信扫一扫 关注该公众号

本文分享自微信公众号 - 腾讯防水墙(tencent_fsq),作者:小海伦

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-04-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 苹果修改IDFA协定 史塔克军团称凛冬将至 (下)

    “凛冬将至”,这是目前广告反欺诈行业的现状,也是史塔克家族的族语。苹果修改IDFA协定,对一些中小公司而言无异于雪上加霜,因为广告流量作弊更加难以识别,导致中...

    腾讯防水墙
  • 精品教学案例 | 权利的游戏:战争数据分析

    本案例适合作为大数据专业Pandas数据分析课程的配套教学案例。通过本案例,能够达到以下教学效果:

    数据酷客
  • 事关财富密码,字节和腾讯会向苹果低头吗?

    这个一直在坊间流传着的选择题,再一次被拉到了台面上讨论。说起来也颇有意思,国民级社交应用、现象级短视频App是软件提供商,而手机行业巨头苹果则是硬件提供商,在业...

    用户2908108
  • 基于Apple IDFA的开源项目——SimulateIDFA

    什么是设备ID 设备ID是一个统称,只要符合设备ID这几个特点的设备参数都可以当做设备ID用,它的特点有三个: 唯一,只标记一部设备; 稳定,今天拿到设备ID是...

    CSDN技术头条
  • 维基解密创始人阿桑奇被捕:“天才黑客”到“阶下之囚”

    4月11日,阿桑奇被拖出伦敦厄瓜多尔大使馆,在隐匿了7年后, 被英国警方逮捕,被拖出大使馆时还高喊“RESIST!”。

    大数据文摘
  • 15张珍贵照片,带你回溯个人计算机的发展史

    个人计算机诞生于 20 世纪 70 年代,到今天也不过短短 50 多年历史。但追本溯源,不是应该回溯到第二次世界大战时期的巨型计算机,而是应该回到 19 世纪的...

    统计学家
  • 权力的游戏花式死亡图鉴

    《复仇者联盟4》已经上映,正在世界各地不断打破票房记录;而 HBO 的《权力的游戏》也迎来了最终季,即将和观众告别。

    华章科技
  • 苹果IDFA新政落地,谁是大赢家?

    这事情有没有赢家?接着这个系列的上一篇文章,我想继续讨论这个新的话题。在上一篇文章中,我介绍了没有IDFA的世界中,数字营销会是什么样子。这一篇我们一边分析谁是...

    iCDO互联网数据官
  • 国外疫情愈加严重的3月,VR或成新社交媒介

    “吹面不寒杨柳风”,与2月全国戒严的封锁状态相比,3月里国内疫情已愈加明朗。然而,国外却是“凛冬已至”。下面就跟随VRPinea来看看VR行业都收到了哪些影响吧...

    VRPinea

扫码关注云+社区

领取腾讯云代金券