专栏首页腾讯防水墙苹果修改IDFA协定 史塔克军团称凛冬将至(上)

苹果修改IDFA协定 史塔克军团称凛冬将至(上)

用科技守护信息安全,打击互联网黑色产业链,从来不是一件容易的事情。

近几天发生了一件震惊整个互联网广告界的大事,苹果于去年发布的IOS14操作系统中限制IDFA获取的规则即将正式施行。苹果公司《用户隐私和数据使用》规定,从IOS14.5,iPadOS14.5和AppletvOS14.5开始,App需要通过App Tracking Transparency框架征得用户许可,然后才能跟踪用户或访问其设备的广告标识符(IDFA)。

在此之前,用户的广告跟踪功能处于默认打开的状态,关闭选项时需要手动操作。而在2020年6月,苹果公司在全球开发者大会上表示,分享功能将由默认开启状态变为默认关闭,开发者想要获得用户的IDFA,需要明确向用户弹窗示意并请求许可,否则商家所获得的的将是一串无效的0值。

对普通苹果产品用户而言,这是保护个人隐私的重大进步,但对于在看不见的地方默默守护着网络洁净、信息安全的网络安全工程师而言却是一次严重的误伤。Winter is coming.凛冬将至,史塔克军团却在长夜失去了刺中黑产的匕首。

一、对互联网广告行业的影响

QuestMobile数据显示,2019年,中国互联网广告市场规模为4699.9亿元,预计到2022年,该市场规模将达到6535.1亿元。其中移动互联网广告占比接近90%,未来随着5G商业化应用的发展与落地,移动互联网市场仍将保持高速增长。

此外,QuestMobile的数据表明,截至2020年6月,中国大陆地区使用苹果终端的用户占比为所有智能终端品牌活跃设备的26.3%。而第三方数据公司Appsflyer表示,大约只有30%的用户在自主选择时会同意APP开发者继续获取IDFA。一旦广告归因分析的重要数据——IDFA被禁用,那么广告的精准投放将会受到极大的影响。

由此可以推测,该项协定将给中国移动互联网广告市场带来巨额损失。

二、对广告反欺诈工作的影响

1、互联网广告黑产概述

苹果修改IDFA协定对互联网广告行业的另一个深远影响在于,给安全工程师进行广告反欺诈工作带来的极大的困难。

据悉,互联网广告行业中充斥的大量的异常流量。第三方数据公司秒针的数据显示,以2019年为例,互联网广告市场的异常流量占比高达31.9%,造成的直接损失约300亿元。以行业为例,网络及通讯、房地产和家装家具行业的广告异常流量都超过了35%,而其他大多数行业的异常流量也都超过了30%。

根据中国广告协会的标准,异常流量可以分为常规无效流量(GIVT)和复杂无效流量(SIVT)。常规无效流量是指能够通过应用多种名单或标准化参数等常规方式进行过滤的流量。复杂无效流量是指无法通过简单的规则识别出来,一般需要通过高级分析,多方合作与协调,乃至人工干预等方法以及广告投放活动以外更大范围的数据信号才能分析和识别的流量。

通常人们所熟知的电商平台刷单、刷信誉,自媒体行业刷粉丝,APP刷下载、激活,广告行业刷曝光、刷点击等都可以产生异常流量。流量作弊的方法一般可分为机器作弊和人为作弊。机器作弊包括机器发送虚假流量、肉机访问网页、修改DNS/IP访问页面以及爬虫技术访问页面等,人为作弊即使用真人大量点击广告、下载APP等。这里我们重点讨论机器作弊产生的异常流量。

2、黑产如何修改IDFA非法获利

黑产能够修改IDFA非法获利,在于每一台设备可以无限改机。通过改机非法获利,需要完成以下几步:1、修改包含内存信息、Wi-Fi、IP、IDFA信息等;2、研究广告主、广告平台的监测方式;3、了解广告主、广告平台的风控行为,使原设备成为一台被正常用户使用的新设备。

互联网广告行业黑色产业链团伙常常拥有专业的破解技术团队、成熟的黑产设备、黑产账户供应体系以及很强的伪造能力,若破解其作案手法,难度非常大。

然而,苹果公司此次修改IDFA协定并未给黑产非法作案带来过多的影响。黑产利用无限改机进行引流、刷量、薅羊毛等行为时需要修改多个用户信息,而不只限于IDFA,作案难度与此前相似。

3、广告反欺诈工作流程

而对于从事打击黑产的安全人员来说,此次苹果修改IDFA协定最大的影响在于,定位具体设备的难度陡然增加。

识别黑产团伙通常需要以下流程:

以IOS系统为例具体说明。从苹果设备中可以获取到通用的包括用户行为在内的IDFA,并将其上传到后台进行分析,通过匹配这些IDFA的历史行为来判断流量,若流量正常,则判断为正常用户,若发现为无效流量或者疑似无效流量,则判断为非正常用户或黑产团伙。但如果IDFA无法获取,则需要在APP中嵌入SDK、JavaScript(JS)等代码,识别过程更加复杂。

以常用在APP广告检测和验证的SDK模式为例。

在APP中嵌入SDK代码,收集到广告相关参数并上传到后台,分析判断用户是否正常。

在整个工作流程里,识别用户的IDFA是业内通用的重要判断依据之一,是对付恶势力的龙晶匕首。只有精准定位产生异常流量的来源,才有将其一网打尽的可能。

三、CAID设备标识替代方案

虽然腾讯、阿里巴巴、字节跳动等皆有专属的设备识别方案,但互相无法通用。由此可见,推出一个业界普遍认同的设备标识方案势在必行。

事实上,中国已在2020年作出了尝试。中国广告协会与中国信息通信研究院联合研究机构以及广告产业链多方推出了CAID(CAA Advertising ID,中国广告协会互联网广告标识)以替代IDFA,并于2021年初开始测试。

CAID工作原理如下:

CAID在一定时间内具有唯一性。因为在阶段时间内,同一设备的标识ID保持一致,不同设备的标识ID不同,而CAID算法会遵循保密原则,以及为了确保匿名性和对抗性, CAID还会定期更新。

然而,CAID标识符的唯一性与苹果公司的《Apple Developer Program》许可协议相违背,即应用程序不能使用任何永久的、基于设备的标识符或从中派生的任何数据来唯一标识设备。从目前苹果对使用CAID的应用程序下架处理、对相关厂商发出警告信等一系列动作来看,苹果态度明朗坚决,明令禁止任何追踪用户设备的数据源。

苹果公司对其生态体系内的APP具有一票否决权,因此任何想要绕过ATT自行建立设备标识体系的行为风险极大。

The night is dark and full of terrors. 长夜漫漫,处处险恶,总有黑产团伙在虚拟世界里掘金敛财。“科技向善”是史塔克军团守卫的临冬城,是抵御恶势力的的第一道防线。探索定位与打击黑产的新方式,保护信息安全需要整个互联网行业的努力与担当。

事实上,苹果修改IDFA协定,对Facebook等互联网巨头同样带来了深刻的影响,Facebook广告联盟因此受到了重创。那么互联网行业内的重要参与者们如何应对这一变动呢?下篇为您揭晓答案。

感谢安迪、艾瑞(均为化名)对本文的技术支持。

微信扫一扫 关注该公众号

文章分享自微信公众号:
腾讯防水墙

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!

如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • 苹果修改IDFA协定 史塔克军团称凛冬将至 (下)

    “凛冬将至”,这是目前广告反欺诈行业的现状,也是史塔克家族的族语。苹果修改IDFA协定,对一些中小公司而言无异于雪上加霜,因为广告流量作弊更加难以识别,导致中小...

    腾讯防水墙
  • 精品教学案例 | 权利的游戏:战争数据分析

    本案例适合作为大数据专业Pandas数据分析课程的配套教学案例。通过本案例,能够达到以下教学效果:

    数据酷客
  • 扒完社交网络关系才明白,《权力的游戏》凭什么是神作

    “Valar Morghuli,凡人皆有一死。” “没错,但那是‘凡人’。会数据的,都不是凡人。” ——DT君

    DT数据侠
  • 文科生如何高效学数据科学?

    看似无边无际、高深难懂而又时刻更新的数据科学知识,该怎样学才更高效呢?希望读过本文后,你能获得一些帮助。

    王树义
  • 电脑史话(说历史视频)

    从1980年8月到1981年8月,在整整一年的时间里,埃斯特奇领导着“国际象棋”工程计划13人小组奋力攻关。“当时很少有人体会到,这一小组人即将改写全世界的历史...

    全栈程序员站长
  • 现代汉语常用3500字=常见字2500字+次常见字1000字

    使用requests库爬取https://www.zdic.net/zd/zb/cc1/

    菲宇
  • SQL简体繁体转换函数代码

    用户1149182
  • 沃森和特朗普:一家伟大美国企业的兴与衰

    新智元
  • 人工智能时代:新闻业的谢幕与重生

          6月21日下午,互联网前沿沙龙PRO举行,相关领域专家就人工智能对于新闻业的影响进行了主题分享和圆桌讨论。腾讯研究院发布了《人工智能时代:新闻业的谢...

    腾讯研究院
  • 图片验证码训练

    小小咸鱼YwY
  • 上帝掷骰子吗–量子物理史话

      我们的故事要从1887年的德国开始。位于莱茵河边的卡尔斯鲁厄是一座风景秀丽的城市,在它的城中心,矗立着著名的18世纪的宫殿。郁郁葱葱的森林和温暖的气...

    全栈程序员站长
  • 人工智能基础(高中版)教材补充和资源分享之一 无限光明的未来、过去和现在

    这些天,抽空读了一下人工智能基础(高中版),觉得作为高中科普教材,还是非常不错的,五星好评推荐。

    zhangrelay
  • Python简单验证文本的Zipf分布

    齐普夫定律是语言学专家Zipf在研究英文单词出现的频率时,发现如果把单词出现的频率按由大到小的顺序排列,则每个单词出现的频率与它的名次的常数次幂存在简单的反比关...

    周小董
  • 日文字符集

    特殊说明: 解决问题的光鲜,藏着磕Bug的痛苦。 万物皆入轮回,谁也躲不掉! 以上文章,均是我实际操作,写出来的笔记资料,不会出现全文盗用别人文章...

    收心
  • 脑语言v0.5.8 2500令【单字编程】

    注:这是脑语言v0.5.8版的2500个单字(也称为“令”与“一令”),通过【单字编程】(并不仅是中文编程,而是混合英文关键字,但以单字为主的命名)也许是英文不...

    脑语言
  • 重构区块链

    撰写这篇手册,并不简单的因为区块链是一个热门话题,更因为随着研究的深入,你会发现这是一个相当复杂的领域。关于这一话题的信息来源无外乎三个方面:技术文档和代码,商...

    全栈程序员站长
  • excel 汉字转拼音「建议收藏」

    发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/151859.html原文链接:https://javaforall.cn

    全栈程序员站长
  • 汉字转拼音 文字集

    发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/151850.html原文链接:https://javaforall.cn

    全栈程序员站长
  • 【笔记】EFCore & SQLite 拼音汉字互换

    注意OnConfiguring方法里的UseSqlite输入的参数需要指定路径,否则容易遭遇惊喜“no such table”。因为sqlite在没有找到db文...

    全栈程序员站长

扫码关注腾讯云开发者

领取腾讯云代金券