专栏首页机器学习与推荐算法利用对抗技术来权衡推荐精度与用户隐私

利用对抗技术来权衡推荐精度与用户隐私

目录
  • 前言
  • 动机
  • 框架
  • 实验结果

前言

任何需要做两方权衡并且最终寻求一种平衡的问题其实都可以转化为对抗学习的范式,比如图像生成任务中既要保证生成图片的质量又要确保判别器的识别精度;推荐任务中既要保证用户的隐私不受侵害又要确保推荐质量的可靠。

最近腾讯广告算法大赛的题目是用户人口统计学属性预测,即通过用户在广告系统中的交互行为来预测用户的人口统计学特征,比如性别和年龄。目前排行榜中第一的准确率已经达到了1.4左右,也就是说预测性别和年龄的准确率基本在0.7左右,当然预测性别属性相比年龄属性要容易些,因为年龄是个10分类任务,要比2分类任务难得多。本人也利用课余时间参加了这次比赛,不过成绩不理想,在1.2左右,害,还是要加油啊。通过这次竞赛发现,拼到最后更需要的是对业务背景的深度理解,对实验机器的极其渴望,以及对日渐稀少的头发的十分想念

看到以上内容不禁让人感到害怕,通过在系统中留存的行为信息就能知道我是男是女,是老是少了,我的天,普通用户的隐私何在。那么今天就跟大家分享一篇利用对抗学习技术来保护用户属性信息的同时能够得到精准推荐结果的文章,题目为《Privacy-Aware Recommendation with Private-Atribute Protection using Adversarial Learning》,该工作已发表在2020年的WSDM会议上。

动机

推荐系统是帮助用户匹配与其兴趣相关的物品的关键应用之一。但是,恶意攻击者可以通过推荐系统推断用户的私人信息。之前的工作都是将用户-项目交互数据进行混淆之后再提供给推荐系统使用,这种方法虽然达到了隐私的目的,但会存在推荐精度的损失,并且不能对用户的私有属性信息进行隐私保护。

因此该文章首次提出了在保证推荐精确度的同时保护用户的人口统计学特征。该方法主要是将以上问题建模为带有两个组件的对抗学习模式,即私有属性攻击者(PAA)与贝叶斯个性化推荐器(BPR)。攻击者PAA试图根据用户的项目列表推断其私人属性信息;推荐器BPR的目的是在利用攻击者作为推荐的正则项的同时,挖掘用户的行为偏好。实验表明,该模型既可以保证推荐服务的质量,又可以保护用户免受私有属性推断的攻击。

框架

当明确了对抗学习的基本思想之后,就不难理解其所提出的框架了(如下图所示)。该框架主要包括2部分:第一部分为BPR(Bayesian Personalized Recommendation),旨在挖掘用户的行为偏好;第二部分为(PAA)Private Attribute Attacker,旨在推断用户的个人隐私属性信息。通过利用最大最小博弈的方式,来达到推荐精度与用户隐私的平衡。

对于BPR部分,通过对用户的行为信息建模来学习用户和项目的隐含特征表示,更具体的,使得用户所产生行为的项目排在用户未产生行为的项目之前。具体的损失函数如下所示:

其中,

g(·)

为指示函数。BPR的示意图如下所示:

对于PPA部分,通过学到的用户隐特征向量和项目隐特征向量列表来预测用户的属性信息,更具体的,将该用户的隐特征向量和对应的用户感兴趣的项目的隐特征向量列表输入到RNN中,最终产生对于特征的预测评分。

其中,

T

为隐私属性个数,

p^t_{h,t}

为用户

h

经过RNN之后对于属性

t

的预测。PPA的示意图如下图所示:

最终,该问题可以转化为min-max的优化问题。如下图公式所示,一方面要最大化

\theta_P

以实现对用户属性的隐私保护,一方面要最小化

\theta_R

以实现推荐精度的提升。

将上述BPR和PAA公式代入上式后,得到更具体的损失函数如下所示:

以上,就是该框架的整体损失函数,通过交替的优化即可求解。

实验结果

为了验证所提出方法的有效性,对比了几种经典的方法,比如:

  • Original:该方法是RAP算法的退化版本,即没有考虑PAA部分。
  • LDP-SH:该方法基于
\epsilon

-差分隐私来对用户-项目交互数据增加噪声

  • BlurMe:此方法在输入推荐系统之前扰乱了用户-项目交互矩阵,通过给用户添加与实际属性相反的项目,然后给这样项目填充为平均分。

通过对以下实验结果的分析,可见,PAA算法对于属性预测(性别、年龄、职位)的Micro-AUC最低,即实现了对隐私属性的保护;预测项目的Precision和Recall最高,即满足了推荐的精度要求。

本文分享自微信公众号 - 机器学习与推荐算法(ML_RSer),作者:张小磊

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习技术在社会化推荐场景中的总结

    不知道大家有没有感觉,在日常生活中用到推荐一词的时候经常是用在社交场景中的。到一个地方旅游让朋友推荐一下旅游景点,学习某一项技术的时候让朋友推荐一些有什么书可以...

    张小磊
  • 基于图卷积的价格感知推荐

    Paper:Price-aware Recommendation with Graph Convolutional Networks

    张小磊
  • 推荐系统实践系列 | 一、推荐系统流程设计

    推荐系统主要解决的是信息过载问题,目标是从海量物品筛选出不同用户各自喜欢的物品,从而为每个用户提供个性化的推荐。推荐系统往往架设在大规模的业务系统之上,不仅面临...

    张小磊
  • 大数据赋能,如何精细化运营?

    3月18日,腾讯大数据举办了2018年线下沙龙—深圳站,吸引了深圳互联网圈众多运营&推广的小伙伴踊跃报名参加活动,共同探讨主题:互联网用户增长与运营之道。 信息...

    腾讯大数据
  • 大数据赋能,如何精细化运营?

    我们邀请了三位资深运营人,从“人性驱动、大数据赋能、社群裂变”三个方向,和您分享他们的经验和心得。

    腾讯技术工程官方号
  • 采用共享内存或文件映射的方式保存用户数据

        举个例子,假如一个网站提供给用户8种特权服务,用户可以选择性的开通其中一个或多个,而用户一般的操作行为是查看自己的特权以及查看好友的特权。这类数据的特点...

    王亚昌
  • 巨头间数据之争频发的背后,是用户对于个人数据话语权的缺失

    镁客网
  • 【转载】大数据赋能,如何精细化运营?

    3月18日,腾讯大数据举办了2018年线下沙龙—深圳站,吸引了深圳互联网圈众多运营&推广的小伙伴踊跃报名参加活动,共同探讨主题:互联网用户增长与运营之道。

    raozelia
  • Windows Server 2008 用户管理

    ”用户”是计算机的使用者在计算机系统中的身份映射,不同的用户身份拥有不同的权限,每个用户包含一个名称和一个密码;

    云知识Online
  • 推荐系统-通过数据挖掘算法协同过滤讨论基于内容和用户的区别

    概念 个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。 为什么要个性化推荐? - 商品个数和种类快速增长,顾客需要花费大...

    学到老

扫码关注云+社区

领取腾讯云代金券