首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

对话腾讯大数据团队:自研联邦学习系统的技术实践和难点

作者 | 蔡芳芳 近两年,联邦学习发展迅速,开始从理论研究迈向批量应用的落地阶段,越来越多企业尝试引入联邦学习,用它来解决人工智能大规模落地过程中遭遇的数据瓶颈问题。但现成的联邦学习工具和框架并非拿来即用的“灵丹妙药”,联邦学习要真正在企业实际业务场景中发挥作用,仍有许多问题需要摸索,比如如何匹配业务的实际需求、如何兼容现有业务流程、如何尽可能减少对已有训练系统的改动等。为此,InfoQ 采访了腾讯 TEG 数据平台部的智能学习团队,深入了解联邦学习在腾讯的实践情况,以及他们对联邦学习技术难点的解决思

03

你可以拒绝哪些广告?移动广告监管新思路┃腾讯法律评论

彭宏洁   腾讯研究院研究员   《互联网广告监督管理办法》制定过程中,关于用户“拒绝广告”的规定几经变化,充分体现了立法者坚持民主立法、科学立法。最初,有观点认为,应要求所有广告都提供拒绝选项;后来,公开征求意见的草案规定,“在电子邮箱、即时通讯工具等互联网私人空间”发布广告的,需提供拒绝选项;最后,《办法》仅对弹窗广告提出要求。规定广告可以拒绝或关闭,目的在于保护用户免受骚扰;而限制该制度的适用范围,为行业发展保留了业务空间。所以,这个变化过程可谓是权衡用户权益保护与行业发展促进间关系的结果。这足以说明

07

Google BERT 中文应用之春节对对联

在网上看到有人用 seq2seq 训练一个对对联的机器人,很好奇能不能用Google的BERT预训练模型微调,训练出一个不仅可以对传统对子,也可以对新词新句的泛化能力更好的对对联高手。今天大年初一,这样的例子刚好应景。在Google公开的BERT源代码中,附带两个微调的例子,一个是阅读理解,run_squad.py, 另一个是双句或单句分类, run_classifier.py ,并没有命名实体识别或者是 seq2seq 的例子。这次实验我会深度修改 Google BERT 在预训练数据上的微调模型,使得输出是与输入等长的序列。即上联中的每个字都会对应下联中相同位置的一个字,此任务比seq2seq简单,不需要将上联映射到潜在空间的一个向量后使用解码器产生非等长序列。既然 BERT 对输入的每一个 token 都产生了一个潜在空间的 768 维的向量,我们只需要再加一层,将每个token的768维向量变换成字典空间的 N (N=21128)维向量即可。

02

Google BERT 中文应用之春节对对联

在网上看到有人用 seq2seq 训练一个对对联的机器人,很好奇能不能用Google的BERT预训练模型微调,训练出一个不仅可以对传统对子,也可以对新词新句的泛化能力更好的对对联高手。今天大年初一,这样的例子刚好应景。在Google公开的BERT源代码中,附带两个微调的例子,一个是阅读理解,run_squad.py, 另一个是双句或单句分类, run_classifier.py ,并没有命名实体识别或者是 seq2seq 的例子。这次实验我会深度修改 Google BERT 在预训练数据上的微调模型,使得输出是与输入等长的序列。即上联中的每个字都会对应下联中相同位置的一个字,此任务比seq2seq简单,不需要将上联映射到潜在空间的一个向量后使用解码器产生非等长序列。既然 BERT 对输入的每一个 token 都产生了一个潜在空间的 768 维的向量,我们只需要再加一层,将每个token的768维向量变换成字典空间的 N (N=21128)维向量即可。

02
领券