个性化推荐系统(八)--- 机器学习深度学习召回集扩量

个性化推荐系统评价有两个重要指标,一个是召回率一个是准确率。召回率就是:召回率=提取正确信息条数/样本中信息条数。准确率就是:准确率=提取出正确信息条数/提取信息条数。召回率大小直接影响准确率,直接影响机器学习模型、深度学习模型线上效果。

       模型实时计算第一步是模型上线,将spark、TensorFlow训练模型通过实时加载,使用到线上实时CTR点击量预估。是机器学习模型第一步,第二步是不断扩大线上召回集,增加新特征来提升点击量预估准确率。

       今天主要分享下线上实时模型召回素材、特征集扩容,最开始线上召回集数量是100,扩展到200,整个性能下降到70ms,加上线上逻辑性能已不可接受。这时我们想了个方法用多线程进行多核计算提升性能。经过上线测试每个线程计算50个数据,性能优化到计算只消耗3ms,已经线上使用。

        进一步线上召回集扩到1000,采用增加线程每个线程100个特征组,线上能能25ms,这种召回集扩量已在线上使用。

       下一步在扩量,性能瓶颈已经是IO,而不是多线程计算。将计算服务改成jar包此时召回集可以进行扩量到2000。

       在下一步扩召回集,取素材特征与提供接口服务拆分、接口服务通过并发分布式方式进行请求,此时召回集量应为几种方式最大。需要调整接口服务与素材、特征以及计算服务,通过测试得到IO、线程计算结果合并、多核计算的平衡,需排期配合。

       最后一步已基本和开源分布式搜索引擎计算方式类似,后续会持续调研新的优化方式,并引入到线上。总结一下,主要思路是先分开并采用多线程,在合并减少IO,最后通过分布式计算实现召回集扩量。

    微信搜索:debugme123

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云时之间

使用R语言进行聚类的分析

大家好,上周我着重研究了对于聚类分析的一些基础的理论的知识学习,比如包括公式的推导,距离求解的方法等方面,这一周我结合资料又对系统聚类分析法和动态聚类分析法进行...

63611
来自专栏AI科技评论

业界 | 让智能体合作,谷歌团队提出自然语言的产生方法

AI科技评论按:受到万众瞩目的ICLR已经于今天在法国土伦召开。该大会由Yann LeCun 、 Yoshua Bengio 等几位行业顶级专家于2013年发起...

2795
来自专栏王嘉的专栏

安全 AI 的智能对抗系统之架构实现篇

在AI的浪潮下,在现有的安全系统的基础上,SNG业务安全中心将机器学习应用到业务安全对抗中,自研建设并搭建了 – 安全AI的智能对抗系统。智能对抗系统现已应用在...

9610
来自专栏AI科技评论

苹果机器学习开发日记:如何设计能在Apple Watch上实时运行的中文手写识别系统

AI 科技评论按:随着苹果机器学习日记(Apple ML Journal)的开放,苹果分享出的设计自己产品、运用机器学习解决问题的故事也越来越多。近日苹果在上面...

35411
来自专栏机器学习算法与Python学习

协同过滤原理及Python实现

作者:ACdreamers 链接:http://blog.csdn.net/acdreamers/article/details/44672305 1. 协同过...

3715
来自专栏机器之心

学界 | 谷歌大脑提出MAPO:用于程序合成的策略优化方法

该框架可用于从弱监督 (如问答对) 中学习语义解析和程序合成,这比全监督 (如问答对) 更容易收集,也更灵活。应用程序包括虚拟助手、数据库的自然语言接口、人机交...

893
来自专栏大数据风控

评分卡模型开发-用户数据缺失值处理

在我们搜集样本时,许多样本中一般都含有缺失值,这种情况在现实问题中非常普遍,这会导致一些不能处理缺失值的分析方法无法应用,因此,在信用风险评级模型开发的第一步我...

23910
来自专栏机器之心

业界 | 百度开源新一代深度学习硬件测试工具:覆盖Titan Xp到iPhone7

选自Baidu Research 机器之心编译 今天,百度研究院开源了新一代 DeepBench,一款深度学习基准测试工具,这次升级加入了推理测量等功能。 1....

3447
来自专栏AI研习社

微软认知服务再推三款 AI 工具:人脸 API、自定义影像服务、必应实体搜索 API

3 月 2 日消息,作为微软 AI 平台的一部分,微软认知服务在今天再度推出三款 AI 工具。 1. 人脸 API,主要包括三方面功能:检测并比较相似的人脸、基...

38311
来自专栏腾讯大数据可视化设计团队的专栏

遇见大数据可视化 : 图表的视觉系统感知

“可视化感知”实际上是运用人眼低层视觉系统(Preattentive Processing)的引发的快速感知特征。能够迅速的引发预设在图形中的潜在目标对象的注意...

1.2K2

扫码关注云+社区