腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大讲堂的专栏

专栏作者

1214

文章

1350948

阅读量

204

订阅数

腾讯看点视频推荐索引构建方案

es 缓存 kafka 云数据库 Redis

一、背景在视频推荐场景中，一方面我们需要让新启用的视频尽可能快的触达用户，这一点对于新闻类的内容尤为关键；另一方面我们需要快速识别新物品的好坏，通过分发的流量，以及对应的后验数据，来判断新物品是否值得继续分发流量。而这两点对于索引先验数据和后验数据的延迟都有很高的要求。下文将为大家介绍看点视频推荐的索引构建方案，希望和大家一同交流。文章作者：纪文忠，腾讯QQ端推荐研发工程师。注：这里我们把视频创建时就带有的数据称为先验数据，如tag，作者账号id等，而把用户行为反馈的数据称为后验数据，如曝光、点击、

腾讯大讲堂

2020-11-12

1K0

PB 级大规模 Elasticsearch 集群运维与调优实践

es 迁移运维 kafka 对象存储

| 导语腾讯云 Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。背景某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务日志。小游戏主要分为渲染因为游戏业务本身的日志数据量非常大(写入峰值在 100w qps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的 ES 集群

腾讯大讲堂

2020-09-01

5430

腾讯推荐引擎组员工：谈谈推荐系统架构

kafka 编程算法微服务大数据

架构图图1 总体架构图1大虚线内是线上服务，请求顺序用数字标识，不带箭头的连线表示通信是双向的，即请求与响应，它周围的各模块分别是：elk日志收集系统，监控系统，A/B实验，处理离线数据的hdfa+spark/tensorflow，处理实时数据的kafka+storm/flink和物品管理。在线服务内部架构在线服务的内部如大虚线框内所示，这可能和你遇到的不同，甚至和你想像的也差异很大，但不必奇怪，一来架构因人而异，二来业务规模和团队结构的不同导致服务架构也不一样。当规模较小时，整个虚线框完

腾讯大讲堂

2019-10-24

2.7K0

震惊了，原来这才是Kafka的“真面目”！

导读：Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 Kafka 对外使用 Topic 的概念，生产者往 Topic 里写消息，消费者从中读消息。为了做到水平扩展，一个 Topic 实际是由多个 Partition 组成的，遇到瓶颈时，可以通过增加 Partition 的数量来进行横向扩容。单个 Parition 内是保证消息有序。每新写一条消息，Kafka 就是

腾讯大讲堂

2019-08-02

4470

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态