Golang分布式并发---群体性热点淘汰算法

说明:此文章为腾讯云机器自动从本人csdn博客搬迁过来。是本人授权操作。

申明:无本人授权,不可转载本文。如有转载,本人保留追究其法律责任的权利。

龚浩华,QQ 29185807,月牙寂 道长

第一时间获取文章,可以关注本人公众号 月牙寂道长 yueyajidaozhang

Golang分布式并发---群体性热点淘汰算法

         在传统的算法中,要计算热点的时候,常规采用,收集所有的任务列表,然后进行排序,得出前n的热点数据。此种算法的不好地方有:

1、  需要收集所有的任务列表。任务数过多时,收集是个问题

2、  将任务列表进行排序。在此过程中,如果列表过多,则会排序时间过长。

另外如果需要进行同步的话,则在此算法中,会有个停顿。

         那么我们构建一个场景,一个网吧有n个位置,每个人都可以去网吧,但规定,每次只能预约1小时,如果时间到了,则可以续费继续一个小时,如果不需要则放弃位置。

         现在有m个人来网吧上网。

         1、m < n时,则m个人都可以获取到上网位置

         2、当m>n时,则有n个人可以获取到上网位置,剩余的人,则在等待

有两种调度算法

1、  每个人,都会定期检查自己的时间,是不是到了1个小时,如果是,则判定自己是否需要继续使用,则优先续约1小时,如果不需要则放弃位置。等待的人中,则随机获取到这个位置。

2、每个人,都会定期检查自己的时间,是不是到了1个小时,如果是,则放弃位置。如果还需要继续使用则到等待队列中,不需要使用,则直接退出。

此算法中,需要注意的地方有

1、  每个用户自己是自律的。自己评判自己是否需要继续使用,评判自己是否时间到期等

2、  评判能否继续使用的标准,这个很重要。比如当个人贡献度到一定程度,才能继续使用。

简单的用法就是将n个体的贡献进行排序,淘汰尾部一些

在经过一段时间之后,热点自动会形成。

此算法好处是,每个个体独立公平的争抢机会,只有贡献度比较大的个人,使用时间则会长。这种算法不需要进行同步,提高了并发效率。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据和云

微博MySQL优化之路 - 肖鹏

肖鹏老师对于开源数据库尤其是MySQL的研究特别深入,今天我们来一起听他分享自己对MySQL数据库的优化经验! 作者简介 ? 肖鹏 微博研发中心数据库技术负责人...

3217
来自专栏大数据和云计算技术

有向图的环和有向无环图

本篇主要分享关于有向图的环和有向无环图(DAG,估计做大数据的同学到处都可以看到),所以相关概念我就不做详细介绍了。

1305
来自专栏腾讯大数据的专栏

守护客户数据价值:企业级NewSQL HTAP分布式云TBase架构详解

2676
来自专栏飞总聊IT

苹果公司开源FoundationDB的简单分析

美国时间 2018年4月19日,苹果公司宣布开源FoundationDB。FoundationDB 本来是一个开源项目,于2015年被苹果收购以后,其代码从Gi...

1272
来自专栏架构师之路

啊,业务层是否也需要服务化?

《互联网分层架构的本质》简述了两个观点: 互联网分层架构的本质,是数据的移动 互联网分层架构演进的核心原则:是让上游更高效的获取与处理数据,让下游能屏蔽数据的获...

3846
来自专栏CSDN技术头条

NoSQL再次败北——坚持使用SQL的原因

【编者按】NoSQL拥有可扩展性和超高吞吐量的能力,然而这却没有发挥实际的优势,同时它不具备关系数据库所有的智能操作,虽然具有无模式存储的优势,却无形中增加了代...

18410
来自专栏IT技术精选文摘

规模化时间序列数据存储(第一部分)

1393
来自专栏CSDN技术头条

共享出行业务下的高并发场景

某共享汽车出行平台从随着业务的发展,可能大家听到出行以为是滴滴,然而不是,不过今年美团等巨头也入场共享汽车行业,表明公司业务至少是不错的,城市也在不断扩张。

1196
来自专栏大数据和云计算技术

大数据和云计算技术周报(第34期):NoSQL特辑

写在第34期 到底什么是NoSQL?公众号一系列前菜,大家可以看看: NoSQL 还是 SQL ?这一篇讲清楚 新数仓系列:Hbase周边生态梳理(1) 新数仓...

2927
来自专栏杨建荣的学习笔记

Active Data Guard初探(一) (r10笔记第76天)

对于Active Data Guard,我是这样想的,可能会有很多不对的地方,互相讨论,一起补充吧。 如果有一天我成了Oracle的产品架构师,时光倒退...

3149

扫码关注云+社区