首页
学习
活动
专区
工具
TVP
发布

idba

专栏作者
329
文章
524292
阅读量
45
订阅数
Zookeeper和Redis实现分布式锁
在分布式系统中,为保证同一时间只有一个客户端可以对共享资源进行操作,需要对共享资源加锁来实现,常见有三种方式:
用户1278550
2021-07-16
6640
ClickHouse 在有赞的实践之路
本文主要介绍了 ClickHouse 的简单原理,有赞 OLAP 相关组件以及 ClickHouse 在有赞的实践之路。
用户1278550
2021-02-01
1.6K0
有赞 Bond 分布式锁
Bond (邦德), 有赞里的一套分布式锁的标准解决方案,它是一套 SDK 型的中间件。现在服务于公司里的核心部门或核心链路,Bond 不仅提供一些面向锁语义的 API,还有提供很多场景解决方案,以及产品化相关的特性。
用户1278550
2020-02-20
8200
ES 集群上,业务数量级越来越大如何优化
文档,在面向对象观念就是一个对象。在 ES 里面,是一个大 JSON 对象,是指定了唯一 ID 的最底层或者根对象。文档的位置由 index、type 和 _id 唯一标识。文档元数据:
用户1278550
2019-06-20
1.5K0
分库分表最佳实践
分布式数据库已经流行好多年,产品非常众多,其中分布式数据库中间件使用场景最广。本文主要是总结如何基于分布式数据库中间件做数据库架构设计,以充分发挥它的分布式能力。各个中间件产品功能核心原理相同,细节上有些区别。这里仅以阿里云的DRDS为例分析,在产品架构、功能、成熟度和市场占有率上,它都比同行产品有优势。
用户1278550
2019-06-19
5.2K0
数据库的异地多活分析和方案
前文提到异地多活的几种型态和基于OceanBase实现方案。这里再总结一下基于其他分布式数据库(MySQL)实现异地多活时要考虑的点。本文不讨论为什么做异地多活,可以参考末尾的文章。
用户1278550
2019-05-07
5.7K0
基于consul的Redis高可用方案
这几天在研究如何做Redis的高可用容灾方案,查询了资料和咨询DBA同行,了解到Redis可以基于consul和sentinel实现读写分离以及HA高可用方案。本文讲述基于consul的Redis高可用方案实践。
用户1278550
2018-08-09
2.8K0
分布式任务队列celery之五
前面一系列celery的文章算是从0到1将celery的架构,原理以及核心功能比较完整的呈现给大家,本文则基于运维的角度介绍如何在生产上运维celery。
用户1278550
2018-08-09
9350
分布式任务队列系统 Celery 之四
经过前面几篇文章的介绍,我们了解到Celery的架构,运行机制以及如何调用任务等。在一个复杂的系统中,有不同的任务A,B,C :任务A执行收集几百个实例的元数据,任务B扫描实例慢查询个数,还有任务C检查待执行任务列表。这些任务耗时不同而且需要使用不同的worker去处理。默认情况下Celery会将所有的任务丢到一个队列中去处理。耗时较长的任务A反而会影响其他比较重要的任务比如任务C,导致任务C堆积。此时只用celery默认的队列就不能满足我们的需求了。
用户1278550
2018-08-09
8870
分布式任务管理系统 Celery 之二
前面一篇文章分布式任务管理系统 Celery 之一介绍了分布式任务调度队列Celery的框架以及原理,使用的例子比较简单,对实际的使用场景没有意义。本系列文章会以工程实践为例进行深入学习Celery,了解在具体工程中Celery的配置结构,调用方法,定时任务,任务队列,多机器使用Celery处理任务 。
用户1278550
2018-08-09
8990
轻量级分布式任务调度系统-RQ
一 前言 Redis Queue 一款轻量级的P分布式异步任务队列,基于Redis作为broker,将任务存到redis里面,然后在后台执行指定的Job。就目前而言有三套成熟的工具celery,huey ,rq 。按照功能和使用复杂度来排序的话也是 celery>huey>rq. 因为rq 简单,容易上手,所以自己做的系统也会使用RQ作为分布式任务调度系统。
用户1278550
2018-08-09
2.3K0
分布式任务管理系统 Celery 之一
开发自动化管理平台的过程中,有执行时间较长的任务比如安装基础软件,备份恢复;有定时执行的任务比如定期收集元数据,检查慢日志数量等等,我们可以自己开发一套任务系统,当然也可以依赖Celery 实现上述功能。
用户1278550
2018-08-01
1.5K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档