扎心了老铁-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

扎心了老铁

专栏成员

89

文章

213322

阅读量

41

订阅数

python分布式环境下的限流器

python 分布式

项目中用到了限流，受限于一些实现方式上的东西，手撕了一个简单的服务端限流器。服务端限流和客户端限流的区别，简单来说就是： 1）服务端限流对接口请求进行限流，限制的是单位时间内请求的数量，目的是通过有损来换取高可用。例如我们的场景是，有一个服务接收请求，处理之后，将数据bulk到Elasticsearch中进行索引存储，bulk索引是一个很耗费资源的操作，如果遭遇到请求流量激增，可能会压垮Elasticsearch（队列阻塞，内存激增），所以需要对流量的峰值做一个限制。 2）客户端限流限制的是客户端进

2018-03-05

2.2K0

Redis实现分布式锁

云数据库 Redis 分布式 api

之前写过一篇博客，里面吭哧吭哧半天，使用Redis实现了一个分布式锁。今天闲来没事看源码，突然发现redis set命令的用法可以直接指定nx和ex，文档中没有明说这是个原子方法，但是后面给出了一个例子使用set nx ex的方法实现了redis锁。感觉应该是原子性的，挺好。相比这篇文章里的方法，有两个优点： 1）简单，之前的那篇文章里使用getSet方法，折腾了一顿，就是怕setnx之后expire成功不了，这里直接原子性的话，省事多了。 2）解决了超时误删锁引入的竞态问题，之前我们在value中保

2018-03-05

1K0

django celery的分布式异步之路(一) 起步

django 分布式 python

如果你看完本文还有兴趣的话，可以看看进阶篇设想你遇到如下场景： 1）高并发 2）请求的执行相当消耗机器资源，流量峰值的时候可能超出单机界限 3）请求返回慢，客户长时间等在页面等待任务返回 4）存在耗时的定时任务这时你就需要一个分布式异步的框架了。 celery会是一个不错的选择。本文将一步一步的介绍如何使用celery和django进行集成，并进行分布式异步编程。 1、安装依赖默认你已经有了python和pip。我使用的版本是： python 2.7.10 pip 9.0.1 virtualenv

2018-03-05

2.4K0

django celery的分布式异步之路(二) 高并发

django 分布式 nginx python

当你跑通了前面一个demo，博客地址：http://www.cnblogs.com/kangoroo/p/7299920.html，那么你的分布式异步之旅已经起步了。性能和稳定性是web服务的核心评价指标。下面我们来说，怎么样部署服务，实现web服务的高并发和高可用。我们将通过一些工具和部署，提升web服务的性能。这篇文章我们先讲高并发部署方式：nginx+gunicorn+wsgi 1、django和python的缺陷分析 django作为一个python实现的web服务器，它的性能其实是没有多大

2018-03-05

2.6K0

分布式锁的实现(redis)

分布式云数据库 Redis 存储

1、单机锁考虑在并发场景并且存在竞态的状况下，我们就要实现同步机制了，最简单的同步机制就是加锁。加锁可以帮我们锁住资源，如内存中的变量，或者锁住临界区(线程中的一段代码)，使得同一个时刻只有一个线程能访问某一个区域。如果是单实例(单进程部署)，那么单机锁就可以满足我们的要求了，如synchronized，ReentrantLock。因为在一个进程中的不同线程可以共享这个锁。 2、分布式锁但是如果场景来到了分布式系统呢？分布式系统部署在不同的机器上，或者只是简单的多进程部署。这样各个进程之间无法共

2018-03-05

1.6K0

zookeeper curator选主(Leader)

zookeeper 分布式

在分布式系统设计中，选主是一个常见的场景。选主是一个这样的过程，通过选主，主节点被选择出来控制其他节点或者是分配任务。选主算法要满足的几个特征： 1）各个节点均衡的获得成为主节点的权利，一旦主节点被选出，其他的节点可以感知到谁是主节点，被服从分配。 2）主节点是唯一存在的 3）一旦主节点失效，宕机或者断开连接，其他的节点能够感知，并且重新进行选主算法。 zookeeper实现了安全可靠的选主机制。作为zookeeper的高级api封装库curator选主算法主要有以下两个：Leader Latch和Le

2018-03-05

2.2K0

springboot使用zookeeper(curator)实现注册发现与负载均衡

zookeeper 分布式

最简单的实现服务高可用的方法就是集群化，也就是分布式部署，但是分布式部署会带来一些问题。比如： 1、各个实例之间的协同(锁) 2、负载均衡 3、热删除这里通过一个简单的实例来说明如何解决注册发现和负载均衡。 1、先解决依赖，这里只给出zk相关的依赖，pom.xml如下　　<dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId>

2018-03-05

5.7K0

使用beanstalkd实现定制化持续集成过程中pipeline

jenkins 分布式 memcached

持续集成是一种项目管理和流程模型，依赖于团队中各个角色的配合。各个角色的意识和配合不是一朝一夕能练就的，我们的工作只是提供一种方案和能力，这就是持续集成能力的服务化。而在做持续集成能力服务化的过程中，最核心的一点就是，如何实现一个可定制化的任务流，即所谓的pipeline。在传统的持续集成工具实现了pipeline功能，以供串联上下游job，并把多个job联系成一次完整的构建，例如jenkins的pipeline插件。但是各种持续集成工具，或多或少都有自己的短板，总结起来如下： 1、配置并不方便，上下游

2018-03-05

9330

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态