上周的公众号文章提到了Bright Data提供的代理服务。没想到他们的运营同学竟然找上了门，问我能不能帮他们做一个评测。
Keepalived 保证集群高可用 高并发：能够同时供多台机器访问 高可用：防止集群中的某个节点坏掉，而导致整个集群不能使用。 负载均衡：接收客户端的请求，服务端的响应。 最少两台 Keepalived 起初就是为了和lvs进行搭配使用，配合lvs对后端的集群进行健康检查，当后端的集群中有一个服务宕机，它会把这个服务剔除集群，保证集群的可用性。当后端服务器能够正常运行的时候，再将该服务加入到集群当中。 后来keepalived加上了vrrp协议 Vrrp协议 虚拟路由冗余协议 Keepalived为Lvs负载均衡服务器来做节点检查，实现高可用，避免单点故障。 负载均衡集群中，分为（master backup）如果发生故障，从节点将会在集群中选举出一个主来，来代替主的位置，主和从之间会发送特定的消息（这个消息的时间一般为1s），当从服务器接收不到主给的消息，就意味着主服务宕机，然后接替vip来进行工作，从而保障集群的高可用。当主修好时，会继续主的位置。
“由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败”,这是经常遇到的问题 requests.exceptions.ConnectionError: HTTPSConnectionPool(host=’www.github.com’, port=443): Max retries exceeded with url: / (Caused by NewConnectionError(‘<urllib3.connection.verifiedhttpsconnection object="" at="" 0x0000020f06524ac8="">: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。’,)) 一般出现这个问题的原因是：host=’www.github.com’ 主机地址没连上，使用 requests 发请求时，有些网站服务器不稳定，特别是国外的网站，经常会出现连接失败情况。 连接失败后，有时候会抛出上面异常，有时候会一直卡住，进入假死状态，没响应，也不会结束。</urllib3.connection.verifiedhttpsconnection>
服务网格是通过sidecar（边车）代理服务实现，控制平面主要是对sidecar的配置和管理，这包括：
kubelet 使用存活探测器来知道什么时候要重启容器。例如，存活探测器可以捕捉到死锁（应用程序在运行，但是无法继续执行后面的步骤）。这样的情况下重启容器有助于让应用程序在有问题的情况下更可用。
分布式锁可以保证在分布式系统中，同一操作只被一台机器上的一个线程执行，保证共享数据的一致性。
微服务架构相比单体架构，服务的调用从同一台机器内部的本地调用变成了不同机器之间的远程方法调用，但是这个过程也引入了两个不确定的因素：
分布式系统中经常会出现某个基础服务不可用造成整个系统不可用的情况, 这种现象被称为服务雪崩效应. 为了应对服务雪崩, 一种常见的做法是手动服务降级. 而Hystrix的出现,给我们提供了另一种选择.
例如由于日志文件过大导致硬盘无法写入、网络路由无效等可以通过调整硬件状态进行恢复的失败情况。
在上一篇我们为大家介绍了WebClient的异常处理方法，我们可以对指定的异常进行处理，也可以分类处理400-499、500-599状态码的HTTP异常。 我们本节为大家介绍的实际上是另外一种异常处理机制：请求失败之后自动重试。当WebClient发起请求，没有得到正常的响应结果，它就会每隔一段时间再次发送请求，可以发送n次，这个n是我们自定义的。n次请求都失败了，最后再将异常抛出，可以通过我们上一节交给大家的方法进行异常处理。也就是针对连接超时异常、读写超时异常等，或者是HTTP响应结果为非正常状态码（不是200状态码段），都在自动重试机制的范畴内。
我们知道通过Nacos等注册中心可以实现微服务的治理。但引入了Nacos之后，真的就像理想中那样所有服务都由Nacos来完美的管理了吗？
今天和大家聊一聊在Spring Cloud微服务框架实践中，比较核心但是又很容易把人搞得稀里糊涂的一个问题，那就是在Spring Cloud中Hystrix、Ribbon以及Feign它们三者之间在处理微服务调用超时从而触发熔断降级的关系是什么？
为啥要在本地搭建 Kubernetes 集群？因为开发者可以在本地快速验证自己实现的功能，接口。众所周知，由于 Kubernetes 部署较为复杂，使得广大开发者和运维人员学习和试用 Kubernetes 的门槛很高，光是部署一套 Kubernetes 集群，就需要部署大量的组件，花费精力较大。为了降低用户体验 Kubernetes 的门槛，Minikube 项目应运而生，它是 Github 上的一个开源项目，提供了一键安装的 Kubernetes 本地集群，支持 MacOS，Linux，Windows。
受网络和运行环境影响，应用程序可能遇到暂时性故障，如瞬时网络抖动、服务暂时不可用、服务繁忙导致超时等。
一个完全开源的服务网格产品，对分布式应用是透明的。Istio 管理服务之间的流量，实施访问政策并汇总遥测数据，而不需要更改应用代码。Istio 以透明的方式对现有分布式应用进行分层，从而简化了部署复杂性。
来源: http://benjchristensen.com/2012/03/01/fault-tolerance-in-a-high-volume-distributed-system/
本文介绍了分布式服务框架中的容错机制，包括服务降级、失败处理、服务隔离、服务治理等方面，并给出了相关实现和案例。同时，也介绍了服务框架的容错能力，包括服务治理、服务监控、服务恢复等方面，并给出了相关实现和案例。
参考自官网：http://www.linuxvirtualserver.org/zh/lvs3.html
凌晨四点被公司的监控告警叫醒了，告警的原因是生产环境跑批任务发生故障。即刻起床处理故障，但还是花了不少时间才解决。
摘要：作为noSql中的kv数据库的王者，redis以其高性能，低时延，丰富的数据结构备受开发者青睐，但是由于redis在水平伸缩性上受限，如何做到能够水平扩容，同时对业务无侵入性是很多使用redis的开发人员都会面临的问题，而redis分布式解决方案的一个开源产品【codis】较好的弥补了这一弱势，本文主要讲解codis是如何做到对业务无感知，平滑迁移，迁移性能高，迁移异常处理，高可用以及常见的redis的避坑指南，虽然codis目前随着公司的nosql产品越来越成熟，生命周期也即将结束，不过鉴于还
以下的springcloud版本是Dalston.RC1 Springcloud框架中,超时时间的设置通常有三个层面:
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。
随着 MySQL 8.0.16 的发布，我们为 MGR 添加了一些功能，以增强其高可用性。其中一个功能是能够在某些情况下启用已离开组的成员自动重新加入，而无需用户干预。
分布式锁，即分布式系统中的锁。在单体应用中我们通过锁解决的是控制共享资源访问的问题，而分布式锁，就是解决了分布式系统中控制共享资源访问的问题。与单体应用不同的是，分布式系统中竞争共享资源的最小粒度从线程升级成了进程。
服务降级是从整个系统的负荷情况出发和考虑的，对某些负荷会比较高的情况，为了预防某些功能（业务场景）出现负荷过载或者响应慢的情况，在其内部暂时舍弃对一些非核心的接口和数据的请求，而直接返回一个提前准备好的fallback（退路）错误处理信息。这样虽然提供的是一个有损的服务，但却保证了整个系统的稳定性和可用性。
爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件 web scraper 或者让 selenium 驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。
遇到一个很诡异的问题，我在启动多个配置相同zookeeper的Dubbo项目时，其他项目都是正常启动，唯独有一个项目在启动过程中，Dubbo注册zookeeper协议时，竟然出现了这样的异常提示——
对于同步，写请求提交数据后，当前写操作的线程会等到批量落库完成后才开始启动。这种设计的优点是用户预约成功后，可在“我的预约”页面立即看到预约数据；缺点是用户提交预约后，还需要等待一段时间才能返回结果，且这个时间不定，有可能需要等待一个完整的时间窗。
无论你用任何语言或者是网络库，你都可以设置网络操作的超时时间，特别是connect,read,write的超时时间。
keepalived下载地址：http://download.csdn.net/detail/u010821757/9892484
在Redis运维过程中，由于Bigkey 的存在，会影响业务程序的响应速度，严重的还会造成可用性损失，DBA也一直和业务开发方强调 Bigkey 的规避方法以及危害。
在本文中，我将介绍微服务中的容错以及如何实现它。如果你在维基百科上查找它，你会发现以下定义：
使用Fengin调用 Feign默认也有对Hystix的集成,1默认情况下是关闭的。我们需要通过下面的参数来开启：
而对于微服务来说，熔断就是我们常说的“保险丝”，意为当服务出现某些状况时，切断服务，从而防止应用程序不断地尝试执行可能会失败的操作造成系统的“雪崩”；或者大量的超时等待导致系统卡死等情况，很多地方也将其成为“过载保护”。
假设单体应用可用率为99.99%,即使拆分后每个微服务的可用率还是保持在99.99%，总体的可用率还是下降的。因为凡是依赖都可能会失败，凡是资源都是有限制的，另外网络并不可靠，有可能一个很不起眼的微服务模块高延迟最后导致整体服务不可用
具体说明：当设计的业务流程或者功能需要调用其他接口实现请求与响应的时候，可能由于网络等原因导致的接口超时导致业务中断或者功能反馈有误等。
最近看到好多博主都在推分布式锁，实现方式很多，基于db、redis、zookeeper。zookeeper方式实现起来比较繁琐，这里我们就谈谈基于redis实现分布式锁的正确实现方式。
RateLimiter是guava提供的基于令牌桶算法的实现类，可以非常简单的完成限流特技，并且根据系统的实际情况来调整生成token的速率。
健康检查 (HEALTHCHECK) 指令告诉 Docker 如何检查容器是否仍在工作。 它能够监测类似一个服务器虽然服务进程仍在运行， 但是陷入了死循环， 不能响应新的请求的情况。
最近工作中一直和 SWF（Amazon 的 Simple Work Flow）打交道，在一个基于 SWF 的工作流框架上面开发和修 bug。SWF 的 activity 超时时间是 5 分钟，在 activity task 开始执行以后，activity worker 需要主动发送心跳请求告知 service 端：“我还活着，我还在干活”，如果出现超过 5 分钟（可以配置）没有心跳，SWF 的 service 端就认为，你已经挂了，我需要把这个 activity 安排到别的 activity worker 上来执行了。借用 AWS 官网的一张图：
在分布式系统中，如果某个服务节点发生故障或者网络发生异常，都有可能导致调用方被阻塞等待，如果超时时间设置很长，调用方资源很可能被耗尽。这又导致了调用方的上游系统发生资源耗尽的情况，最终导致系统雪崩。
keepalived用了很久，工作原理也讲了很多遍，但是每次再遇到新的场景总是要搜好多文档来完成配置问题，这次统一梳理一下。 参考官网：https://www.keepalived.org/manpage.html
这些年，接触了形形色色的项目，写了不少网络编程的代码，从windows到linux，跌进了不少坑，由于网络编程涉及很多细节和技巧，一直想写篇文章来总结下这方面的心得与经验，希望对来者有一点帮助，那就善莫大焉了。 本文涉及的平台包括windows和linux，下面开始啦。 一、非阻塞的的connect()函数如何编写 我们知道用connect()函数默认是阻塞的，直到三次握手建立之后，或者实在连不上超时返回，期间程序执行流一直阻塞在那里。那么如何利用connect()函数编写非阻塞的连接代码呢？ 无论在win
这些年，接触了形形色色的项目，写了不少网络编程的代码，从windows到linux，跌进了不少坑，由于网络编程涉及很多细节和技巧，一直想写篇文章来总结下这方面的心得与经验，希望对来者有一点帮助，那就善莫大焉了。 本文涉及的平台包括windows和linux，下面开始啦。 一、非阻塞的connect()函数如何编写 我们知道用connect()函数默认是阻塞的，直到三次握手建立之后，或者实在连不上超时返回，期间程序执行流一直阻塞在那里。那么如何利用connect()函数编写非阻塞的连接代码呢？ 无论在wind
ETCD作为我们管理面（基于Java）的异步任务同步媒介，在管理面压力测试时，发现任务状态不更新了。
用过docker machine的朋友，使用minikube后就能感觉到它其实跟docker machine很像，默认都是使用virtualbox作为虚拟化驱动，在创建虚拟机的同时，也会创建相关虚拟网络，一般情况下，都是创建host only的虚拟网络，mac下安装完virtualbox可以使用命令vboxmanager list hostonlyifs列出已经创建好的虚拟网络。
nacos通过使用Raft算法来实现服务列表的同步和高并发访问。Raft算法是一种分布式一致性算法，能够保证在网络分区、服务器崩溃等异常情况下，系统仍能够保持强一致性。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
