今天跟大家分享一篇去年我首发在博客园的关于kafka消息积压的文章，一直未同步到公众号，这两天浏览了一下数据，4200+阅读量了，想着同步一下公众号，给大家做个参考。
HTTP Live Streaming（HLS）是Apple公司主导提出并实现的基于HTTP的自适应码率流媒体通信协议（RFC8216），作为其产品QuickTime，Safari，OS X和iOS的一部分，在Apple的产品生态链中占有重要地位。同时，越来越多的第三方厂商的产品，如Microsoft Edge，Firefox和 Google Chrome、安卓操作系统也都实现了对HLS的支持。而且有大量的流媒体服务器都支持HLS。
2017-05-11 by Liuqingwen | Tags: Unity3D | Hits
在互联网后端日常开发接口的时候中，不管你使用的是C、Java、PHP还是Golang，都避免不了需要调用mysql、redis等组件来获取数据，可能还需要执行一些rpc远程调用，或者再调用一些其它restful api。 在这些调用的底层，基本都是在使用TCP协议进行传输。这是因为在传输层协议中，TCP协议具备可靠的连接，错误重传，拥塞控制等优点，所以目前应用比UDP更广泛一些。 相信你也一定听闻过TCP也存在一些缺点，那就是老生常谈的开销要略大。但是各路技术博客里都在单单说开销大、或者开销小，而少见不给出具体的量化分析。不客气一点，这都是营养不大的废话。经过日常工作的思考之后，我更想弄明白的是，开销到底多大。一条TCP连接的建立需要耗时延迟多少，是多少毫秒，还是多少微秒？能不能有一个哪怕是粗略的量化估计？当然影响TCP耗时的因素有很多，比如网络丢包等等。我今天只分享我在工作实践中遇到的比较高发的各种情况。
总第526篇 2022年 第043篇 Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战，以及美团针对性的一些优化工作，希望能给从事相关开发工作的同学带来帮助或启发。 1. 现状和挑战 1.1 现状 1.2 挑战 2. 读写延迟优化 2.1 概览 2.2 应用层 2.3 系统层 2.4 混合层-SSD新缓存架构 3. 大规模集群管理优化 3.1 隔离策略 3.2 全链路监控 3.3 服务生命周期
前天写了一个雾锁王国开服教程，蹭的是幻兽帕鲁的服务器活动，但是今天有人反应开服已经没法选择具体系统镜像，只能选择幻兽帕鲁的镜像。我这个教程就是教会大家继续蹭幻兽帕鲁的服务器来开雾锁王国服务器。
前段时间，我将精力专注在Web性能领域；在这个领域下有个重要的课题是如何让网页更丝滑（流畅）。
VRRP（Virtual Router Redundancy Protocol，虚拟路由冗余协议）是一种容错协议。通常，一个网络内的所有主机都设置一条缺省路由（如下图所示，10.100.10.1），这样，主机发出的目的地址不在本网段的报文将被通过缺省路由发往路由器RouterA，从而实现了主机与外部网络的通信。当路由器RouterA坏掉时，本网段内所有以RouterA为缺省路由下一跳的主机将断掉与外部的通信。
基于腾讯云业界领先的视频云技术，提供一站式在线知识竞技接入方案，并独家提供微信小程序接入方案。
这是实现「 Kubernetes 集群零停机时间更新」系列文章的第三部分。在本系列的第二部分中，我们通过利用 Pod 生命周期钩子实现了应用程序Pod的正常终止，从而减轻了由于 Pod 未处理完已存请求而直接关机而导致的停机时间。但是，我们还了解到，在启动关闭序列后，Pod 会拒绝为新到来的流量提供服务，但实际情况是 Pod 仍然可能会继续接收到新流量。这意味着最终客户端可能会收到错误消息，因为它们的请求被路由到了不再能为流量提供服务的Pod。理想情况下，我们希望 Pod 在启动关闭后立即停止接收流量。为了减轻这种情况，我们必须首先了解为什么会发生Pod开始关闭时仍然会接收到新流量这个问题。
对于基于互联网的通信应用（比如IM聊天、推送系统），数据传递时使用TCP协议相对较多。这是因为在TCP/IP协议簇的传输层协议中，TCP协议具备可靠的连接、错误重传、拥塞控制等优点，所以目前在应用场景上比UDP更广泛一些。
好久没有写博客了，一直在不断地探索响应式DDD，又get到了很多新知识，解惑了很多老问题，最近读了Martin Fowler大师一篇非常精彩的博客The LMAX Architecture，里面有一个术语Mechanical Sympathy，姑且翻译成软硬件协同编程（Hardware and software working together in harmony），很有感悟，说的是要把编程与底层硬件协同起来，这样对于开发低延迟、高并发的系统特别地重要，为什么呢，今天我们就来讲讲CPU的高速缓存。
Redis作为内存数据库，拥有非常高的性能，单个实例的QPS能够达到10W左右。但我们在使用Redis时，经常时不时会出现访问延迟很大的情况，如果你不知道Redis的内部实现原理，在排查问题时就会一头雾水。
在上一篇文章中，介绍了 binlog 的基本内容，在一个主备关系中，每个备库接收主库的 binlog 并执行。
在后端服务中，经常有这样一种场景，写数据库操作在异步队列中执行，且这个异步队列是多进程运行的，这时如果对同一资源进行写库操作，很有可能产生数据被覆盖等问题，于是就需要业务层在更新数据库之前进行加锁，这样保证在更改同一资源时，没有其他更新操作干涉，保证数据一致性。
主备切换是很正常的操作，比如服务下线,断电,软件升级等等,首先我们先了解另外一个概念就是同步延迟，与数据同步的三个时间点如下
MySQL NDB Cluster团队致力于NDB架构核心部分的基础重新设计。这些更改之一是部分检查点算法。现在，用户可以充分利用它构建更大的集群，NDB 8.0可以在每个数据节点上使用16 TB的内存表，也可以使用磁盘数据构建3副本5 PB的集群。
点击上方蓝色“程序猿DD”，选择“设为星标” 回复“资源”获取独家整理的学习资料！ 来源 | http://kaito-kidd.com/2020/07/03/redis-latency-analysis/ Redis作为内存数据库，拥有非常高的性能，单个实例的QPS能够达到10W左右。但我们在使用Redis时，经常时不时会出现访问延迟很大的情况，如果你不知道Redis的内部实现原理，在排查问题时就会一头雾水。 很多时候，Redis出现访问延迟变大，都与我们的使用不当或运维不合理导致的。 这篇文章我们就来
Jellyfish 项目成功地降低了 Uber 的运营费用，并且未来可以节省更多的存储资源。这里介绍的分层概念可以通过多种方式进行扩展，进一步提高效率并降低成本。
Redis 作为内存数据库，拥有非常高的性能，单个实例的 QPS 能够达到 10W 左右。
延迟队列，顾名思义它是一种带有延迟功能的消息队列。那么，是在什么场景下我才需要这样的队列呢？
在生产环境中，直接登录服务器是非常不方便的，我们可以使用Kiali配置Istio的流量管理。
ChaosBlade 是阿里巴巴开源的一款遵循混沌工程原理和混沌实验模型的实验注入工具。 定义：混沌工程是一门对系统进行实验的学科，旨在了解系统对应生产环境的各种混乱状况的能力，建立对系统的信心。所有系统的用户都希望系统具备可靠性，但影响可靠性的因素有很多。混沌工程师能找到证据，指明那些异常但不可回避的状况下系统的应变情况。
MongoDB 提供了 TTL 索引自动在后台清理过期数据，该功能广泛应用在数据清理和分布式锁等业务场景，但是有些业务在使用过程中却发现并非那么理想。本文结合 4.2.11 版本的内核代码，以及腾讯云 MongoDB 产品多年的运营经验，对 TTL 索引原理、缺陷和优化措施进行描述，并对常用业务场景的解决方案进行探讨。
如上图，一个ADSL用户通过modem连接到网络，通过网络应用如IE,MSN，同某个服务器通信。如下，我们把上图简化为如下端到端的连接和访问操作。
买了一台数据库，最大连接数的参数是 4000，看起来很棒！但是 cpu 和内存并不咋好！是 2c4g的超低配制。
定时消息与延迟消息在代码配置上存在一些差异，但是最终达到的效果相同：消息在发送到 MQ 服务端后并不会立马投递，而是根据消息中的属性延迟固定时间后才投递给消费者。
Redis 通常是我们业务系统中一个重要的组件，比如：缓存、账号登录信息、排行榜等。
MySQL提供了一个连接控制插件，可以在用户连续尝试失败后增加服务器响应延迟，该功能提供了一种威慑，可以减缓针对MySQL用户帐户的暴力攻击。
第4章 服务弹性................................................................................................ 1
在前端产品中，我们无法保证用户的网络情况，也很难去从最末端节点优化自有网络部署。 这些或多或少地都会反映到用户端的加载延迟。
说明：一个redis实例可以包含多个数据库，客户端可以指定连接某个数据库（与MySql客户端我们创建多个数据库类似）一个redis实例最多可以提供16个数据库，下标是从0到15，默认连接的是第0号数据库。
本期继续分享关于Redis的知识，让你掌握在Redis变慢后不会慌张，冷静下来分析问题，为了方便阅读，文章分为上下两篇！
上周我们介绍了大数据调度YARN在B站的落地实践（←点击回顾前文），本周哔哩哔哩技术给大家带来的是HDFS在B站的应用与展望。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
开始正文, 有任何疑问都可以在评论区留言,以laravel5.8框架为基础来编写业务逻辑。
DVIIN1_CLK为输入视频源的随路时钟，用于检测分辨率的时钟，行分辨率的检测从视频源的数据有效信号DVIIN1_DE的上升沿开始计数，直到DVIIN1_DE的下降沿对HsNum锁存输出。列分辨率的检测的是一个DVIIN1_HS有效期间检测DVIIN1_DE的上升沿或者下降沿个数（实现方式如下），然后在DVIIN1_HS的下降沿将VsNum锁存输出。
之前看过 《大规模分布式存储系统：原理解析与架构实战》 ，这个系统设计还是挺有意思的，里面提及了Google的一整套系统都有论文，而且现在已经进化到下一代支持分布式跨行事务的关系型数据库系统了。所以一直很想抽时间看看Google的那套去中心化并且可以平行扩容的分布式系统和数据库的论文。之前一些计划中的我自己的项目的优化项都差不多完成了，这段时间就陆陆续续的看完了这三篇Paper，可怜我的渣渣英语，所以看得比较慢。
一、延迟队列使用场景二、zset如何实现延迟队列三、springboot基于zset实现延迟队列四、做成服务化五、使用zset实现延迟队列的缺点六、其他实现方式
在服务上线后总有些不尽人意的时候，初次使用Redis集群部署Redis主从同步出现切换故障，也是常有发生，本篇文章主要分享Redis主从同步切换有哪些坑可以尽量避免！
平滑关闭和服务摘流是保证部署了多节点的应用能够持续稳定对外提供服务的两个重要手段，平滑关闭保证了应用节点在关闭之前处理完已接收到的请求，以前在文章「学习用Go编写HTTP服务」里给大家介绍过怎么用net/http库提供的 http.ShutDown平滑关停HTTP 服务，今天再给大家介绍一下gRPC分布式服务的平滑关停方法。应用在进入平滑关闭阶段后拒绝为新进来的流量提供服务，如果此时继续有新流量访问而来，势必会让发送请求的客户端感知到服务的断开，所以在平滑关闭应用前我们还要对应用节点做摘流操作，保证网关不会再把新流量分发到要关闭的应用节点上才行。
主从复制延迟的几个因素 从库硬件比主库差，导致复制延迟 主从复制单线程，主库写并发太大，来不及传送到从库导致延迟（更高版本的mysql可以支持多线程复制） 慢SQL语句过多，网络延迟，master负载主库读写压力大，导致复制延迟（架构的前端要加buffer及缓存层slave负载） #解决办法 使用多台slave来分摊读请求，再从这些slave中取一台专用的服务器只作为备份用，不进行其他任何操作,或者使用比主库更好的硬件设备作为slave 可以减少延迟的参数: –slave-net-timeout=seco
对上述的任务，我们给一个专业的名字来形容，那就是延时任务。那么这里就会产生一个问题，这个延时任务和定时任务的区别究竟在哪里呢？一共有如下几点区别
Redis是非常经典优秀的内存数据库，其拥有非常高的性能；其单机实例在数据结构设计良好，实例健康的情况下能达到10w左右的OPS
尤其redis这类敏感的纯内存、高并发和低延时的服务，一套完善的监控告警方案，是精细化运营的前提。
Redis 作为优秀的内存数据库，其拥有非常高的性能，单个实例的 OPS 能够达到 10W 左右。但也正因此如此，当我们在使用 Redis 时，如果发现操作延迟变大的情况，就会与我们的预期不符。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
