相关内容
为什么要用消息队列？
本文公众号来源：javafamily作者：敖丙前言消息队列在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难作为一个在互联网公司面一次拿一次offer的面霸，打败了无数竞争对手，每次都只能看到无数落寞的身影失望的离开，略感愧疚（请允许我使用一下...
消息队列面试都怎么问？
前言消息队列在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难作为一个在互联网公司面一次拿一次offer的面霸，打败了无数竞争对手，每次都只能看到无数落寞的身影失望的离开，略感愧疚（请允许我使用一下夸张的修辞手法）。 于是在一个寂寞难耐...
高性能消息队列 CKafka 核心原理介绍（上）
2.3.2. 12 message消息，是通信和存储的最小单位。 其包含一个变长头部，一个变长key，和一个变长value。 其中key和value是用户自己指定，对用户来说是不透明的。 message的详细格式下面会有介绍，这里先不展开说明。 下一篇：《高性能消息队列 ckafka 核心原理介绍（下）》...
Centos6下RocketMQ集群部署记录
也不影响正常下单，因为下单后，订单系统写入消息队列就不再关心其他的后续操作了。 实现订单系统与库存系统的应用解耦。 3）流量削锋，也是消息队列中的常用场景，一般在秒杀或团抢活动中使用广泛。 应用场景：秒杀活动，一般会因为流量过大，导致流量暴增，应用挂掉。 为解决这个问题，一般需要在应用前端加入消息...
微服务架构系列一：关键技术与原理研究
常用消息队列有activemq，rabbitmq，kafka，除此外还有activemq的下一代产品更快更强健的apollo，以及阿里开源的支撑多次双十一活动的rocketmq，甚至我们非常熟悉的内存数据库redis也可以基于发布和订阅做简单的消息队列。 在技术选型时，我采用的是kafka——linkedin在2010年12开源后由apache软件基金会开发的通过...
一文讲透微服务下如何保证事务的一致性
因此，引入了消息队列，一方面解决了同步通信机制造成的阻塞，另一方面通过消息队列进行业务解耦。 请参见图 6-12。? 可靠事件模式，通过引入可靠的消息队列，只要保证当前的可靠事件投递并且消息队列确保事件传递至少一次，那么订阅这个事件的消费者保证事件能够在自己的业务内被消费即可。 这里，请读者思考，是否...
这三年被分布式坑惨了，曝光十大坑
消息队列的坑之消息积压消息积压：消息队列里面有很多消息来不及消费。 场景 1： 消费端出了问题，比如消费者都挂了，没有消费者来消费了，导致消息在队列里面不断积压。 场景 2： 消费端出了问题，比如消费者消费的速度太慢了，导致消息不断积压。 坑：比如线上正在做订单活动，下单全部走消息队列，如果消息不断...
Java面试笔试题大汇总(最全+详细答案)
② 异步操作：可以使用消息队列将调用异步化，通过异步处理将短时间高并发产生的事件消息存储在消息队列中，从而起到削峰作用。 电商网站在进行促销活动时，可以将用户的订单请求存入消息队列，这样可以抵御大量的并发订单请求对系统和数据库的冲击。 目前，绝大多数的电商网站即便不进行促销活动，订单系统都采用了...
面试官：缓存一致性问题怎么解决？| 文末送书
先更新数据库，成功后往消息队列发消息，消费到消息后再删除缓存，借助消息队列的重试机制来实现，达到最终一致性的效果。? 这个解决方案其实问题更多。 ...先删缓存，再更新数据库 先删除缓存，数据库还没有更新成功，此时如果读取缓存，缓存不存在，去数据库中读取到的是旧值，缓存不一致发生。? 解决方案 延时...
从技术角度谈一谈，我参与设计开发的手Q春节红包项目
队列堆积丢弃后台逻辑层使用spp框架，worker处理消息前先检查消息在spp消息队列中等待时间是否超出了预设阈值（500ms），在队列中堆积过久的消息前端已经...新增一场活动也只需要增加一个配置文件，并可以在一个视图上灵活切换，相当方便。? 从上图中我们就可以实时看到实发和应发是大致相等的，队列没有出现堆积...
海量服务实践──手Q游戏春节红包项目设计与总结
队列堆积丢弃后台逻辑层使用spp框架，worker处理消息前先检查消息在spp消息队列中等待时间是否超出了预设阈值（500ms），在队列中堆积过久的消息前端已经...新增一场活动也只需要增加一个配置文件，并可以在一个视图上灵活切换，相当方便。 ? 从上图中我们就可以实时看到实发和应发是大致相等的，队列没有出现...
基础拾遗----RabbitMQ
前言 消息队列,在高并发环境下，由于来不及同步处理，请求往往会发生堵塞，比如说双十一很多人进行下单，购买物品这是对于数据的操作是非常之大的，不管是是insert还是update是不是都有及时操作数据库，那么就有可能造成数据库思索移除什么堆积阻塞。 那么我们这时是不是加入异步，nosql是不是能减轻其压力...
用太极拳讲分布式理论，真舒服！
过载保护：比如我们常用的消息队列占满了，可以考虑丢弃后来的请求，或清除队列中的一些请求，保护系统不过载，但这都需要结合自身的业务场景来设计...基本可用可以用四种方案来实现。 流量削峰：比如多个秒杀场次，某东的 8 点秒杀场，12 点的秒杀场。 延迟响应：比如双 11 期间某商城创建的订单，会提示...
全链路压测第一次实践
8、线上容量评估为了在压测开展前对目前线上的服务容量有一个初步的了解，需要对各个核心服务、消息队列、缓存以及db的容量进行了梳理汇总。 9、线上链路监控监控就是我们的眼睛，有了监控，才能快速发现问题并定位修复问题。 这一点，基础架构的同学为此做了很多工作。 比如：链路追踪监控的cat、可视化监控大盘g...
基于支付场景下的微服务改造与性能优化
kafka是linkedin于2010年12月开发并开源的一个分布式mq系统，现在是apache的一个孵化项目，是一个高性能跨语言分布式publishsubscribe消息队列系统...一般在秒杀或团抢活动中使用广泛，可以通过队列控制秒杀的人数和商品，还可以缓解短时间压垮应用系统的问题。 （6）日志处理。 我们在做监控或日志采集的...
基于支付场景下的微服务改造与性能优化
kafka是linkedin于2010年12月开发并开源的一个分布式mq系统，现在是apache的一个孵化项目，是一个高性能跨语言分布式publishsubscribe消息队列系统...一般在秒杀或团抢活动中使用广泛，可以通过队列控制秒杀的人数和商品，还可以缓解短时间压垮应用系统的问题。 （6）日志处理。 我们在做监控或日志采集的...
基于支付场景下的微服务改造与性能优化
kafka是linkedin于2010年12月开发并开源的一个分布式mq系统，现在是apache的一个孵化项目，是一个高性能跨语言分布式publishsubscribe消息队列系统...一般在秒杀或团抢活动中使用广泛，可以通过队列控制秒杀的人数和商品，还可以缓解短时间压垮应用系统的问题。 （6）日志处理。 我们在做监控或日志采集的...
CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、CMQ、kafka和Ckafka（二）
导语：上一章我们聊到了：什么是消息队列，为什么要用消息队列，有那些消息队列？ 下来我们聊聊什么样的消息队列适合我们公司。 在技术领域，从来都没有最好的工具，只有最合适自己公司的工具。 接下来会从工具的优缺点、使用场景、规模、高可用，性能，综合分析来选用适合自己公司的消息队列。 一、rabbitmq、rocket...
腾讯会议大规模任务调度系统架构设计
q：是全双工网络编程实现的吗？ a：它是通过消息队列来进行通讯的，所以它是全双工的。 q :冷备为什么可以马上切换？ a：通过分布式锁这样的方式，如果主...腾讯会议作为一款非常便捷的远程协作工具，成为了国内众多企业日常会议沟通交流的主要平台，这款产品从2019年12月26号正式推出，如何在这么短的时间内有效...
面试知识点总结(持续更新)
缺点：在消费者下线的情况下，生产的消息会丢失，得使用专业的消息队列如rabbitmq等。 能不能生产一次消费多次呢？ 使用pubsub主题订阅者模式，可以实现1:n的消息队列。 redis实现消息队列 普通队列:一般使用list结构作为队列，rpush生产消息，lpop消费消息,blpop阻塞消费。 消费多次：生产一次消费多次的情况使用...
