首页
学习
活动
专区
工具
TVP
发布

大数据成神之路

专注大数据领域的一切技术~
专栏作者
636
文章
1289192
阅读量
317
订阅数
浅谈RabbitMQ的基石—高级消息队列协议(AMQP)
自从去年做了不少流式系统(Flink也好,Spark Streaming也好)对接RabbitMQ的实时作业。之前一直都在Kafka的领域里摸爬滚打,对RabbitMQ只是有浅薄的了解而已。随着自己逐渐把RabbitMQ的官方文档大致翻完,了解到它是高级消息队列协议(Advanced Message Queuing Protocol, AMQP)的一种标准实现。也就是说,搞清楚AMQP是掌握好RabbitMQ哲学的基础。
王知无-import_bigdata
2020-12-08
1.7K0
一文了解Kafka核心概念和角色
比如说,topic有6个partition,有两个broker,那每个broker就管3个partition。
王知无-import_bigdata
2020-07-03
1.8K0
Kafka下的生产消费者模式与订阅发布模式
生产消费者模式,指的是由生产者将数据源源不断推送到消息中心,由不同的消费者从消息中心取出数据做自己的处理,在同一类别下,所有消费者拿到的都是同样的数据;订阅发布模式,本质上也是一种生产消费者模式,不同的是,由订阅者首先向消息中心指定自己对哪些数据感兴趣,发布者推送的数据经过消息中心后,每个订阅者拿到的仅仅是自己感兴趣的一组数据。这两种模式是使用消息中间件时最常用的,用于功能解耦和分布式系统间的消息通信。
王知无-import_bigdata
2020-06-06
3.8K0
消息队列面面观
其实就是问问你消息队列都有哪些使用场景,然后你项目里具体是什么场景,说说你在这个场景里用消息队列是什么?
王知无-import_bigdata
2020-03-04
6780
消息可靠性、重复消息、消息积压、利用消息实现分布式事务
可以利用消息队列的有序性来验证是否有消息丢失。在Producer端给每个发出的消息附加一个连续递增的序号,然后在Consumer端来检查这个序号的连续性。如果没有消息丢失,Consumer收到消息的序号必然是连续递增的,如果检测到序号不连续,那就是丢消息了。还可以通过缺失的序号来确定丢失的是哪条消息,方便进一步排查原因
王知无-import_bigdata
2019-11-21
1.2K0
解密 Redis 助力双 11 背后电商秒杀系统
秒杀活动是绝大部分电商选择的低价促销、推广品牌的方式。不仅可以给平台带来用户量,还可以提高平台知名度。一个好的秒杀系统,可以提高平台系统的稳定性和公平性,获得更好的用户体验,提升平台的口碑,从而提升秒杀活动的最大价值。
王知无-import_bigdata
2019-11-07
1K0
数据仓库介绍与实时数仓案例
数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。
王知无-import_bigdata
2019-07-23
2.6K0
关于MQ面试的几件小事 | 消息队列的用途、优缺点、技术选型
(1)解耦:可以在多个系统之间进行解耦,将原本通过网络之间的调用的方式改为使用MQ进行消息的异步通讯,只要该操作不是需要同步的,就可以改为使用MQ进行不同系统之间的联系,这样项目之间不会存在耦合,系统之间不会产生太大的影响,就算一个系统挂了,也只是消息挤压在MQ里面没人进行消费而已,不会对其他的系统产生影响。
王知无-import_bigdata
2019-07-18
8620
庖丁解牛 | 图解 RocketMQ 核心原理
a. fork下来,起一个demo,上一个测试环境,遇到问题再去社区提问或找些实践文章;
王知无-import_bigdata
2019-07-09
8870
一道真实的阿里面试题 | 如何保证消息队列的高可用
如果你的简历里写了MQ,如果有人问到你 MQ 的知识,高可用是必问的。MQ 会导致系统可用性降低。所以只要你用了 MQ,接下来问的一些要点肯定就是围绕着 MQ 的那些缺点怎么来解决了。
王知无-import_bigdata
2019-07-09
1.3K0
下一代分布式消息队列Apache Pulsar
Apache Pulsar是一个企业级的分布式消息系统,最初由Yahoo开发并在2016年开源,目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多,主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。 Pulsar之所以能够称为下一代消息队列,主要是因为以下特性:
王知无-import_bigdata
2019-06-18
1.4K0
Apache Kafka简单入门
为了理解Kafka是如何做到以上所说的功能,从下面开始,我们将深入探索Kafka的特性。
王知无-import_bigdata
2019-05-17
7840
13-Flink-Kafka-Connector
顾名思义,生产者就是生产消息的组件,它的主要工作就是源源不断地生产出消息,然后发送给消息队列。生产者可以向消息队列发送各种类型的消息,如狭义的字符串消息,也可以发送二进制消息。生产者是消息队列的数据源,只有通过生产者持续不断地向消息队列发送消息,消息队列才能不断处理消息。
王知无-import_bigdata
2019-03-05
1.1K0
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档