原 EMQ百万级MQTT消息服务(分布式集群)

在强大的单机也比不上集群,EMQ的集群模式很粗暴,只需要把EMQ服务关联在一起然后负载均衡就可以达到集群的效果,这样就算面对1000CK问题也迎刃而解

附上:

喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html

1.集群方式接受

Erlang/OTP 最初是爱立信为开发电信设备系统设计的编程语言平台,电信设备(路由器、接入网关、…)典型设计是通过背板连接主控板卡与多块业务板卡的分布式系统。 Erlang/OTP 语言平台的分布式程序,由分布互联的 Erlang 运行系统组成,每个 Erlang 运行系统被称为节点(Node),节点(Node) 间通过 TCP 互联,消息传递的方式通信:

---------         ---------
| Node1 | --------| Node2 |
---------         ---------
    |     \     /    |
    |       \ /      |
    |       / \      |
    |     /     \    |
---------         ---------
| Node3 | --------| Node4 |
---------         ---------

EMQ 消息服务器集群基于 Erlang/OTP 分布式设计,集群原理可简述为下述两条规则:

  • MQTT 客户端订阅主题时,所在节点订阅成功后广播通知其他节点:某个主题(Topic)被本节点订阅。
  • MQTT 客户端发布消息时,所在节点会根据消息主题(Topic),检索订阅并路由消息到相关节点。

EMQ 消息服务器同一集群的所有节点,都会复制一份主题(Topic) -> 节点(Node)映射的路由表,例如:

topic1 -> node1, node2
topic2 -> node3
topic3 -> node2, node4

EMQ集群方式分别有以下方式:

  • manual 手工命令创建集群
  • static 静态节点列表自动集群
  • mcast UDP 组播方式自动集群
  • dns DNS A 记录自动集群
  • etcd 通过 etcd 自动集群
  • k8s Kubernetes 服务自动集群

为了方便我们这里使用static方式关联节点

2.集群搭建

这里已经基于Centos7.4搭建并且调优好了两台EMQ,内网IP分别是192.168.2.111和192.168.2.112

首先需要修改Node名称

vim /usr/local/emqttd/etc/emq.conf

node.name = emq@192.168.2.111

> emqttd_ctl status
Node 'emq@192.168.2.111' is started
emqttd 2.3.5 is running

修改配置文件配置使用静态方式链接节点(所有节点都需要修改)

> vim /usr/local/emqttd/etc/emq.conf 

cluster.discovery = static

##--------------------------------------------------------------------
## Cluster with static node list
cluster.static.seeds = emq@192.168.2.111,emq@192.168.2.112

为了安全Erlang 节点间通过一个相同的 cookie 进行互连认证。Erlang 节点 Cookie 设置:

# 在node1上执行
> emqttd stop
> emqttd start
> scp $HOME/.erlang.cookie root@192.168.2.112:$HOME/.erlang.cookie

通过命令查看集群状态

> emqttd_ctl cluster status

Cluster status: [{running_nodes,['emq@192.168.2.111','emq@192.168.2.112']}]

通过界面可以看到如下显示

3 总结

有了集群就解决了大规模部署的问题,但是在实际使用中还有很多需要关注的点,在下一节将介绍用户体系和ACL鉴权

注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程坑太多

『高级篇』docker之了解kubernetes(31)

PS:(梳理概念)pod里面包括N个容器,service里面包括pod,Deployment可能包括service或者是pod。

1364
来自专栏张善友的专栏

WCF的追踪分析工具——SvcPerf

Microsoft最近发布了SvcPerf,它是一个端到端的基于Windows事件追踪(ETW)的追踪查看器,可用于基于清单的追踪。你能够通过这个工具查看ETL...

2036
来自专栏张戈的专栏

纯64位版浏览器:Waterfox水狐浏览器

近期博主将自己的本本的内存从 2G 升级到 4G,勉勉强强实现了不正规双通道(CPU-Z 检测成功)。为了最大程度地发挥这 6G 的性能,博主又将系统升级到了 ...

3888
来自专栏琯琯博客

awesome-sysadmin-cn资源

系统管理员 资源列表,内容包括:备份/克隆软件、云计算/云存储、协作软件、配置管理、日志管理、监控、项目管理 备份 备份软件 Amanda:客户端-服务器模型备...

61412
来自专栏iOS 开发杂谈

iOS直播app之Mac搭建nginx+rtmp服务器

前言 今年移动直播行业的兴起,很多公司都在做直播,转眼间过了大半年了,直播的各种技术相对成熟了起来。今天我们公司也追赶潮流,索性我也转战直播,下面从第一步开始...

4504
来自专栏计算机视觉与深度学习基础

计算机视觉与图像处理学习笔记(二)win32+mingw+opencv搭建

本来是想接着第二章学习的,但是感觉理论性有点强,了解基本概念后还是从Opencv来,遇到问题再切换。 关于opencv的下载与配置参考: http://open...

2149
来自专栏恰同学骚年

Linux下的.NET之旅:第一站,CentOS+Mono+Xsp构建最简单的ASP.NET服务器

  由于Linux/Unix等有更强的安全性、运行效率高、拥有大量优秀的开源组件,而.Net则有着其他语言无与伦比的开发效率,因此在非微软平台下运行.Net程序...

1364
来自专栏架构师之路

100行代码,搞定http监控框架

集群信息管理,员工信息管理,告警策略管理,几篇前戏已经铺垫足够,今天,分享如何用100行代码搞定一个可扩展,通用的http监控框架。 一、常见的http监控玩法...

4056
来自专栏云瓣

Git分支合并选择

   用Git进行多人协作开发时,必然会合并代码,解决冲突。然而合并代码也是需要点技巧的,如果对一些关键命令没有理解去使用的话,git的版本演进路线就会变得很乱...

2605
来自专栏bboysoul

一个centos初始化脚本

这个是给最小化安装的centos使用的,在centos 7.5上测试过,当然其他的centos系统一般也没有什么问题,欢迎反馈,测试还有提交建议

2034

扫码关注云+社区