activeMQ 填坑记

前言

MQ是现在大型系统架构中必不可少的一个重要中间件,之前有偏文章《MQ(消息队列)常见的应用场景解析》介绍过MQ的应用场景,现在流行的几个MQ是rabbitmq,rocketma,kafka,这几个MQ比较最容易找到相关的文章,而也有些系统使用的是activemq,因activemq是相对比较传统的MQ,在使用过程中还是会遇到很多坑,这里简单列举几个大家可能会遇到的问题,把自己使用acitvemq的经验和大家分享一下。

Mysql 持久化

现在大家使用MQ,基本都是会把数据进行持久化,MQ默认存储持久化数据使用kahaDB,但是鉴于大家对mysql比较熟悉,很多人会选择mysql进行数据的持久化,因为mysql查看数据还是比较方便的。如果需要把持久化方式改为mysql,则需要修改如下配置:

<persistenceAdapter>
           <jdbcPersistenceAdapter dataDirectory="${activemq.data}" dataSource="#mysql-ds" createTablesOnStartup="false" useDatabaseLock="false"/>
           <!-- 下面是默认的kahaDB方式,注释掉 -->
    <!-- <kahaDB directory="${activemq.data}/kahadb"/> -->
       </persistenceAdapter>

这里的配置有几个地方大家需要关注下:

配置

说明

dataDirectory

需要配置和broker 的dataDirectory 一致

dataSource

数据源的选择,关联数据库的具体配置,下文会具体说明

useDatabaseLock

是否使用数据库锁,主要是在程序启动的时候会同步查询数据,导致数据库锁

还需要配置数据库的连接、账号、密码等:

<!-- MySql DataSource  Setup -->
   <bean id="mysql-ds" class="org.apache.commons.dbcp2.BasicDataSource" destroy-method="close">
   	<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
   	<property name="url" value="jdbc:mysql://0.0.0.0:3306/activemq?relaxAutoCommit=true"/>
   	<property name="username" value="root"/>
   	<property name="password" value="******"/>
   	<property name="poolPreparedStatements" value="true"/>
   </bean>

其中,id 名和上文提到的datasource应该是一样的。否则,不知道连接哪个实例。

数据库连接池问题

启动activemq如果提示数据库的连接池有问题,这可能是少了lib,增加

  • mysql-connector-java-5.1.30.jar
  • commons-dbcp2-2.1.1.jar
  • commons-pool2-2.4.2.jar

三个包,放到lib目录即可

管理界面无法打开

如果正常启动了,但是管理界面无法启动,那么需要修改下管理界面的数据库连接。

使用MQ主要原因之一是MQ性能比传统关系数据库性能要好,但是把MQ数据存储的mysql其实不是一个很好的选择,反其道而行之,虽然这样用的团队不少,但是强烈推荐不要这么做。还是用默认的存储方式,确保性能为主。

activeMQ过期配置

前文说过,activemq性能本来就不是最优的,特别是使用了mysql作为数据库存储工具后,性能更加不靠谱,所以性能优化,是个重要的工作,定期清理MQ的过期信息,就显的非常重要了。

定期清理无效的队列

配置如下:

<destinationPolicy>
            <policyMap>
              <policyEntries>


                <policyEntry queue=">" gcInactiveDestinations="true" inactiveTimoutBeforeGC="10000">
                <deadLetterStrategy>
                    <sharedDeadLetterStrategy processExpired="true" expiration="30000"/>
                </deadLetterStrategy>
                 </policyEntry>



                <policyEntry topic=">" gcInactiveDestinations="true" inactiveTimoutBeforeGC="10000" >
                   
                  <pendingMessageLimitStrategy>
                    <constantPendingMessageLimitStrategy limit="1000"/>
                  </pendingMessageLimitStrategy>
                </policyEntry>

              </policyEntries>
              
            </policyMap>
        </destinationPolicy>

定期自动清理无效的Topic和Queue,这个配置,只会清除设置的时间内,没有被订阅,同时队列没有遗留数据的队列。 同时,对于boker节点,需要设置schedulePeriodForDestinationPurge 参数,表示多长之间执行一次检测。

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="localhost01" dataDirectory="${activemq.data}" 
   useJmx="true" schedulePeriodForDestinationPurge="5000">

设置消息的全局过期时间

开发的时候,大家应该都知道可以设置消息的过期时间,是否有统一设置消息的过期时间呢? 在broker节点下增加如下的配置:

<plugins>
        <!-- 86400000 为一天,设置为10天过期 -->
          <timeStampingBrokerPlugin ttlCeiling="10000"
          zeroExpirationOverride="10000" />
      </plugins>

为了便于测试,我设置的是10s,当然,生产环境根据自己的是实际设置的会比较长。过期的时间会进入死信,死信也会沿用此时间,到期后,系统就会自动删除信息了。 经过我个人的实践经验,MQ积累的数据达千万级别后,性能下降的比较厉害,定期清理MQ的消息,是优化性能非常重要的一个操作。

总结

现如今,MQ的选择很多,建议还是优先选择rabbitmq、rocketmq或者是kafka,如果已经选择activemq,需要持续关注MQ的消费情况,最好能设置过期时间,定期清理消息队列的数据,避免数据的积累,造成性能的下降。


原文发布于微信公众号 - IT米粉(itmifen)

原文发表时间:2018-08-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏拂晓风起

Firefox 扩展开发 扩展学习 工具

1258
来自专栏云计算教程系列

如何在CentOS 7上使用FirewallD设置防火墙

Firewalld是一种防火墙管理解决方案,可用于许多Linux发行版,它们充当Linux内核提供的iptables包过滤系统的前端。在本教程中,我们将介绍如何...

2860
来自专栏马涛涛的专栏

Session

类比:session相当于发会员卡,会员卡上只有卡号(sessionID)。下次去健身房的时候,只要看卡号上,就能确定你本人的去他信息。 而cookie相当于把...

2223
来自专栏L宝宝聊IT

puppet部署与应用

1574
来自专栏极客慕白的成长之路

搭建自己的Git服务器

搭建Git服务器   让我们先看下服务器端SSH访问的配置。在这个例子中,我们使用authorized_keys的方法认证用户。我们假设你的服务器是一个标...

2061
来自专栏芋道源码1024

全面了解 Nginx 到底能做什么

本文只针对Nginx在不加载第三方模块的情况能处理哪些事情,由于第三方模块太多所以也介绍不完,当然本文本身也可能介绍的不完整,毕竟只是我个人使用过和了解到过得。...

1072
来自专栏后端技术探索

Nginx服务器架构简析

模块化结构的思想是一个很久的概念,但也正是成熟的思想造就了Nginx的巨大优越性。

1103
来自专栏后端技术探索

Nginx从听说到学会(3.进程模型)

众所周知,nginx性能高,而nginx的高性能与其架构是分不开的。那么nginx究竟是怎么样的呢?这一节我们先来初识一下nginx框架吧。

962
来自专栏从流域到海域

数据库连接池

数据库连接池相关资料: 关于数据库连接池的使用,首先我们要明白我们为什么要用它,对应普通的数据库连接操作,通常会涉及到以下一些操作是比较耗时的: 网络通讯...

2537
来自专栏HansBug's Lab

【gitlab】gitlab快速部署教程

下载页面: https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/ubuntu/pool/xenial/main/g/g...

3351

扫码关注云+社区

领取腾讯云代金券