应用Druid进行数据源、SQL、Web应用、URI、Session等监控的简单实现

最近由于用户量的增加,项目有点力不从心了,感觉比以前慢了许多,着实给咱程序猿吓了一跳,莫非RP有限? 那当然是不可能的啦!仔细排查了下原因,有一点不可以质疑的就是SQL执行效率低,但是在项目茫茫SQL语句中如何找到那些SQL语句执行效率低呢?这时候Druid该派上用场啦!

首先来介绍下Druid(copy一段说明哈!)

Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。

Druid的主要特征:

  • 为分析而设计——Druid是为OLAP工作流的探索性分析而构建,它支持各种过滤、聚合和查询等类;
  • 快速的交互式查询——Druid的低延迟数据摄取架构允许事件在它们创建后毫秒内可被查询到;
  • 高可用性——Druid的数据在系统更新时依然可用,规模的扩大和缩小都不会造成数据丢失;
  • 可扩展——Druid已实现每天能够处理数十亿事件和TB级数据。

Druid可以做什么:

  • 替换DBCP和C3P0。Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。
  • 可以监控数据库访问性能,Druid内置提供了一个功能强大的StatFilter插件,能够详细统计SQL的执行性能,这对于线上分析数据库访问性能有帮助。
  • 数据库密码加密。直接把数据库密码写在配置文件中,这是不好的行为,容易导致安全问题。DruidDruiver和DruidDataSource都支持PasswordCallback。
  • SQL执行日志,Druid提供了不同的LogFilter,能够支持Common-Logging、Log4j和JdkLog,你可以按需要选择相应的LogFilter,监控你应用的数据库访问情况。
  • 扩展JDBC,如果你要对JDBC层有编程的需求,可以通过Druid提供的Filter机制,很方便编写JDBC层的扩展插件。

Druid已经在阿里巴巴部署了超过600个应用,经过一年多生产环境大规模部署的严苛考验。巴巴都已经部署这么应用了,那我们还等什么呢!哈哈! 配置很简单。

第一步: 下载druid包 Maven配置:

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.0.15</version>
</dependency>

第二步: 修改web.xml,添加druid的SQL监控,以及Web应用等监控配置。

<!-- 添加druid监控-->   
<servlet>  
    <servlet-name>DruidStatView</servlet-name>  
    <servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>  
</servlet>  
<servlet-mapping>  
    <servlet-name>DruidStatView</servlet-name>  
    <url-pattern>/druid/*</url-pattern>  
</servlet-mapping>
<!-- 添加Web应用等监控-->  
<filter>
    <filter-name>DruidWebStatFilter</filter-name>
    <filter-class>com.alibaba.druid.support.http.WebStatFilter</filter-class>
    <init-param>
        <param-name>exclusions</param-name>
        <param-value>*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*</param-value>
    </init-param>
    <init-param>
        <param-name>profileEnable</param-name>
        <param-value>true</param-value>
    </init-param>
    <init-param>
        <param-name>principalCookieName</param-name>
        <param-value>USER_COOKIE</param-value>
    </init-param>
    <init-param>
        <param-name>principalSessionName</param-name>
        <param-value>USER_SESSION</param-value>
    </init-param>
</filter>
<filter-mapping>
    <filter-name>DruidWebStatFilter</filter-name>
    <url-pattern>/*</url-pattern>
</filter-mapping>

说明:上边DruidStatView为监控SQL和数据源,下边filter的DruidWebStatFilter是监控Web应用,URI,Session监控。

第三步: 修改spring配置文件的获取数据源配置

<!--读取配置文件-->
<bean id="propertyConfigurer" class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
    <property name="locations">
         <list>
             <value>classpath:jdbc.properties</value>
         </list>
     </property>
</bean>

<!-- Druid JNDI DataSource for J2EE environments -->
<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
    <property name="url" value="${jdbc.url}" />
    <property name="username" value="${jdbc.username}" />
    <property name="password" value="${jdbc.password}" />

    <property name="maxActive" value="20" />
    <property name="initialSize" value="1" />
    <property name="maxWait" value="60000" />
    <property name="minIdle" value="1" />

    <property name="timeBetweenEvictionRunsMillis" value="3000" />
    <property name="minEvictableIdleTimeMillis" value="300000" />

    <property name="validationQuery" value="SELECT 'x' FROM DUAL" />
    <property name="testWhileIdle" value="true" />
    <property name="testOnBorrow" value="false" />
    <property name="testOnReturn" value="false" />
       <!-- mysql 不支持 poolPreparedStatements-->
    <!--<property name="poolPreparedStatements" value="true" />-->
    <!--<property name="maxPoolPreparedStatementPerConnectionSize" value="20" />-->

       <!-- 开启Druid的监控统计功能 -->
    <property name="filters" value="stat" />

</bean>

说明:只需将dataSource获取方式改成DruidDataSource即可,里面的 参数可以从配置文件jdbc.properties里面配置。

好了,经过上边三个步骤,就可以进行监控了。访问页面http://127.0.0.1:8080/{projectName}/druid/sql.html就可以访问监控页面了,druid已经将数据友好的显示到页面上了,包括每条sql执行的次数,执行的时间,最慢时间等等很多详细信息,供我们参考,找到哪些执行效率低的耗时长的语句进行优化。同时提供数据源、sql防火墙,web应用,URI监控、Session监控,spring监控等,里面有详细的各种数据信息,大家可以参考查阅。

下边是监控结果页面截图

效果不错吧!

当然我们用到的只是druid的冰山一角,下边贴上相关参考资料,供大家学习参考。 github druid源码 druid官网docs druid在线文档

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏非著名程序员

分享一款值得分享的写作工具

俗话说的好:工欲善其事,必先利其器。作为技术的工匠来说,不仅仅需要好的开发工具,好的开发工具可以提高我们的工作效率,但是我们还需要更好的写作和总结工具才行,这样...

2256
来自专栏iMySQL的专栏

MySQL FAQ 系列 : 不同的 binlog_format 会导致哪些 SQL 不会被记录

MySQL Replication 可以支持比较灵活的 binlog 规则,可以设置某些库、某些表记录或者忽略不记录。 我经过比较简单的测试,对不同的 binl...

1370
来自专栏惨绿少年

MongoDB 分片集群技术

---- 在了解分片集群之前,务必要先了解复制集技术! ----  1.1 MongoDB复制集简介   一组Mongodb复制集,就是一组mongod进程,...

3899
来自专栏Python绿色通道

Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况

今天我们要做的事情是使用动态爬虫来爬取QQ空间的说说,并把这些内容存在txt中,然后读取出来生成云图,这样可以清晰的看出朋友的状况。

1101
来自专栏数据和云

青铜到王者,看看你的MySQL数据库是什么段位,如何提升?

作者 | 张甦, 数据库领域的专家和知名人士、图书《MySQL王者晋级之路》作者,51CTO 专家博主。近10年互联网线上处理及培训经验,专注于 MySQL 数...

1284
来自专栏数据和云

MySQL 传统复制与 GTID 复制原理及操作详解

MySQL 复制在业界里有叫:mysql 同步,ab 复制等。专业名称就是叫:复制。

1004
来自专栏Youngxj

Html5 Canvas多表盘时钟绘制

1084
来自专栏大数据

微博爬虫

全文简介 本文是用Python爬取微博移动端的数据。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严...

1955
来自专栏杨建荣的学习笔记

MHA的补充和定制规划

之前画过一版MHA的故障图,最近和同事做了系统详细的测试,发现了一些问题,有些是预料之外的场景,有些是目前MHA没有更好的保证和实现,斟酌再三做了取舍。 因为...

3189
来自专栏大数据互联网思维

如何利用迅捷画图绘制工作流程图

迅捷画图可以绘制流程图,思维导图并且能制作的很精美出来,那怎样利用迅捷画图绘制工作流程图呢?下面是小编辑总结的操作方法,可以参考步骤进行操作使用。

964

扫码关注云+社区