Logstash2.3.4趟坑之集成Redis哨兵模式

最新在使用Lostash2.3.4收集数据的时候,在读取redis数据的时候,报了如下的一个异常:

异常如下

Pipeline aborted due to error {:exception=>#<URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad hostname?)>, :backtrace=>["/home/search/logstash-2.3.4/vendor/jruby/lib/ruby/1.9/uri/generic.rb:214:in `initialize'"

Logstash自带的ruby是1.9的版本,自带集成的redis插件也是最新的redis-rb3.3.1

Logstash里面默认自带了redis插件,也就是redis-rb3.3.1

如果没带可以进入logstash目录:

logstash-2.3.4\vendor\jruby\bin进行安装

cd logstash-2.3.4\vendor\jruby\bingem install redis

如果redis采用的是哨兵模式的集群,那么redis-rb插件也是支持的,具体的看官网github文档:

https://github.com/redis/redis-rb

logstash的代码如下:

input{
 stdin{}
}


filter{

ruby{
init => "
require 'redis'class Rconn  
   @@SENTINELS = [{:host => '192.168.10.214', :port => 26381},
             {:host => '192.168.10.214', :port => 26382},
             {:host => '192.168.10.214', :port => 26383}]
   def self.con   
   @@con  
   end 
  
   def self.SENTINELS
   @@SENTINELS   end 
   @@con = Redis.new(:url => 'redis://redismaster10214', :sentinels => Rconn.SENTINELS, :role => :master)end"
code => "event['redis_data']=Rconn.con.get(event['message']) 
"
}
}

output{
  stdout { codec => rubydebug }
}

注意下面这句话

:url => 'redis://redismaster10214'

redis的哨兵masterName在ruby1.9中必须不能带下划线,否则会报下面的异常:

错误的用法

:url => 'redis://redis_master_10214'
<URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad hostname?)>,

ruby里面的标准的url校验,发现url里面如果有带下划线的,会认为是不合法的url,具体可参考下面两个问题连接:

https://github.com/docker/compose/issues/472

http://stackoverflow.com/questions/2180465/can-domain-name-subdomains-have-an-underscore-in-it

目前在ruby1.9的版本中发现此bug,使用最新的版本ruby2.3.0则没有此问题,说明在高版本的ruby中 已经修复了此问题,但是logstash最新的版本绑定的jruby版本是1.9的ruby,所以还存在此问题,只能在使用时避免,真是血泪教训,花费了大半天时间趟的坑。

原文发布于微信公众号 - 我是攻城师(woshigcs)

原文发表时间:2016-08-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT派

静态站点生成器:makesite.py

通过在Python中编写自己的简单、轻量级、无魔法的静态站点生成器,完全控制静态网站/博客生成。对的!重新发明轮子,伙计们!

1463
来自专栏ml

C/C++-----------http协议发送字段,文件,单个和多张图片

           关于c/c++ 网络编程,无论在linux还是windows,要说到自由性,和安全性,socket无疑是比较好的!对于socket,因为它...

1.3K8
来自专栏Java架构沉思录

Node.js 三大特点你都懂了吗

在Java、PHP或者.net等服务器端语言中,会为每一个客户端连接创建一个新的线程。而每个线程需要耗费大约2MB内存。也就是说,理论上,一个8GB内存的服务器...

983
来自专栏python爬虫实战之路

网络字体反爬之起点中文小说

前几天跟同事聊到最近在看什么小说,想起之前看过一篇文章说的是网络十大水文,就想把起点上的小说信息爬一下,搞点可视化数据看看。这段时间正在看爬虫框架-pyspid...

1752
来自专栏软件开发

Node.js开发Web后台服务

一、简介 Node.js 是一个基于Google Chrome V8 引擎的 JavaScript 运行环境。Node.js 使用了一个事件驱动、非阻塞式 I/...

1.2K9
来自专栏米扑专栏

Node.js 安装与开发

4328
来自专栏Coding+

HTTP 的基础概念

HTTP (Hypertext Transfer Protocol) 即超文本传输协议,和 HTML (Hypertext Markup Language) 超...

801
来自专栏木子昭的博客

webpack手动配置React开发环境

1623
来自专栏数据小魔方

Excel多工作薄合并

今天要给大家介绍一下Excel多工作表合并的技巧! 由于Excel工作薄文件可以包含多个工作表,所以合并起来要比Word麻烦! 目前还无法单纯通过Excel界面...

3056
来自专栏小程序·云开发专栏

一次在微信小程序里跑 h5 页面的尝试

标题看起来有点唬人,在微信小程序里跑 h5 页面,不会又是说使用 web-view 组件来搞吧?确实,使用 web-view 组件可以达到跑 h5 页面的要求,...

1.5K2

扫码关注云+社区

领取腾讯云代金券