00:02
大家好,今天我们花点时间讲一讲腾讯云elastic search如何实现。有情告警。众所周知,由于云平台网络架构的限制。用户自2020年5月20日之前购买的elastic设计集群。包括白金板均不能有效的适应watch。有精构件。那么从去年的5月20号开始。随着我们腾讯云平台集群上网卡功能的一个推出啊,ES集群的邮件告警功能足以得不实现。腾讯云双网卡功能的推出,使得新购的ES集群。的节点。直接能够访问同VPC下的网啊,网络就是同VPC下。
01:03
的网络,但是不能直接访问同VBC以外的外部网络。好。因此,如果要实现正常的外部邮件的转发。就必须能够访问到对端的SMTP的邮件服务器,然后通过他将邮件转发出去。正是因为我们集群的节点不能直接访问外部邮件服务器的SMT服务器。所以我们需要配置转发代理的方式来实现这个邮件请求的。Web转发。那么本文将通过N。反向代理的方式啊,实现腾讯云设计有进高能的,有进高进个能的一个正常的一个发送。
02:00
实现此功能的前提条件。首先,用户购买的集群必须是。2020年5月20号以后买的啊,白金版的集群。因为watch是白金的一个,呃,白金版的一个叉的一个功能啊,当然如果只是测试性的话,我们可以适应一个月,可以将K8拉的一些,在K8拉上面的那个证书管理里边,可以将这个呃集群暂时升级到一个白金版的一个适应,适应适应期啊,大概是一个月的时间。如果是生产,我们建议用户直接将集群升级到白金版,或者购买白金版。对。腾讯云内部公客户。如果是通过云梯购买的elastic search。均不支持该功能。好。也是因为网络的一些原因。
03:03
好,我们看下下面本次方案拓基础条件,那么。本。本节我这边实践的环境就是。ES最新版本7.10.1白金版三个节点。好。然后它所在的数字机的OS是7.2。啊,这三个节点的都不能上外网,但是只是具备一个VPC的一个通讯。好。CVM,就是这个,就这个好,就这个CVM。CVM。就是应该做一个反向代理服务器,它能够上外网,必须与他在同一个VPC内。好。他只需要装一个N。
04:00
然后在NX里面配置SMTP反向代理就可以了。好,这边是云上的环境,用户是访问不到的。我这边是拿出来做一个模拟。啊,这边是没有办法直接上外网的。好。所以这个拓环境就是CVM能够上外网,与ES集群同VPC。然后它上面需要配置一个。好,法向代理的一个邮件功能。好,这个K87.10.1这个这个客户,这个这个客户工具是我是我在这边安装的客户买的集群里面已经有K8了,所以用户就不需要去装这个东西了。这是我这个集群里面我的一个安装的方式。啊,我也来模拟用户的一个实际环境。好,那么这边就是说,这边就是云,这边就是客户自己的。
05:01
那么。配置这个邮件告警。啊,配置有精告警,最重要的一步就是ES集群的配置。我们知道,ES集群是由若干ES节点对外提供服务。那么我们更改ES集群的配置,就必须要在ES集群的每一个节点上面去。改动相关的配置,也就是这个文件。也是外卖。好。所以集群有几个节点,就必须配置几个节点。好,也就是说这个配置我必须在每一个节点上面都要配。好。Z。好,我们来讲一讲这个配置。配置一个。
06:00
哦,发件箱。就是发送邮箱,我们用的是QQ。QQ邮箱。当然,你可以用163新浪gmail。Outlook。甚至于自己搭建的一些exchange有没有?好。这个。是一个标准的格式。就是插说明是插拍的一个啊,一个email的功能。好,这个不动。第二个mail account,这个是邮件账号啊,邮件账号。就是一个,呃,这个可以自定义。啊,这个account这个可以自定义。但是这个自定义的名称。我们要记住,我们后面去做一个配置文件啊,配置这邮箱配置的时候啊,认证许可的时候,我们选到它。
07:07
啊,这个要记,这个要注意,这个可以自定义,但是要记住后面要调用它。好,Profile文件夹就是这个邮箱配置的文件夹,我们采用什么格式?Stand。标准。当然还有Outlook。GMAIL2种模式。如果不是这两种模式,那我们就写是单就行了,标准行的默认就是标准。Email default就是默认的发件箱。发件箱我这边比如说配置的是from从哪里开始,从541180694艾特 QQqq.com啊从这个发件箱发出去。
08:00
表示这个发展发出去。SMTP。啊。一般邮箱邮件服务器都会有这个啊,就是他SMTP,就是发送服务器的地址。好,发送服务器的地址,那我们的发送服务器正是因为我们不能够直接访问外网,所以我们就配置了一个代理的。好代理的就是那个CVM,就这里这个CVM对吧,我们配置反向代理邮件代理知道吗?那么这个地方就是填CVM所在的虚拟机的地址。这个要注意啊,端口就是邮件代理服务器的端口,也就是你在上面这个CVM里面里面去配置这个。建设的时候,你需要开启的端口就是这个增添端口,那么也就是这里的邮件服务器端口。
09:07
这个是用来认证。SMTP服务器的账号的。跟他保持一致就可以了,跟这个保持一致。好吧。那么这个就是啊,ES里面的配置啊,这个配置我们用户是无法直接操作的。这个需要等到下一个控制台的一个迭代版本好。我们全全量的推出来,那么用户怎么就可以把这些配置啊,去进行一个自定义的配置了。那么就不需要我们去操作了。很快会推出来,那么目前只能够说找我们腾讯云ES售后做一个support。好,那么这句话的意,这个配置的意思就是什么呢?就是就是我们在ES集群的每个节点上面配置了一个发件箱。
10:12
对吧,然后当发件箱收到邮件提示的时候,会将它发送给这个地址。通过它转发到外网上面去。好,讲完了,好,下一步。设置发件箱密码。然后这个发件箱密码,就是这个发件箱的密码对不对,好5418064,这个用户的发件箱的密码,为什么设置它。因为我们的ES集群。去告警的时候,如果触发了告警,会要将告警信息发送了这个邮件,对吧,发生了他发生了这个邮箱。那么他。
11:00
我凭什么要去发送你的邮件?对吧?我凭什么要去发声?对吧,我凭什么对吧,我ES收到之后转发给你,我凭什么要把你的信息转发出去。他就是这个意思,就是邮箱授权码。对吧,这件事情嘛,好,不是登录密码,也不是随便输入的创定的密码。就是在每一个节节点上面要去配置发件箱的密码,那么使用这个命令。好,这里要注意,在使用这个密码去创建的时候,这里有一个email account点。点后面的这个may account这个名字就是我们这里定义的,自定义的这个啊,必须保持一致。
12:04
知道吗?因为这个是表示我这个账号里面的信息是什么,对吧,那么这个账号有个密码是什么对吧,就是may account的密码对吧?房间权的密码对不对。那么有几个节点就要支撑几个节点,好说,说明了哈,May account名字必须与发电权名字保持一致。那么这个命令在每一个节点上面执行完以后。好,你可以执行这个命令,再查看一下。对吧。你可以查看一下这个命令。啊,如果说有这一行。那就说明那个啊,我配置成功了。
13:02
好,每一个节点上面都查一下,有这一行就说明已经配置成功了啊。一般这个密码。这个发电箱的密码就是需要用户提供给你的。因为只有用户才知道他的发件箱的授权码是多少嘛,对吧。你不知道,别人都不知道,只有这个邮箱的属属主属主他才他自己才知道。哇。这个要特别注意啊,这个密码是必须要用户提供的有效的授权码。不能随便指定,也不能不指定。否则。就连不上去,请求转发不出去好吧。这是这几个步骤啊,那么这个步骤里面第一步。第二部。好。一直到这里,第三步,重启这个集群。到这里,这都是我们。
14:02
ES售后来做的。一直到这里开始。啊,这个就是用户自己来做啊,用户可以按照我这个。来定义就行了,好吧,我这里都详细的列出了这个方法下载,下载方法安装好配置文件也贴出来了。根据自己的实际环境去做一个更改,然后启动服务就可以了。我这里只只讲一下。啊,只讲一下这个N里面的关键的一个配置在这里。我这里起用了一个虚拟主机,虚拟主机里面干嘛呢?有一个增添的就是起进的一个IP端口,对吧,然后呢,接收到请求以后,转发到这个里面去,那么就是这个虚拟主机就干到这对吧?这个请求在哪里,这个请求在这里就是一个定义的这个SMTPTQPDS525就是SMTP的一个。
15:05
出端口。那么他就会把邮件转发出去。好,就是这个。啊,这个本机IP。监听端口也就是这里配置的。IP。端口。好,就这么,就是这么个逻辑。好。那么下面的其实也就是一些验证啊,验证就是只要上面配置好了,这里验证肯定是没有问题的。好,没有问题的,那么我们去啊服务器上面看一下,好,这里还要说明一下,如果你是自建的集群,不是原生的集群,你要配置这个邮件告警,那就很简单,那就不需要CVM,不需反应,这里直接在ES集群上面做这样的一个配置就可以了,对吧,直接把那个host改成SMTP端口改成S5就行了。
16:08
其实不变。对吧。就如果是自建的啊,你自己去模拟的,那么就这么配置就可以了,不需发现这里好吧,那么这里我还会有一些这样的一些啊链官方链接,这是一些官方链接啊,大家可以。好,去。可以去关去学习一下,这个文档讲的很详细啊,这个文档讲的很详细,就是讲了一些啊这个啊,我email的一些设置的一些方式啊,对吧,方式方法啊啊这些东西好。对吧,这action啊对吧,这是API的一些经营方式,对吧,怎么样去做啊对吧,这些都有好包括下面的这样的一些啊,各个邮箱的一些设置啊,下面都有啊,你看这些都有啊,都有啊,其实我们也就是参参照这个文档来执行的,执行的啊,你看这个密码啊。
17:12
去存储这个password就必须要间距执行少不了对吧,这个都少不了的,必须要有对吧,你看对不对,好吧,好有时间大家去看一下。那么这里常见的问题我也说明了一下,就一些会遇到些什么问题?就可能就是这个。啊,发件箱配置密码配置数,那可能就会出现这个问题啊,就是什么呃连接失败呀什么什么的啊一些问题好吧,然后就是一些NG的一个反向代理配置。那这个文章大家可以到时候直接去,呃,通过这个链接就可以访问到。好,我到。呃,我们来看一看这个。具体我的配置吧。
18:01
好,具体我的配置。好。那么。呃,其实我就拿一个节点过来给你看就可以了,好吧,拿一个节点好吧,本来有三个节点吧,我就拿一个节点,其他节点都是一样的嘛,好。好。我看一看啊,对吧。就是这个就是一个也是也是也是好,那我们去去看一下配置文件吧,好吧。OK。那么这个就是我的一个配置。你看so easy对不对?把那个直接copy过来啊,这里直接是定义的是对端的那个IP,对端的端口,然后放进箱跟上面保持一致。啊,没了,就这么一步。表格节点配一下,然后重启一下。
19:01
对吧。然后。这一个啊,我们看一看我的NG啊这个。几个啊?我看一下配置,其实其实就是我刚刚那些配置,你看对吧。体验了一个服务,服务就是本机的服务对吧,端口就端口对吧,那么启动完以后,它会把请求转化到SMTP对吧,就可以了,那么这个这个28号端口就是的监听什么这。服务的这个服务的邮件从哪里来,从他发送过来的,对不对,对吧,他这个邮件是哪里来,他的邮件是从这个ES叉park我们发送过来的,对吧。就这么一个逻辑。这么一个逻辑啊,这个是NG服务的服务器好吧。好,那我们看一下对吧,这个不是本机IP就是四期对不对啊。
20:06
28对吧,28个起来了对吧,服务也起来了,对不对啊。那么这是N几克啊,N几克,我看一下N也起来了,对吧,对不对,N克起来了对吧?啊。N起来了啊,N上面的IP端口起来了,IP就是这个IP对不对,IP这个IP那么就没问题。对吧。呃,然后的话。嗯。这个是E配那个技能一样,然后我们就可以进行一个测试了,然后我们就看一下那个啊,具体有没有啊。有没有那个实际的一个啊,实际的一个,呃。发送邮件好。
21:03
我这里啊,就是啊,直接访问这个啊这个。IP对吧,这个IP5001啊,就是我那个IP的一个端口对吧,然后直接就是那个啊,点击那个啊高级的一个设置啊,我们可以看到就是这样子的一个啊,啊创建阈值的这个高点啊这里。这边具体细节用户到时候根据自己的环境去测试就行了,那我们看邮件啊,这里比如说我定义了一个,随便定义一个对吧,随便定义一个,然后定一个hello word。Hello。让我直接发一下。那么是不是就发生什么了,对不对,发生什么了。对吧,直接就收到一个邮件了,对不对,我们再发送一个看一下。对吧,我们就已经收到有情了,对吧,你看又第一个人来了,对不对,对吧。啊,就这么简单。好吧,就这么简单。那么这样子我们就实现了一个有机的一个。
22:03
告警设置。好,法庭事实啊。包括一个服务器上面的一些基本的配置啊,基本的配置。嗯。其他的应该也没有了,没有什么要讲的了啊,就是这么一些,当然还有可能一些要注意的就是呃,如果是原生的话,可能还有一些安全组。对吧,安全组的一个,呃,比如说这个28号口啊,对吧,可能安全组要放开一下。呃。其他应该就没有了。往前走。好吧。啊,这样是对吧,还是啊。那些,今天我们就讲了这么多。谢谢大家。
我来说两句