00:01
嗯,大家好,欢迎大家来到我们今天下午的呃普罗米修斯场景实战直播的呃这个直播的现场,那今天下午呢,其实我们会跟大家介绍一下,这其实是一个比较偏实操,实操类型的直播,那会给大家手把手的去展示如何利用普罗米修斯监控服务高效的去完成对呃云原生容器场景的这么样的一个监控,那我们的呃老师呃杨波,他是云监控的产品架构师,有比较丰富的那个业务运营经验,曾经主导了QQ空间,腾讯会议等监控方案的制定和落地,那对业务端到端也的监控也有非常深刻的理解,我们整整场直播呢,会在三个平台同步进行,腾讯云原生视频号,腾讯云监控视频号,还有呃,腾讯云云家社区的这样子的一个呃呃直播平台进行同步的直播,呃整场的大纲呢。
01:01
整场的内容我们会呃从呃云原生容器业务监控的场景给大家有个整体的介绍,同时呢手把手的带家带大家去呃看一下我们的普罗米修斯如何去接入,如何对呃容器的组件层监控,还有业务层监控,进行一个呃操作,还有监控的这样的实战,那么现在我们有请我们的呃讲师杨波呃给大家带来这样的一个直播。嗯,好的好的,喂,那个大家能听到吗?可以听到吗?可以看到吗。那边那边那边可以看到,可以听到对吧。诶,可以的,老师你可以继的好的嗯,好的好的好的,谢谢那个蕾蕾美女的开场白哈,呃,非常高兴那个呃在周末那个我们有这样的一个机会和大家一起来交流一下,就是我们在语原生的呃监控场景下的一个普罗的一个玩法。
02:02
啊,这是我们的今天一个题目啊,我们今天呢,会分那个几部分来看我们的这样的一个一个时间啊,这是我们的一个。呃,一个一个日程啊,首先的话呢,我们会关注一下,就是在云原生的这种容器的这个监控场景里面,我们主要是覆盖哪些场景,对吧,我们做。呃,做一个监控,那首先从一个用户的角度讲,首先是用户在某个场景下会用到某些那个产品能力,那么首先我们就看一下,就是从我们那个。包括我们和之前的那个客户的接触啊,啊,就是各个行业的客户的接触,看一下就是说在农资监这个场景下面,首先就是有哪些监控场景,我们是需要是需要去覆盖的,这是那个第一趴啊,就是监控场景的一个一个一个梳理,第二趴的话,第二趴到第四趴的话,实际上我们就会根据第一趴我们就是梳理的这个监控场景,然后。啊,就是和大家一块来,就是一步一步的去看我们的每一个场景啊,怎么样子,在我们的这个啊斯这个场景下面去落地啊,主要是分为几大块的一个场景哈,第一大块就是这个基础监控的。
03:12
对吧,我一个业务部上来,首先啊,我肯定是要看到最最基础的这样的一个一个一个一个监控场景的,然后有了基础这个场景监控之后,那我肯定还会往上走,比如说我会看到我的这个呃,业务指标的,或者组建的这样的一些监控场景,包括最后比如说我整个这个数据接近来了之后,那我要去做了个消费,那么我消费场景的一个。呃,是大概是这样的一个方法,呃,大概现在有一个一个大概的一个一个印象哈,就是先是整个这个监控场景的个介绍,然后是分不同层次的这个监控场景的一个实战,在接下来的话,我们会在每一趴都会有一个比较详细的一个展开。好的。那我们就首先那个进入到,进入到我们的那个第一趴哈,就是那个监控场景的这样统计监控场景的一个一个梳理和覆盖,我们可以看一下哈。
04:02
啊,我把这个搜一下。呃,首先呢,就是呃,就拆拆个小群,就是这个地方是我们的一个,呃公众号还有这个用户群啊,我们有我们的那个产品,就是云监控的那个架构师,还有那个产品都会在这个群里面,大家可以刷一下是有什么问题,还有这个包括今天这个讲座的一些问题,我们都可以在里面来和解答。啊,OK,那收回收回来就在我们的这个容器的这个监控场景里面,大家可以看一下,这是我们的容器的一个,呃,一个一个架构,对吧,这个就是说我们的是我们的这个管控,然后这个是。那个我们做那个工作面,那么就是我们的业务跑我们这个容器上面的话呢,从呃,整个的这个价值输出上来讲,我们其实最终的一个目的还是要保证我们的用户啊,就最终的这个用户,比如说我一个电商的一个服务,那么我真正的。啊,我的最终用户是我。
05:00
电商网站这个人,比如说我是购物的这个人,那我们要保证这个购物的这个同学这个这个同学这个用户呢,他用的比较啊好对吧,用的比较首先没有没有没有没有什么那个。那个功能上的问题,并且呢,用的也比较顺利,那么这样一来,其实我们会拉开的比较拉的比较开,就说我们会有端到端的个监控,也有有拨测啊,就保证它的我们这个从外网来看一个服务的一个正常,当然也会有啊这个后端呢,也会有那个那个一个基础基础基础设施的一个监控啊,这个其实是比较完整的一个一个切面,那么今天的话,其实我们更多的是放在就是。啊,就是我们后端的这样的一个一个场景,比如说我这个业务我已经搭起来了,在那个T上面已经搭起来了,那么我要保证我这个业务的一个质量,那么我需要去看一些场景呢。这个这个其实就是我们梳理的这样的一个一个一个场景哈,就是大家可以看到这是一个,呃,一个金字塔,金字塔就是从这个底端到上面。底端到上面就是不同层次的这样的一个一个监控的一个诉求,因为在这里面的话。
06:05
啊,我们一个一个一个服务上线之后,那其实不同的这个角色,它有不同的一个诉求的,刚好这些诉求的话,我们整合起来的话,大家就可以发现就是啊,可以覆盖我们整个比较完整的一个场景,首先就是这个。就是比如说像我们的运维同学,我们运维同学肯定他就会比较关注说我们的这个,呃,基础设施这一层的这样的一个监控也。对吧,这个这个是就是就是基础的,然后比如说我们有那个组件运维,同学里面有一个做是组件运维的,那么组建运维,那我们会关注说这个组建的这样的一个。健康场景需要怎么怎么做,然后再到了我们的这个开发同学,开发同学那肯定我们会关注我们的这个,呃,应用的一个一个应用的一个接口的一个质量。包括说呃这个我们说的这个,呃,框架层面的,比如说像GM层面或者supreme这个框架层面的也有说,比如说像我们自己经常提到的这个啊,业务的黄金指标,对吧,我们的这个。
07:00
啊,错误率啊QPS啊,还有这个延时啊,这样的一些一些那个指标来覆盖,当然还有哈,除了我们刚说的运维同学,研发同学,还会有就是啊产品同学,甚至呃,甚至运营,运营同学关注的一些那个一些诉求,比如说啊,我们要做一个红包这样的一个活动,那么他的那个。发了多少个红包,或者说我这个红包参与活动,这个这个活动的人数有多少,那么这一类呢,其实有点偏,就是业务。偏业务运营上面的这样的一些指标,其实也在我们整个的这个这个范畴之内的,所以说大家啊,回过头来看这张图的话呢,就是啊我们的这个。呃,应用场景上来讲的话,我们其实是覆盖到就是从我们的这个I这层,然后到上面的这个组件这层,到业务这一层,这这一层是比较呃完整的这个覆盖,而这个整个这个完整的一个覆盖的话,其实它都可以呃落到我们的整个的这个呃pro里面来,因为它这里面主要就主要都是一些我们说的这个指标的这个场景,嗯接下来的话,我们会以一个实际的一个。
08:06
业务的一个例子就是说啊,我假如说我是一个用户,然后我上了这样的一个业务,然后呢,我们怎么样,我们的就是这个系统里面来去转。把整个的这个监控场景,四个不同的这个监控场景,把它落地下来,这个接下来是我们接受的一个重点。那第一趴的话,我们会就会快速的过到这里,呃,接下来的重点就是,就是说我们说的几大场,几大层次的一个场景的一个覆盖,然后包括它的一个实战。这个的话呢,就是我们今天就是,呃,还是会,就是还是回到我们这个用户,然后场景,然后产品能力,就是说我们会我会模拟这样的一个用户哈,这个用户呢,他有这样的。呃,他有这样的一个。一个一个产品,就是说我们刚刚说认的一个迷你电商的这样一个产品,一个一个产品有登录的,有产品详情,有下单这几个功能,并且的话呢,我整个这个服务呢,是跑在这个t ke上面的。
09:08
对吧,就跑在我们农机层面,农机上面的同时呢,它有这个,除了我们自身的这个这个服务以外呢,它还依赖比如说像我们说的这个,呃,组建像啊DB。还有就是我们说的这个啊,一些那个消息对应。啊,OK,这就是我模拟怎样这个这样的一个场景,就是有这样的一个客户,这样的一个业务,并且他的业务是怎么是跑在哪些组件上面的,并且有些依赖,然后有了这个业务之后的话,我们会模拟这样的,模拟这样的一个业务场景就是。啊,我们会有一个这样的一个红包的一个活动,对吧。就是我有一个业务,然后我在这个在我的运营过程当中,我做了一场活动,那么这个活动还有这个这个业务怎么样子,在我们的这个的这个监控场景下落地,同时的话呢,啊,随着我们的业务发展哈,一开始我们可能是就是在呃。一朵云,比如说就在我们腾讯云上面的一个单VP下面啊玩对吧,一开始可能小规模的时候就就是这样的一个一个一个操作,但是随着我的业务的发展,那我需要去到我的多VPC。
10:12
多啊,包括这个同地域的,或者说我那个啊多区的,比如说那个深圳区,广州区啊,上海区啊,我需要做分布了,甚至到了最后,比如说我开始做做多云,比如说。项目我的这个接入服务靠近更靠近用户一点,那么比如说在在海外的话,那我可以比如说我可以用那个AWS,可以用那个GCP,对吧,那么在这这有了这些这个业务场景,它的发展过程中的一个拓展之后,那么在这个拓展的过程里面,我们怎么样一步一步的去。哎,就是去覆盖到我们的业务这样的一个诉求,这个也是在今天我们会介绍的一个重点。呃,OK,那那那再往有了这样的一个业务,有这样的一个业务场景模拟之后,那么我们监控重点是关注那几项呢?其实还是回到呃,我们上面提到那个金字塔,我们这四层的话呢,都会。
11:05
有比较比较强的一个关注,比较强的关注。然后在接下来的话呢,我们就会分为就这个呃,技术层,然后这个组件组件和业务层啊,这几这几层呢,给大家一一的去看一下,我们具体的有哪一项的哪些一指标,然后在我们的系统里面是怎么落地的啊它的。呃,就是和开源的,开源的一个一个一个区别,就是我们的一个一个强项,OK,这个其实就是我们整整个今天的所有这个实战演示的一个。呃,一个相当于一个场景的一个一个一个线,就是我们会有这样的一个业务,有这样的一个场景,然后这个业务它有这样的一个发展路径,然后我们在这个关注的我们的这个。呃,监控指标呢,在他这个发展路径下面,我们怎么样去满足他,怎么样去高效的满足他,对吧,这是我们今天就是所有这个。
12:01
一些细的这个场景的一个总的一个场景的一个概述,好,那么接下来的话,那我们就先去看到。呃,这个就是从这个金字塔的下往上走,先去看到这个基础设施这块的一个一个一个指标的一个监控。接下来就会有场景,然后有伴随着这个呃,系统的这样的一个实操。好,那我们继续往下看。有了我们刚刚说的那个那个业务的模拟的那个那个呃,那个场景之后,那么我们会看一下在监控场景里面,我们具体会关注哪些呢?首先的话呢,就是金字塔地段,我们会关注这个容器基础监控的一个记录,那么它就是。啊,比如说有我们买了T集群,那么我们要关注TP集群里面,呃,很多的这个组件资源组件的话,比如说像那个对吧,这个load这个这个层面的一些组件,还有这个像它的控制面的一些组件,像server这样的一些组件。啊,同时的话,我们也会去关注,比如说像这个啊破的CPU啊这样的一些一些那个基础的一些指标啊,这是最最最最基础的一个场景。
13:08
对吧,这个我们是肯定是首先要覆盖的,那这个场景覆盖之后的话,那我们会去看啊这个。呃,刚刚我们在这个上面这个例子里面提到了,比如说我要。我要去看我的这个开,对开发同学而言,我要去看我的这个业务的质量,那我就会去把我的黄金指标报上来,我的啊延迟啊。还有量这些报上来,同时的话呢,比如说运营,运营同学,我要去关注我的那个。啊。红包的他的这个活动的参与人数,或者说红包的这个发了多少个,那这一类的指标,那我们就会放在这里面去去覆盖。呃,同样的话呢,在这个我们刚可以在看到我们刚刚的那个图里面的话呢,我们看到这里面会有这个就是我这个服务跑起来之后,我不仅关注我服务,我还需要关注。过了这个组件,我依赖的这些组件,比如说MYQL,或者是那个,或者是说啊,我们刚刚看到的像那个消队列这些非常常见的这些组件,它怎么样去进到我们这个监控体系里面来。
14:09
那么这有了这几趴,这三趴之后的话呢,就是我们常就是常规的,就是常见的非常高频的这样的一些那个指标数据就已经进场了,基础的业务的组建了,对吧,已经进场了,那么进场之后的话,那我们怎么样去啊去用用好这一波的数据呢?那么这里面根据我们和之前的一些客户的一些交流啊,啊我们也沉淀了,就是一些,呃,像一些那个比较好的一些推荐的方法,比如说像这个告警这块,我们怎么样子去做一个精细化的这样的一个管理。利用我们这个pro的这样的的label的这一个能力,同时的话呢,呃,有了这个数据之后,那我们其实对我们很多的这个。啊。同学而言哈,一个大盘是必不可少的,这个大盘当然我们可以自己做巡检用,当然也可以去说投到大屏上,然后啊,当然也可以给老板汇报哈,这个也是也是非常非常非常非常必要的,就是可以给大家打打气,看到这个数字涨。
15:06
发展是非常呃非常带感的,同同样的话呢,就是在后面还有一个比较高级一点的产品,就是说像我面有提到了我这个电商的业务,后面我一开始就在。一个VBC后面我要是多个VBC,那么在后面我要去,那么这个这个场景里面,我们怎么样去高效的支持呢?那就是这个场景我们会提到的,接下来我们会就会对这六六个场景做一个比较,呃,深入的一个介绍就是我们会。带着这个场景。我以这个用户的身份,我有这个场景,那么怎么样我们的系统里面落地,大概这样的一个介绍的一个思路。OK。这是第一趴哈,就是说我们对我们整个的这个场景的梳理呢,我们就呃在这个地方先画一个分号,然后接下来的话就会进入到我们这个实战的一个环节。低趴的这个实战的话呢,我们会走到这个,呃,基础监控场景的一个一个介入,就是说我购买了这个t ke之后,我怎么样子去快速的接入到我们的这个普罗米修斯这个体系里面来。
16:08
OK,呃,大家可以看一下哈。呃。接入这个在我们购买了那个T的这个集群之后,我们要接入到里面来啊,实际上它的它的那个操作是啊,非常非常简单的就是。一件可以完成,一件可以完成就是关联我们的集群,呃,相比较而言的话呢。比如说我用传统的方式对吧,传统方式我通过自己去搭建这个,并且去把我的这个。监控指标把它抓回来,那么这个其实呃,它的那个效率是非常非常高的,因为对对那个呃对普是可能比较熟悉的同学的话呢,去搭,然后把这个东西搞起来,可能估计可能半个半个钟左右吧,半个钟左右可能应该能搞得定。呃,然后对可能比较陌生一点同学,那可能就是就是一天两天的事情了,但是在在我们这个场景下的话,待会我可以给大家秀一下,就是可以看到这个场景,就是相当于说可以做到啊,就一两分钟就搞定了。
17:10
OK,接下来我就给大家看一下哈,看一下就是说呃,我们这个在购买了t ke之后,我们的这个怎么样子去快速做那个基础监控的这样的一个接入。啊,我就先切到我的这个颜色的界面。首先的话,回到我们刚刚那个那个场景就是。呃,T的监控还要接到我们这个pro里面,首先的话,这个地方我就准备了这个,呃,两个。两个集群,首先是我们第一个,第一个要接的是这个集群,这个机子大家可以看一下,就是我购买的一个标准的一个t ke的一个一个集群,就是通过新建把这样这样子走下来,然后这个地方已经已经建好了,然后同时的话呢,同时的话呢,就是。呃,接我们这个普通体系之前,我们买了t ke的这个集群,对吧,那同样的我们需要在我们的这个,呃,在这边千我们需要去购买一下我们的这个。
18:12
普罗米修斯的这个服务,还有这个。就是这个这个是我们的graph这个服务,这个是啊。普罗米修斯的这个服务可以给大家看一下啊,这个我都是放在上海区的,这个是普米修斯这个服,同样的话。啊。这个地方购买的话呢,有有一些点可以给大家,大概可以给大家提一下,就是需要注意一下就是。比如这个是我们一个一个购买页哈,它这里面比如说我们是有开了很多区,这里面要注意的一个点的话呢,就是说这个地方的网络。网络,因为因为网络就是说在购买这个的时候,我们有一个网络和望的这样的一个选择,指望的这个选择,因为我们会部署资源,所以说会判断一下,比如像这些可方服在这个可用区不可用,那么就我们可以的一个操作方法,就是我们说我们在其他的一个区域,比如说这个地方,我是在广州市区建了这样的一个网,然后就把我们的这个。
19:07
这个。这个服务就可以不在这个这个市区里面,对这个就是相当于给大家一个提醒吧,就是说如果发现这个地方网络不可用的话呢,那我们可以去去到这个这个区下面的一个子区,然后在那个可以用的那个子里面,我们去把这个。把这个网络建好,然后就这样去购买我们的这样的一个一个实例,OK,这是那个这个这个就提大概提醒一下哈,这个就相当是我也是购买完成了之后的这样的一个。这样一个服务。然后的话呢,我们同时需要去准备一下,就是我们购买的这个普罗米修斯的这样一个服务啊,同样的。这个也可以给大家看一下。啊,一样的,我这个地方也是,呃,就是用的按量付费版的,然后上海地区的这个这个同样的它也需要。我们去把申请一个网络。
20:01
OK,这个这个这个其实是我已经建好的。同样的道理,然后这个地方我们会有存储的,存储的时长,这个这个名称啊,这个地方也给大家提醒一下,就是说我们。在购买我们这个普斯服务的时候呢,然后啊,大家都知道那个它。和那个graph其实是是成一体的嘛,对吧,那个可视化啊,对那个支持支持的非常好,那么这个地方我们建一个实例的时候的话呢,朋友圈实例上我们其实可以去绑定一个,那这个其实就是我刚刚买的这个这个gra这个服务嘛,这样子。有一个好处就是我们相当于在这个地方做了一个关联,然后在那边的话呢,他就主动的去把我们这个数据源关联好了。然后。呃,OK,这个,然后再点下面再点购买,整个这个操作我就先不往下走哈,因为那个。呃,是比较那个直白的啊,这个呢,就是相当于是我已经买好,买好了之后的这样的一个。呃,一个。
21:02
实已经是已经是买好了后,接下来的话,我们还是回到刚刚的这个这个例子哈,回到刚刚这个例子,比如说我买了一个t ke集群之后,我怎么样子去快速的把它入到我们的这个。这个这个体系里面来。到这边来,这样的话就是我们是会进到我们的这个里面。然后点击器服务。嗯,这个地方点关联集群大家可以看到哈,这里面就有一个。就有一个标准集群,标准集,我们刚刚看到的这个。就是这个就是标准。然后的话呢,我会去把这个把它关联起来,提升到我们的这个。这个体系里面来。然后。我看一下他的这个。这个集群的ID可以这个地方是H,那我可以直接把它。关联过来,那就是。
22:08
啊。可以查OK。那这样一来的话,我点这个地方点一点把它勾上,然后这个地方一点确定。点了确定之后的话呢,这个地方其实呃,这个操作之后,就是我们会去把呃,这个集群用到的一些那个,把它那个。装好装好装好,然后呢,并且去把它这个默认这个抓取任务把它配置好。这个其实就是啊,非常。高效的一个一个,一个一个。一个事情呢,就是我们在页面上通过点击可以完成这样的一个操作。呃,但是如果说我们通过这个呃开源的方式自己去搭建的话,比如说我要通过这个。啊,就是。Operator也好,或者现在的那个新的那个也好,那我要去把它关联起来。
23:04
然后自己去搭建,然后自己去做这个任务的一个配置,其实还是成本还是比较高的,其是对那个新同学,新同学而。OK,大家可以看到哈,现在我们这个已经关联好了,关联好了一个效果的话就是说。我买的这个H叉,就叉五的这个集群的话呢,他在我们的这个,呃,普罗米修斯的这个。监控这个实例里面,在这个地方可以看得到。那么我们可以点进去看一下,看一下就是它这个在这个集成的这个操作里面,我们就进行做了一个动作。我们分为两趴,第一趴其实就是我们现在看到的基础监控这一,基础监控这一趴的话,那我们会有这个。比如说层面的这个东西。啊,ULC还有这个notport这些这些就是相当于我们提前会把这些这些export把它装好,这个当然就是用的那个ul的那个那个那个能力,还有就是我们会把这个。
24:12
State metric,这个这个port OK,那么在这里面,其实我们现在还有一个比较,比较那个就是比较。呃,比较友好的一个一个一个能力,因为我们现在是按量按量付费的,那么呃,大家可以我们这里面是有一些那个免费的指标和这个收费的指标的,免费的指标其实就是我们说的这个,呃最最最最基础的。对对对,最基础的一些指标,比如像像这个指标。Field或者这个active这这些指标,那么这些指标就可以根据,呃,只要满足最最最基础的一个诉求,这些指标是免费的,然后大家像剩下的这些指标就可以根据大家的一个诉求来勾选,就是哪些我们是需要那个采集到的,对吧。这个是是这一趴。然后这个就是说相当于是我们的这样的一个,然后把基础的指标上来,这就是这样的一个一个场景,当然的话我们也可以去看一下这个。
25:13
一些细节的一些一些点哈,比如说像刚刚我们看了这个指标,可以去自定义的去勾选,然后去看,同样的话,那我们也可以看一下,就是这个。看下这个。这个这个就看的更细了,其实就相当于说把那个它那个配置文件里面的一个配置文件里面,它最终翻译的一些结果拿出来了,比如这个地方就是我们就是通过。就是去这个K的这个。这个路径下面去把对应的这个指标拿出来。这个其实是。比较那个。比较细节比较直观的这样的一个一个效果了。所以说回到回到回到回到这里来的话呢,那我们就是首先可以看到。
26:08
就可以看到,就是在基础的这个监控层面,我们怎么样去快速的把我们的这个服务,把我们的这个t ke的这个这个基础监控的指标接进来,是呃,非常非常快的对吧,就是我们通过点击关联,然后点击这个我要关联的一个集群,把它关联好就可以了。这是我们说的这个第一个比较的一个场景,然后我们再往下看哈。再往下看。然后再往下看的话,我们会有一些比较那个。比较。有独特的一些场景,就像这个这个的话呢,就是说啊,一开始可能我的业务在一个VPC里面哈。后面的话,我要为了那个为了这个就是呃,扩大或者是说怎么样的一些场景,那我其实会做那个跨VPC或者是甚至那个分区的一个部署,那在在这个场景下面啊,我需要去统一的去看到我的这个监控指标,就是做数据的一个汇总,那么这个场景下的话呢,啊,在我们这个场景其实就可以非常啊快速的来支持到,比如说我们可以支持那个跨VPC的这样的一个数据的一个抓取。
27:18
跨跨C的这样一个数据抓取,同样的就是我待会也会用刚刚说的一个。那个我会。购买一个TK集群,这个TK集群呢,是放在这个。这个就是广州这边的,因为我的投名是在上海这边,那么这个这样的也可以抓取得到,那么这样他的一个非常好的一个收益呢,就是就是满足了这个,呃。我们的业务,尽管我们业务有跨区跨VPC这样的一个。呃,这样的一个业务分布的一个需求要求,同时的话,他也满足了,就是我们在这个监控数据层面,我们有一个集中管理的这样的一个诉求。OK,接下来我给大家就是看一下这个场景下面它是怎么样的一个接入方式哈。
28:02
还是回到回到我们的这个这边普米这边的话,那我们同样是在这个集群的集群的这个监控这个这个页面集成页面,然后的话呢,我会去买一个这个。广州的,你看到现在我们是上海哈,广州广州的话,我会去买一个这个集群,T的一个集群,这个集群里面大家。可以看到,可以看到就是。这个集群,然后我们怎么样快速把这个集群的这个数据那个集成到我们的这个。这个体系里面来呢,其实也是非常简单。点这个。然后这个地方我们关联启用。启用的话,那其实。就可以,我们可以在这个地方看到第一呢。不同区对吧,不同的region,这就不同,Region下面我的这这样的一个集训的一个效果就拉出来了,那这个地方默认的话,我们刚才看到的应该是上海的,因为我已经关联了一个,对吧,这还剩下一个,那我们可以把这个广州的打开。
29:05
广州的打开,打开的话,那这个地方我们可以去看一下这个标准集群。看下这个ID看一下。OK,那个2K啊,到我们这个地方来看一下这个2K对吧,那这个地方我把它勾选好。点一下这个。确定。那么他这个已经也是在这个关联中了,刚刚我们有提到说这个我把我的这个标准这个集群,然后。和是在同,就是同一个区,同一个VPC啊这个群把它关联进来的,关联进来了之后的话呢,同时当我们在gra这边其实是可以联动的,在gra这边我们可以看到这个地方,通过这个链接点进来,点进来了之后呢。点进来了之后,其实我们可以看到。啊,我们的这个已经集成好了,这个TPS就是啊KS的这一这一系列的一个模板,这个地方我们看的是这样一个模板。
30:09
啊,我可以在。再刷一下。因为我刚之前把这个在。在那之前我把这个数据数据关联我取消掉了,所以这个地方大家看了可以是是没数据的,然后我们看一下,就是刚刚看到这个叉五。叉五我们是实际上是在大概应该是三点。呃,03:20左右吧,03:20左右我们是关联的,那么大家可以就可以在在我们的这个就是通过gra这个关联的这个入口进来。然后看到我们的这个,这个是我们刚刚关联的这个数据源啊,数据源就是在这个地方,大家可以看到啊,这个地方就是我们数据源这个ID。尾号是那个Q5。那么这个地方你可以看到这个QD5这样的一个普的这样一个数据源,并且它这个集群集群,我们刚刚关联的这个,呃,上海的这边这样的一个叉的一个集群,对吧,就是。
31:02
那这个那我们就可以看到了。大家可以看到这个就是我们刚刚关联的这个。上海的。这个本地的这样的一个剧情,那么现在的话我们也可以看一下,就是我们关联的这个跨地域的。跨地域的,比如说我上海的普,我要去去抓取广州的这样数据的这样的一个场景。OK,那现在应该看应该还在关联当中,我们可以稍等一下哈。啊,这个这个是我们刚刚看的上海这个已经理好了这个这个集群,然后。广州这边的应该是4042K。目前这个数据还没有没有上来。要等这边稍微那个。啊,关联一下,我再刷一下哈。OK,那这个这个的话可以大先等一下,然后我们待会回过头来,等关联好了,我们再看一下这个,这个在这边再看一下我们这个的一个效果,这是我们说的这个基础指标的那个。
32:08
技术指标场景的第二趴,第一趴我们会有这个。就是标准的这种集群,同地域的一键完成这个集成,同样的我们在这个第二趴,第二趴里面的第二个场景里面呢,技术监控的第二个场景里面,那我们有这个比如说跨区的。跨区的,那我们也是一键可以成,这个其实是呃,从我们的客户里面看,这个其实也是非常呃,非常刚需的一个场景,非常刚的一个场景。啊,它的成本。它的成本就会比较高了,就会成本比较高了,要么通过这个云联网。打通。打通对吧,用一个通过内网的方式去拆,要么就是。啊。也会用到,比如说可能要用到外网啊,需要用到联邦啊这样的一些,呃,相对来说稍微复杂一点的这样的解决解决方法,但是在我们平台的话呢,其实大家就通过勾选一下这个点点点这样的操作就完成了,其实效率是非常非常高的。
33:10
OK,然后然后从我们之前和客户的接触来看的话,还有一类的技术,技术的监控的一场景,就是我们的客户会购买这个啊产业集群,但刚刚我们看到的这个是t ke的这种标准集群嘛,那么弹性在我们这个场景里面其实也是也是适用的。也是适用的,这个的话,我可以再给大家看一下这个这个场景哈,我们再一起来看一下。然后。首先的话呢,我在这边。这边我会去购买一个弹性集群。购买一个台机,那这个就是。呃,新新建,其实这个也是比较。
34:02
啊,比较比较常规的哈,我们就先跳过,然后这个是我购买的这个。然后这里面我过了一个。呃。这个应该是应该是应该是跑了一个破的,跑了一个破的,然后啊,我们就看一下怎么样子去快速的把握这个进集群。集成到我们这个一个体系里面来。啊,同样的也是这个地方,那我就点这个啊管理集群。然后找到。弹性群。弹性集,OK,那么这个是我购买的这个弹性集群,这里面的话我就。呃,点一下确定。OK,那这个其实也是在这个。关联中了,这个就是我的这个。弹琴。
35:00
这样一来的话呢,那么就是相当于说我们在。我们的这个基础的。就是容器的基础监控这一,其实我们就可以非常高效的就是做这样的一个监控的一个。那我们再回到我们的这个这个。这个面板这边来看一下。这个的话是我们最开始的这个叉五的这个。就是标准T的这样的一个这个数据。这是我那个上午准备的这样的一个一个关联的个效果哈,中午我把掉了,现在现在又上来了这样的一个效果,然后是这个。啊,42K。这个这个也是我上午的管理的一个效果,然后现在的话啊,待会我们可以回来再看一下这边的一个效果,然后这个的话呢,这个就是我们刚才看到的这个跨区的这样的一个。广州区的这样的一个T的一个集群。那么同样那。有了这个42K叉五,还有这个5G。
36:02
G的话呢,就是我们刚看到这个11KS,就是这个地它的一个一个接入一个效果,这个也是我那个上午这边。关联的,然后这个接下来我们待会可以再看一下这个。这边的一个技术效果。OK,那所以说所以说这个回过头来哈,回过头来再回到我们这个技术,技术场景里面的话呢。就是第一趴这个基础场景里面。那么我们就呃,完成了这个。第一呢,比较基础的就是我购买一个T群。诶,那么我又已经买了这个对应的那个和这个gra之后,那我们怎样子快速这样做这样的一个关联基础指标的一个接入,那么同时的话呢。嗯。然后再再往前面走一步,比如说我的业务需要做这个跨区的这样一个部署,但是我的那个监控指标,我需要做集中的一个管理,那么这个场景我们是也是可以快速支持到的,这个其实对比开源来说,它的那个效率就会高非常多了,因为开源的时候我们需要自己去。搭建这种跨区的这样的数据采集的话,他承担他的委托审核还是挺高的。
37:04
啊,再往下走的话呢,就是说啊,我们的客户他需要用到的不同的这种类型的这样的一个业务,业务对应的一个集群,那弹力集群,那这个地方我们也是可以满足的就是。啊,相当于说就是从这个数据的这个采集啊,从数据的这个整合角度讲,用平台这边会是啊非常非常高效的。OK,那第一趴的话,我们就先这样,我们就先走到这个地方。第一趴的实战,然后接下来的话呢,我们会去看到就是呃,第二趴的一个一个实战,第二趴的实战呢,那我们会去。会review一下我们刚刚说的这个。这个这个客户的这个场景哈,就是首先的话,我们就把这个刚刚把TK1的这个指标的一个。技术指标的一个接入把它搞定了嘛,对吧,那么接下来的话呢,我们会去看这个,呃,业务业务的这些指标,比如像我会。关注这个延延时啊。这些指标,然后也会去关注这个组件的,比如MY这些指标,那么这两类指标是怎么样的一个接发呢?那接下来我们会去看。
38:03
这个场景。啊,首先的话呢,我们会看这个自定义指标的这个场景哈,自定义指标的场景就是说啊,在我们的这个设计里面呢,我们是建议会有两类,一类的话呢,是就是偏质量类的,就是我们常说的这个黄金指标这一类的。啊,求量啊,延时啊这一类的还是。呃,另外一类指标就是偏我们说的这个运营类,这种运营类的指标,比如说我有红包活动,那我的在线人数是多少,参与人数多少,红包活动有多少啊,在整个的这个指标规划里面,我们大概分为这两点,有了这个指标规划之后的话呢,那么我们会看到。看到就是说我们会去用的这个协议,这个地方是有这个例子哈,这个协议里面它是。怎么样去定义这样的一个指标,定义这样一指标,并且呢啊,我们这边抓取任务,怎么样去把它抓取,然后这个地方怎么要里面展示,其实就这四个四个步骤。
39:03
规划定义,然后任务抓取,然后指标展示消费。OK,这个场景接下来的话,我就给大家就是看一下这个场景,我们是。呃,怎么样子玩的哈,怎么样怎么样子去去落地的。啊,首先的话呢,这个地方我们会有一个过程呢,就是说我们会去定义这个这个指标。大家可以看一下这个。这个地方我是拉的这个。呃,官网的这样的一个一个一个例子哈,就是要去看我的这个。呃,RPC调用的一个调用,调用的一个耗时的这样的一个一个例子,那么这个例子的话,它是说我们可以去。用那个呃,无论是这个hisram这种类型也好,还是说用summer这种类型也好,它可以采集我们的这个呃,颜色的一个分布。那么这里面有几个关键的信息,我们可以看一下,第一个关键的信息的话,就是我们会定义会有这样的一个。
40:02
我们要监控我们的业务指标嘛,对吧,这个业务指标其实我们是需要自己来定义的,那在哪定义呢?那就是说我们会引用。就是这个不同语言啊,这个地方是言会用的这个普通评书的一个客户端的一个库,有这两个库在这个库里面的话,那么我们做的事情,第一步,比如说我们要定义这个指标。定义这个指标,这个就是我们说的这个,刚刚说的这个IPC的这个。这个这个这个这个电源耗时的这样的一个一个指标,在这里面定义好了之后啊,这个指标啊,然后这个的话是。我们说的这个。它的一个维度。因为我们普通里面它有有指标有维度,那么这个地方就是定义它的维度,那么指标定义好了之后呢。好了之后,然后我们就会去有一个注册这样的一个操作。后面又注册一个操作,然后在注册完了之后,那么我们就会去。啊,就是去相当于说去采集我对应的这个指标对应的一些值,那这个地方呢,就举了一个例子,就是说啊,我们刚才有label,那么这个地方就相当于打了一个label,并且呢,这个地方用了这个。
41:04
就是。Summary这个这个类型的它的一个观察的这样的一个方法,就相当于去观察我对应的这样的一个一个指标的一个数据,这样一来的话,就相当于完成了我从这个指标的这样的一个。呃,它的一个定义,并且它定义里面包括指标,包括T,那么这个地方就相当于完成了对我这个指标它的一个值。对吧,我这个指标的什么值,然后我这个T它究竟是什么值,就完成了这样的一个从定义到这个数据采集的这样一个过程,那么这样采集完了之后的话呢。这个地方就会。呃,看到大家可以看到啊,这个地方是暴露了一个。暴露了这样的一个。端口H端口。这个端口,那么在这里面的话呢。到了单搁在这。这样一来的话,就相当于说我们就是又就是定义了这样的一个业务指标,并且用这个的这样的一个客户端的实现了,就是这个export这样的一个协议,最终把它。
42:07
把这个指标暴露出来,我这样讲可能有一点那个有一点那个抽象,那其实我们可以简单的去去运行一下。看一下它这个它的一个效效果究竟怎样子。那这个其实就是我所在的这个这个。这个这个地,这个地方。这个地方,然后我们可以快速的去看一下它的一个效果。因为我这边暴露的端口是我看一下哈,应该是。应该是这个9081。那我们到这个页面上这个地方来看一下。OK,那这个的话就是说我们刚刚那个。看到的我定义好的那个指标。定义好的,应该我们刚刚看的是这个例子,这个例子。
43:02
这个例子就是sum对吧,这个例子,这个例子的话,然后在就是我们刚刚看到的。就是就是它这个地方定义的。这个地方就相当于说我。完成了我定义一个业务指标,并且呢。让他。在这个端口下面的这个路径下面,把这个指标通过。普斯的这种标准协议把它暴露出来了。OK,这个的话,其实就是我们刚刚看到的这个地方的。这一步就是我搞定我指标的定义,并且暴露好,那么第二步的话,那我们会去抓取指标。抓取抓取这个这个在抓取之前的话,那那我首先我们会去把这个。这个指标去。部署到我们的这个K上面去,对吧,要部署到K上面去。这这里面怎么怎么部署呢?怎么部署其实有有几种,有很多种方法哈,很多方法,比如说我可以通过他们恰的去部署,也可以通过在KS管理页上面,通过新建那个配置文件去部署,然后这个地方我给他,因为是因为是展示是调试的,我可以用那个。
44:05
啊,这个就是。呃,这种方式去快速的给大家看一下。刚刚我们其实是完成了这个。本地的这样的一个操作哈,就是我可以把这个自定义指标已经搞好了,然后我需要到那个TK上面去运行的话呢,其实我还是要把它打成镜像,打成镜像的话呢,就会用到这个啊,这个我们就不就不就不展开啊回头。有兴趣可以回头再再再再再找一找,然后我把它打成一样之后,然后我要部署,部署的话。可以给大家看一下哈,看一下我这边的调试,调试模式下的一个方式。那我现在是在那个。是在这个下,这个下面,我我要去切换到我们的这个,我要的这个这个。
45:03
这个集群就是。就是我上海这边。就是这个这个集群,叉五的这个集群。差不多这个集群。我要切换到这个集群下面,然后去把刚刚的那个自定义指标。的那个进像把它拉起来,拉起来之后,然后我们拉起来之后呢,就是就是就是在再去这个看我们的这个抓任务是到这个地方,那现在呢,我们我们是在这个去相当于部署在t ke上面去部署我自定义的这个指标的这个任务的这个环节。然后我们现在去到,首先我就连上这个。我要连到我。或者这个集群,这个就是我们刚说的这个这个集群。
46:10
OK,那现在我已进到这个集群里面,然后我们可以看一下哈,可以看一下他的当前的一个状态。这个这个其实这个其实就是我已经好的这个刚刚的那个。自定义指标的那个那个那个那个那个那个那个迹象它的话呢,是。这样子他就跑这两个下面的,然后我可以给大家看一下这个这两个配置文件哈。就是我怎么样的去把我的这个镜像放到我的那个T的那个集群上面去。是在。哎,这个地方,比如说是在这个地方。给大家看一下这个备份。略有点细节哈,大家。可以。
47:00
有耐心一点,那这个其实就是我们说的这个。这个。我要去把我刚刚的制定指标的一个镜像,我要放到KS,放到T里面去,我怎么放呢?那么我就会去搞这两个文件,一个是这个这个文件,这个呢,其实就是我打好的那个定指标的一个镜像。这个镜像来大家可以看到。打打进来的他然后对应的那个端口是他,然后同样的话,我搞了一个这个service。Service。然后这。在在我的这个控制台这边的话呢。大家可以看到在一个是在。就是这个配置文件,就是我们刚刚看到的这个要拉起我的这个镜像的这个配置文件。文件,然后我们可以去。呃,这个。
48:02
运行一下。因为我因为我之前已经跑了啊,已经跑了,这个已经跑起来了,所以说大家我运行的时候,这个两个地方其实就是那个unchanged,因为这两个东西已经有了,呃,这样一来的话呢。这样一来的话,其实我们已经把我们的这个指标。自定义的这个指标已经放到那个通过镜像的方式,已经放到那个T的这个集群上面去了,然后。呃,我们想知道我这个指标有没有生效,那其实可以通过一个简单的方式。看一下就是我可以通过。这个本地我。报了一个端口,可以来看一下。首先我把我这我这边停掉。那我这边也停掉,OK,那我本地的其实就。大家看一下这个地方其实就就访问不了了,OK对吧,这是没问题的,然后呢,我再去。
49:02
看这边。因为我们要保证我的这个服务。呃,我的这个服务啊。我的指标这个服务要是要是比那个就是是那个OK的,然后我抓我的抓取任务才是才是才可以抓得到嘛,对吧,然后这个地方呢,我们就去看一下我的这个指标任务调试模式下,可以去看一下我这指标任务是OK的,那么我们就可以去看一下这个,呃,这个这个这个service的这个地方。你看这个。OK,然后我就去到这个地方。好。
50:02
对吧,那这样子其实大家可以看到这个其实就相当于说我跑在我TK集群上面的,我这个自定义的指标还是正常运行的。正常响,因为我这个地方是通过我的这个服务的方式把它暴露出来的。就通过这个,那相当于带来一个远程的一个代理,把通过服务方式把它暴露出来的,那这样一来的话呢,那就相当于说我的这个数据的准备工作也就OK了,因为我已经在。在我的这个T上面已经把我这个。把我的这个指标已经部署好了嘛,那接下来的话其实就非常简单了,那我就到我的这个页面上去看。然后再回到我们的这个。呃,几个的这个页面。他们就是集成这个页面。我这边刷一下。然后我们到这个上海的这个。数据采集配置。那这是我们刚看的基础的,然后这个地方到了自定义这边的。
51:12
那我们可以查一下自定义的。新增。Service service监控呢,就是呃大我可以直接给大家看一下哈。Service的其实就是KS里面一个概念嘛,就是我们刚刚看到的这个这个东,这个东。这个吗,这个呢,其实就是我这边。我们刚刚在这个地方定义的那。他实际上就是去把我们的这个镜像里面的这个指标啊暴露出来,就通过这个这个service这个把它暴露出来,然后我们怎么样要去把这个指标装回来了,那也其实也非常简单了,在这个地方。我可以看一下。这是第二个。嗯。这个等于啥呀?
52:04
OK,然后这个的话,大家可以看到这个就是我们我们刚刚定义好的这个SERVICE1就是这个服务。就这活,然后这个地方我们可以。可以看到就是这个一个端口。然后这个是。生的这样数据抓取的一个一个配置情况。啊,这个就是他,然后我们点击确定。点击确定的话,然后他会就他就会去看。就是做到了这个到这个地方来了。这个地方来了,这个地方来了,这个地方来的话,然后他就会去,相当于会把我抓取这个指标把它拉回来。那这个地方大家可以看到哈。就是我自定义的这个指标了,我已经署到K上面去了,并且的话呢,通过这个普通这个服务已经把它抓回来了,那最终我们在哪个地方看他有没有有没有这个抓成功了,这个地方其实已经看到抓成功了,比如会有我们的两个,因为我们这边。
53:13
我这边部署的这个副本是两个副本,所以说这个已经装好了。你做好了,然后我们到这个地方也可以看一下,就是这个地方的话,就是我们在这边可以去快速的我们的某一个job,它有没有有没有这个运行好。有没有印象好啊,目前看刚刚的这个作文应该还在。还在运行当中。就是我们的这个叫法。呃,这个脚本等一下,我们可以再再再回头来看一下哈,然后这个呢,其实就是我们刚刚说的这个。呃,就是说的这个自定义指标的这个场景哈,因为它的那个,呃,这个数据准备的这个过程会会那个比较耗时一点,所以我们就多花了一点时间,就是从这个我们从一开始的这个。
54:05
这个延时的这个指标的定义,然后到最后这个。啊,接下来。的那个。打击下,然后到这个镜像在t ke上面部署,然后再到这个这个指标的抓,到最后这个这边查看,这个其实就是一个比较完整的这样的一个闭环。然后我们再看一下。我们刚刚的这个job。有没有生效啊。啊。大家可以用这个命令来去快速的去看我们这个这边它这个抓取的一个一个一个job的一个一个情况,那这个其实就已经生效了。就是我们刚才看到的这个。四个一,然后这个地方就是我们对应的两个对应的一个实例嘛,对吧,这个已经看到了,已然后同时的话,那我们也可以去这边去查一下我对应的一个一个指标啊,我们可以去把我的这个指标拿出来。
55:03
这然后我拿到这这地方来看,因为因为我们是一个summary类型哈,Summary类型的话,它它会生成一个这个cat这样的这样的一个一个东东,然后我们点一下这个看来就是也可以看得到。OK,那那那这个地方大家可以看一下会有多条线啊,大家可以看一下这条线,这这这几条线,这个job就是我们刚刚看到的这个test service就是我们在。就在这边。配置的这个这个这个这样的一个抓取任务。到这个地方来。他的实力有两个OK生效,然后我们到这边来看。这个其实就是我大家可以看到,就是我的那个指标,我的这个指标。就是我们刚刚在那个代码里面看定义的那个指标,因为它有不同的这个,所以这个地方大家可以看到有多条曲线,对吧。这样一来的话呢,就相当于说我们这个场景就闭环掉了。
56:04
这个场品就闭环掉了,从制定指标的这个规划,到指标的这个落地,然到这个TP上面,把这个指标对应的这个服务把它拉起来,然后到这个抓取,然后再到最终这个展示。这个整个的这个呃,数据的一个规划准备抓取消费到这个验证,到我们最终的一个展示。这个这个其实就闭环掉了。这个这个我们稍微的时间比较长一点哈,呃,因为这个稍微复杂一点,稍微复杂一点,然后接下来的话呢,我们去看一下就是。嗯,对,这个就是我们刚刚已经已经演示走过了嘛,对吧,我们要建了这样的一个自定义的。这样的一个一个服务,然后这边是配置这样的一个抓取任务。那接下来的话,我们会看一下这个指标的这样的一个场,就是组建的这样的一个场景哈,呃,组建的这个场景,同样的我们回到我们刚刚说的这个客户的这个诉求这个地方,那么我们会有这个DB的K的Q的。
57:02
这这些组件,然后这些组件的话呢,在我们的这个页面上呢,其实可以到我们的这个集成中心这个地方呢,这个其实我们可以在页面上也就通过这种呃,点对点的这种方式呢,可以可以完成快速的集成。这里面其实呃,像对比开源的话,那其实我们的这个效率也是比较高的,因为大大有用过这个这个这个。就是逐渐抓取这个场景的话就知道了,我们在自己如果是自己搭建的话,那我们首先要部署一个,然后再自己去把这个抓取任务配置好,对吧,然后呢,在。再去看,那实际上在我们这个集成平台这边的话呢,我们是已经把这个。任务的这样的一个explorer部署,并且把抓任务的这样的一个配置,已经把它那个集成进来了,非常快速的通过这个页面点点点的方式可以来做,那接下来我给大家看一个这个这个MY这样的一个例子哈,就是我们怎样的去。在我们的集成中心里面去快速的集成MYSQL这样的一个例子。
58:01
我再切到我的这个演示,演示画面这边。三这个地方我们就到了我们这个行政中心这个环节,这个环节里面的话,刚刚我们举了举了一个,比如说我用那个t ke的这个例子啊,刚好我用这个MYSQL这个例子给大家看一下MYL这个例子的话,那么我们。呃。就会去把我们的这个。呃,比如说我要去我买了一个,首先我会买一个那个那个这样的一个实例哈,我给大家看一下我买的这个实例。我买的这个。实力。在这个地方。那就是他。就是这个事例。就这个这个这个这个位置,那我怎么样去快速的去把这个实例。
59:04
接入到我的这个普罗米修斯这个监控体系里面来呢,那么我就相当于说我在这个地方建个名字,并且呢,把。啊,我要给我的这个。From是这个开一个这样的一个账号,并且就在有一定这个权权限的一个一个一个授权,那么这个地方你看呢,就是我们就是。嗯。当然这个可以创建账号,我已经创建好了哈,这个就是对应的那个账号,然后是。我这个账号进到这个数据库对应的一个密码。啊,这个就是我建的这个账号。非常好。OK,然后到了我们的这个中心这边,我们怎么玩呢?那么我直接给他看一个。看我以前配的这个哈,因为这个比较简单,就就不现场操作了啊,这个就是我已经配好了这样的一个个一个一个一个抓取的任务啊,首先我会去把这个用户名过来。我要我要去登到我这个DB里面去拿一些监控数据嘛,对吧,那我要把这个用户名拿回来,拿出来就是这个地方的这个用户名。
60:02
这个地方的这个用户名,从这个实例管理账号。并且并且记得一定要有一定的权限,这个权限的话,就是就是要有这个这几个权限,因为我们后续查数据这几个权限。然后回到我们这个地方来的话,那这个地方有这个。用户名和这个密码。有了这个ID,就是我这个实例的IP破了之后,那我这地方就可以去采集我对应的一个数据,这个点保存。电报一样的,那我们再回到这个看一下这个。这个其实就是就是就是我准备的这个实例。这是我们普罗米斯这个数据源哈,这个是实例,刚刚我们看到这个。三三零六点。2525253306这个。嗯。来253306这个,那么这个这个这个C,它的这个实力数据的话呢,监控实力的一些监控数据话,就已经上来了,就已经上来了,是不是非常简单。
61:01
OK,并且的话,这个地方我们还配了一个链接,可以直接到。我们刚刚看到的这个米是啊,这个这个这个DB的这个这个实力的这个界面也非常快,非常便捷。那。这个场景的话,其实就是说我们在。有这个业务依赖的一些组件的一个这这些场景的这个这个场景里面的话呢,我们可以用我们的这个集成中心来完成这个高效的这样的一个集成,其实大家可以看到,像刚刚我们走下来的话呢,像要集成这样的一个例子,那其实差不多也是。也是级别吧,可能呃,前前后后走下来,可能十分钟左右应该可以搞得定。十分左右一个搞定,那搞定完了之后呢,就是我们在我们的这个。啊,这边。已经可以看到我的这样的一些那个那个那个监控数据了,对吧,这个是啊,非常快的。这是这是这这是这这两个场景哈,就是我们这两个场景,一个就是我们开始有技术监控这个场景里面,然后第二个场景是我把监控这波场景覆盖了之后,我们会去覆盖这个这个自定义指标和这个这个组的这个场景,这是这两个场景。
62:15
这两个场景相当于说我们走完了之后呢,就是我们大部分的这个数据啊,你会看到我们这个大部分的数据其实已经。呃,这些指标的这些数据已经进到我们的这个普通,比如说这个库里面去了,然后接下来的话呢,我会再给大家介绍,就是从我们和以往这个客户客户交流的这样的。这个这个例子来看的话呢,就是还有一些实战的场景,可以消费者实战的场景可以跟大家分享一下。这里面我会讲三个,第一个的话是说那个。这个就是。啊。精细化告警管理。然后还有一个是这个。啊,这个大盘的这样的一个配置,还有一个就是说我们到了业发展的更更大规模了之后,我们跨云了之后,我们怎么怎么玩。那么第一第一个场景的话呢。
63:01
就是说因为我们那个pro它有这个tag的这个能力,有多位的这个能力,那么我们可以利用这个多维的能力,在这个告警的这个呃,力度的控,我们其实可以做到啊,就是可以宏观也可以微观。比如说像我们有我们的这个服务,有这个我们现在举的这个例子。电商的这个例子而言,我登录的有有这个产品浏览页的,然后我有下单的这个服务,那这个服务的话呢,那我给他打上对应的不同标签,服务名肯定是一个标签嘛,对吧名我log。那个。这个detail,还有这个这个这,然后我还有其他的IP和这个region,那么在我们的这个,呃,实际实际的这个场景里面的话,如果说我的这个。服务,它因为现在我们跑在那个TK上面,它的那个负载均衡啊,其实还包括容错机制都是有比较好的一个保证的,那其实一开始的话,我可以就是做到宏观维度的这个性检测,比如说我检测这个我的成功率是BY这个service这个维度的。
64:00
Service就是这个这个维度的。服务这个维度的,然后它比较,呃,就是说它可以做到一个相当于宏观维度这样的一个收敛,而不是说。我这个服务异常了之后,那我可以先定位到是哪一个服务,如果有具体的一些异常点之后,那我再往下更下层定位,比如说定位到一些其他的或者IP的维度。那么换另外一个角度,如果说我的某一个服务特别特别重要。那么我要关注的非常细,那我就可以说我的这个告警的控制力度,我就从这个这个T的这个维度,一个我从这个这个维度,并且我。从这个IP的这个维度是I,这三个维度加起来,这个维度来控制都是可以的,这样讲有点抽象啊,我我在那个我们的那个控制给他看一下。首先你比如说我们到了这个我们的这个告警策略这边来警策策略这边,因为我们刚刚看到了这个这个就是成功率这个数据已经上来了嘛。你报上来了。那么这个地方,那我就可以配置,比如说我的这个,呃,成功率。
65:02
呃,我先给大家看这个吧,看这个比如说比较宏观维度这样的一个一个一个告警配置哈。那我可以有这个。告警的一个成功率,并且呢。啊。是在。用服务维度的,就是说服务的还没到具体的这样的一个小于两个九的时候告警。还有两个告警,然后这地方我还有一个比较好的一个体验,就是说我我点了这个。预览之后。可以去看一下我这个告警规则配的对不对,对不对,目前大家可以看下这个告警的这样的一个。就是我的这个成功率哈,就是service,我我现在有三个。三个。产品详情页,那这个我可以看到这三个服务,它当前的一个成功率的一个状况,因为我的是九九九十九,这这些都是正常的。然后这个地方,那那我们也可以配置,比如说我持续多长时间。我一分钟检测一次,那我可以持续。呃,持续比如说三分钟是告警,然后如果处于一直告警的状态之后,那我可以可以有一个时间为收敛,比如说我一个小时,如果他一直在一直异常的话,那我一个小时发一次,那么这样子以来的话呢,呃,包括我发的这个告警信息里面可以去带一些我的这个。
66:13
这个指标产生的一些T哈,这个地方我举一个简单例子,这样一来的话,就相当于说回到我们刚刚的这个这个case里边哈,我可以从比较宏观的维度,比如说service这个维度去看我的这个告警的信息。一个服务异常了,那我先我偏服务度,那同时的话,那我对一些比较重要的服务。那我也可以去看。叫稀密度的这样的一个一个一个一个一个告警,那么一样的,我可以点过去看一下。这个地方就相当于我们检测了两个维度,一个是说这个服务维度,一个呢是说我们的这个。区域的这个维度,那么它就相当于把我们这个维度做了一个成长,在这里面的话。这里面,那我们的那个。指标它的那个那个那个那个那那个呃,成功率,其实我们看到维度就会更细了,它的告警出来的话,那也可以看到说我们这个成功率的降低,它究竟是。
67:11
哪个服务的哪个。检测的,检测的维度会更细一些。这这是其实也是比较用这种多维能力比较好的一个点,第一的话呢,就是呃,我们可以一开始不覆盖特别特别细的一个力度,就是相当于说告警的话,这个它的这个风暴可以收敛一点。不然我非常非常细,那一开始一开始一个实下面所一个服务,下面所有实告警,那包间就来了。还有一个的话呢,就是。用这个同这种它的它的这种查询语言,那比如说我们有这种查言的话呢,那实际上它可以比较。大量的降一些这个告警策略,因为如果说我们需要配置。在按每一个这个服务,比如说这地方有三个服务,那可能按照常常规的传统,我们要配置三三条告警策略,实际上在里面的话,如果我们用到它的这个。
68:09
这个参询言是败的,这种这种能力的话呢,那其实我们一条一条就够了,这是它的两个好处啊,一个是。我们说的这个可以收敛一部分告警风暴,还有一个呢,就是说我们的这个可以降低这个告警策略。这个也是我们。和我们的客户交流中间碰到比较多的一个应用场景,给大家分享一下,然后接下来这个场景的话,其实也就非常直白了,就是说我们可以配置这个这个。呃,监控大盘,因为我们上面提到这样的红包的这样的一个活动。活动,那我可以针对这个活动呢,我出这样的一个大盘,这个大盘里面。我就把我非常关注的一些信息都可以放到这个地方来,比如说我关注的这个红包的这个在线人数啊。有多少人参与了这个活动啊,发了多少个红包啊,还有这个接口的一些一些一些这个成功率,那么这个其实我们都是可以在这个里面实现的,我可以给大家看一下。
69:03
看一下这地方我配了一个,配一个比较比较简洁的,大家可以参考,大家可以根据实际的应用场景参第一的话,那我们可以去对吧,我有这样红包大盘这样的一个。呃,这样的一个,这个是非常白的,那我们先跳过,然后这地方我们其实有可以有分组这样的一个。清楚。分组那。这个地方怎么分也非常简单,比如我点一个这个。那这样子呢,这个其实就相当于。一个新的分组。他这个地方可以去改他的名字。新层。那谢文成。然后这这这在这个里面,那我们可以把我们刚刚提到的,比如说业务层啊,组建层啊,这这些指标,我非常关心的指标都可以拉到这里面来,那这里面我拉了,比如说像我们的这个活动的参与人数。然后接口的延时,还有这个接口的成功率,那么这些我都把它拉进来。
70:01
在一个代替过程里面,其实我们就可以比较方便的去看到这些,呃,就是关键的,第一呢,是关键的信息,第二呢是关联的信息,就是我的这些业务指标,其实它与我的这个一些基础这些指标啊是。呃,有某些关联性的,比如说我看到我这个这个这个成功人数开始下降,那那那。那个参与活动人数开始下,开始可能比较突然一下掉了,那我去会去看一下我的这个成功率有没有异常啊,或者我去会去看一下我的这个QL连接数是不是也掉下来了,就可以有一个第一呢,有一个巡检的这个作用。就是给大家非常直白的去看一下我们现在整个的运营的运营的质量的一个状况,第二的话呢,如果说发现有异常的话,那我们可以在这里面可以比较快速的去看一下我们整个的这个关键路径上有没有异常,对吧,这是这样的一个场景。然后。消费的第二场景,我们就介绍到这儿,然后还有一个,还有一个就是啊这个的话呢,啊,这个场景从我们客户里面看的话呢,稍微少一点,稍微少一点就是我们会有这种。
71:06
啊多云,甚至这个这个这个全球治理的这样的一个一个场景啊,我的这个业务。还是回到这,我的这个业务,一开始单位PC我们刚刚提到了,还有这个多一朵云的多是我们提到了,然后现在是多云。和全球治理的,那这里面怎么办呢?如果我有这个数据汇聚的,汇聚的这样一个一个一个一个场景的话呢,那这里面我们其实是有这样的一个跨越方案的,就是我们会在远端,比如说这个这个是我。哈,那这里面我们就是有刚刚我们自己买的这个的,也有这个。这个这个这个这样的一个一个买的这个服务,然后我比如说我的服务是。接下来我跑在这个。区服务是跑在这个,比如AWS或者GCPU或者上面,那这个场景里面,我们怎么样去覆盖了这个其实也是啊,也是就是有对应的一个解决方法,就是我们。把我们agent到我们端的这个KS里面去,然后呢,让他去采集数据都回来。
72:04
人工write到我们的这个pro里面来,但这个地方如果是网络不通的话,这个地方会有一个这个。会这个啊,会有反向代理的这个地方。哦,这个我可以举一个给大家快速快速演示一下哈,这个能力我们是是具备的。这个地方呢,我就模拟了一个。模拟了这样的一个,有这样的一个集群,就是啊,就是这个地方有这样的一个集群,那在这个集群的话呢,我在我的这个。这边。我目前我是。没有去做集成的。没有去做集成的,大家可以看一下在这个地方。关联集群。这种简单这个地方,我是我是没有做集群的,这个就是我刚刚说的这个。呃,CSFT的这个这个这个这个技术。这个机这个我就讲讲模拟,它是在那个那个那个那个aw上的啊,那么那么这里面我们怎么样子去把它这上面的这个数据把它把它采回来了,因为我是在。
73:05
呃,这个。这个集群所在的这个网络和我的这个那个这个网络是通的,所以说呃,回到我们刚刚这个里面的话呢,那实际上我这个地方就没有这个反向代理,那么我要做的第一步呢,我就会把我的这个。Agent,我们的这个pro agent把它到这个端,要做到第二步的话呢,就是把这个。在我们的这个控制台这边去建这样的一个agent,然后这样我就可以在控这边把我的agent这个配置。呃,管理我的这个配置,同时这边就可以去拉取这个配置,然后把这个数据抓回来,然后最终到我们的这边来,这个我给他看快速的看一下。这个用的场景稍微少一点。
74:04
首首先的话呢,我要切到。啊,切到就是我的那个集群的这个集群里面去,因为我要把我的这个。切到这个集群面去,个集群里面去,并且把我刚说的里里面去,然后这边。OK,我要切到这个平台,然后。OK。
75:06
OK,大家可以看到啊,其实其实在这边的话,我已经啊,已经把我的这个服务已经。已经布上去了,就是我布了一个这个这个这个这个。呃。出来一个我的这个这个。编的这样一个服务,就是我们刚刚跑的那一堆的指标,然后的话呢,我也布了一个。呃了一个这个这个这个就是我们刚刚说那个A的那个set,我可以给大家看一下就是。我们会两个东西,第一个的话呢,就是我们会把这个账号什么的把它建好。三号什么的建好就在这。因为我是要把我这个镜像通过和我这个这个A通过镜像的方式把它布到我的那个远端的,比如说我们比如说AWS那个那个它的那个叫DK什么的,他的那个开那个服务里面去,那么我们就需要去建一些这个呃service,然后这样的一些。
76:09
一个是账号啊,还有一个是这个啊,这样的一些一些东西,方便我们的这个A技能去访问它,它取里面的一些这个数据,这是第一趴,第二趴的话,那我们会把这个真正的这个A的把它好A,我们是这种方式去的。那就是用这种方式去播,就是我们会有一个那。呃,在这里面的话,那我们需要去。呃,去,因为我的这个A的汇合,我们控制这边交付,所以我们会有一些这个准备的一些工作,比如说这个的话呢,那就是我们这个,呃,就是我这个就这个。这个地方。这个地方就是我的,我因为我不在这嘛,对吧,我不在AWS上面的这个S里,那我要去把我的数据回传到他,那么我熟悉,那我这个地方的地址就是他的这个地址,那在我们这个地址里面呢,就是我们刚刚在上海那边买的那个实的地址,就是他的地址。
77:09
就是就是就是就是就是这个地址。就是这个地址,那就是在就在这儿。就是这个地址,并且的话,我们会在我们的这个控采上面新建一个agent,然后这是我们控,然后这个的话实际上就是我们。我把这地方处理一下哈,处理了一下,就是我们的这个K的那个访问密钥那个地方有个,然后这个东西相当于我们在远端在A上这个agent上可以和我们的控制台这边的那个。呃,就是那个那个那个配置啊,进行一个交互,他会把配置拉来。那这个这个其实就是我们真正的那个那个A的一个。那这个我们建了一个这个这样的一个设这样一个服务,然后当然这两个文件我们都可以通过。
78:00
然这个执行执行一下这地我就不执行了,因为已经执行过了,执行的话也是那个就是change的那个那个那个那个作这样子一来的话,就相当于说我完成了这个第一个最基础的动作,我把我的的远端。并且它那个配置我也搞好了,那接下来的话呢。接下来的话,那么我们就会去到这个我们的这个控制台这边,那这就是我刚刚建立的这个。呃,因为我控制台我要去管理我的这个配置嘛。管理我在A上面这个配置,那这个地方我们就会去建一个刚看到。看到的这个。这地方的这个配置。呃,就是。这个配置啊,我再给打打看一下。那这个配置就可以映上这个地方呢,就是ID,就是这个实例的ID。这个地方这个A镜头,这个地方这个A镜头。OK,那这样我们相当于就是远端的。
79:02
黑不好了,第二我在这个控制台这边的这个agent。呃的配置我也搞好了,然后这地方我会去。搞这样的一个抓取任务。这个抓这个抓取任务的话,大家就比较有意思了,这个地方可以我们支持这种纯原的这种的配置,这个地方我就偷了个懒,我就直接抓了。那个就相当于说我不在我的这个aw上面的这个T里面的有这样的一个业务的这样的一个服务一样的,还是刚刚我们说的9081的那个,就是一个IPC的那个duration的那个那个指标,那么这里面。呃,我们就可以去把相当于aw上面这个指标把它抓回来,然后这个的话,其实就是相当于说是KWS面的那个的那个获的这样的一个可以给大家看一下啊,这地方我了,实际上可以用KS的那个那个就是。啊,服务发现那个配置去做,回头我在那个那个我们的那个,到时候这个文档里面我可以给他出来。
80:03
嗯。这个IP,这个IP是哪的IP呢?这个IP是IP呢,这个IP就是我们在远端的那个KS的那个上面,上面看一下这样子。会更有。感觉一点。看到没有,这个其实就是我的那个。就是我的业务服务的那个pod。然后这个就是我的那个那个IP,因为我的这个服务是跑在这个上面的嘛,这个地方是0.4,然后0.4.9081对吧,这个就是相当于我露的那个指标服务。然后这个的话也可以给大家看一下。就是。这个就是我的那个远端的那个服务。它的那个其实也是我们刚刚说的那个镜像。啊,也是也是那个镜像,就是第一的话呢,这个就是我们刚刚在制定指标那边打好的那个镜像。
81:00
单号的这个迹象,然后。呃,我只起了一个副本哈,只起了一个副本。那这个地方对应的这个设备是。然后我们怎么知道我的这个数据已经从aw上面来了。那我一样的,我回到,我回到这个地方来。去看一下,因为我们在我们远端的那个job的名字叫MC serve对吧,这个我们再到我们这边。呃,再到。我们到这边来看一下。这个就是我们的那个job,就是相当于说我在我控制台上面配置这个配置,然后。被上面的那个agent拉下去了,然后呢,他在那个上面,他去抓了这个下面的。这个端口上面的这样的。一个指标把它抓回来了,抓回来并且我们在我的我们的这个,我这边的这个。这个这个这个gra这边看他的这个任务啊,抓取任务已经是生效了,同样的那我们可以看一下我们的这个指标距离没抓回来,那么我们就会到哦,这这个地方来,这个地方来,大家可以看到就是我们刚刚还是第一的那个自定义指标啊,然我们点一下。
82:13
点一下查询,然后大家可以看到。啊,我就直接。上可以看到这个的话,实际上就是。我们的那个从as上面来,这个是A,刚刚我举的那个例子那个嘛。上来这个job回来的这样的一些指标。回来的这个指标。OK,所以说这样一来的话,大家可以可以看到哈,就是我们就是。我们的整个这个陪伴业务发展的这个过程当中哈,我们的。我们的这个。一开始的可能。一朵云的单位BC到一云的多BC,甚至到后面的这个多云的这样的一个场景的话,我们都是可以有比较好的这样的一个的。这个就是业务。
83:01
那个。长远发展保价哇,保价华OK,我今天的整个的这个。我这一趴的话,就差不多到这里,差不多到这里就是回到回到这个地方,还是回到这个,就是客户角度这个业务这个地方哈,那么我们。嗯。做的这个所有的这个这个这个这个监控的这些事情哈,其实都是为了保证最终用户的他的这样的一个使用,用户的一个使用。保证他用我们的服务的时候,他的这个体验呢是最好的,我们的服务的稳定性是最佳的。动稳定性最佳的,OK,今天呢,主要就是给大家分享一下,就是说。在这个一个实际的一个客户的一个场景下。不同的这个发展的阶段,然后不同的这个业务场景,然后我们关注的一些业务的这样的一些分不同层次的这样一些监控指标,我们怎么样子在我们的这个呃体系里面来快速的落地,呃整个这样下来的话,其实。
84:04
啊,我们整个的这个效率其实是。这个技术效率是是。对比对比那个字研的话是非常非常高的,非常非常高的,当然这个技术效率是一帕,还有另外的几,比如说像。呃,我们说的这个稳定性,还有像这个。啊,这个。啊,那个安全性,还有像这个开源的一些那个啊,这其实都是我们啊这个平台比较那个擅长的,就是我们整个这个思路,其实还是说这个能力建设,还是说一加一大于二。第一个的话呢,就是说。开源它的能力不足的地方我们给他补上去,比如说像高可用对吧,今天我们其实媒体高科,但是这个其实是呃,一加一里面非常重要的一趴高可用这个比如长时间存储对吧,这是第一,另外一个一的话就是把我们平台的这个强项发挥出来,就像我们刚刚看到的就是说因为我们平台的。这个能力里面,我们像这个提到了,像这个VPC的这种这种集成。
85:04
呃,这种场景还是说我们说的这个。呃,在像这个集成中心这里面,这种非常高效的这种接入,那么这里面其实都是发挥了,我们整个就是云平台的这样一个,就是因为我们呃,利用平台的这个能力的话,我们可以去做。呃,就是很多那个。呃,工倍的这样的一些场景。OK,那今天我们就就就搜一下,就搜一下就是。就给大家介绍一下,就是在T1这个场景下,容器这个场景下,我们是这么玩的,当然如果要保证我们整个业务哈,从客户角度讲,从真正的用户角度讲,它的这个完整的这这样的一个可靠性的话,它的用户体验的话,那其实我们还是建议。不仅建议大家关注这个普罗米修斯,这一点也建议大家关注一下,就是我们整个的这个。呃,跟我们的云监控这样的一个体系,从这个用户的最前端拨测,然后到呃这个中间的,比如我的前端监控,我可以看到某一个用户他的具体具用什么失败了。
86:04
然后到了后端,比如说我调链,我可以看到这个我这个用户,用户到了后端之后,它的一个调用的一个拓啊,这样一个东西,当然也到了我们这个地方的,比如说像指标对吧,我可以看到指标。到我们的这个基础监那边,甚至到我们的这个压测服务这边,它其实是一个整套的这样的一个。啊,一个一个一个全家桶吧,去保证我们的真正的用户啊,比如说我就是网购的这个用户,他是是用的是最爽的,真是最爽的,然后呃,还还有这个这个这个我也在插插广告,就是这个就是我们还有有对应的那个公众号这个用户群,然后大家。可以这个关注和那个加入一下我们对应的那个,呃,架构师啊,还有我们的那个产品研也都会在里面,就是和大家一起去帮助我们真正的用户去。啊。就是去。做到我们真正的一个价值的一个输出吧。好吧。那我那我今天的我这边的分享就先到这个地方。
87:06
嗯,好的,感谢啊,感谢杨波老师给大家带来的这场直播,呃,诶杨波老师,你可以放到最后一页那个二维码会比较大一点,然后大家可能会扫的会比较清楚一点。啊对对对,就是嗯,整整场直播的话,其实是针针对普罗米修斯的这样子的一个实战容器监控实战场景做了一个非常详细的介绍,我们后续也会有一个回回放嗯的链接,那关于这个PPT或者是回放链接,我们都会第一时间放在我们的用户群里面,那希望大家能够加入到我们的用户群,那同时我们云监控整个一体化的监控解决方案,包括波测啊,然后前端性能监控应用性能呃监控呃以及米修斯监控,还有的这样子的一个呃托管服务呃,所有的相关的包括直播信息,还有一些线下的线上的活动,以及一些呃针对客户的一些优惠活动,我们都会在第一时间呃在我们的群里发送,那所有我们团队的呃产品包括。
88:08
开发架构师也会在群里面帮助大家去啊,回答一些大家在呃产品理解上的一些问题啊。OK,如果,嗯,大家,哎,我们在看到有一个问题,就有一个用户问到,能说一下高可用是怎么实现的吗?波哥,你这个方便啊回答吗?如果就是比较复杂的话,你可以让这位同学加到我们的用户群里面,然后们在群里回答,如果你现在可以回答的话,你看现在是不是需要可以回答一下。嗯,我我可以先那个回答一下我们大概怎么做的,然后如果有细节的话,那个那个同学可以先加进来哈,可以那个后面也可以继续沟通,就是我们的。呃,那个高培的话,其实分为有状态状态。就是大家都知道那个从维的角度讲,有状态的那个服务其实是比较关注嘛,无状态其实我们都说还好了,对吧,无状态的话,包括我们的接入服务,这个数据的分发都是无状态的,然后然后就是我们关注的是数据落地那个地方,数据落地的话呢,我们其实在开源里面的话,它是单本单机版对吧,如果挂掉那就那就有问题了,那我们其实是在我们后端是用的那个。
89:14
叫做多实力。多实力集训版的就是。开源里面你数据落到一个集群,落到一个实例里面,那其实我们后台是有多个实体的,并且我们在那个落盘的时候啊,落盘的时候,比如像开源里面,它是用这个叫什么来着,就是单机嘛,对吧,落落那个本地盘。当然你也可以做一些网盘上的,但是我们的话就是直接用的云服务,就是云服务云存储。所以说从那个有状态状。这个单机集群还有这个落盘,这个角度讲的话呢,我们那个高其实是有非常高的一个保障的。如果有细节的话,那个同学可以加下那个群哈,可以可以再细聊一下。好的好的,如果大家还有什么问题的话,可以在群里面提问,我们都会呃,就是我们的呃,产品组的同学,还有还有整个云监控中心的同学都会在群里面帮助大家回答问题啊,那如果呃,我们看到现在线上没有。
90:10
哦,我们刚刚又看到一个问题,就是云上普米修斯的架构如何水平的扩容,这个这个博客也回答一下吧。呃,水平的扩容,这个这个水平的扩容,其实好像网络有一点。吗,听以啊啊状态状态。拼音扩它是无状态的,因为就相当于就在T上面添加一些破的资源就可以了,然后有那个存储的部分的话,那我们就扩多实例嘛,多实例因为我们刚刚说的这个,我们后端就是是这个修,是否它其实是多实例的,那扩给你扩扩多个实例就可以了嘛,其实在在大家使用层面的话,就是你你是看到这个细节的,因为你看到的话呢,就会是。
91:04
啊,我们对外的那个用量,比如说的那个你的那个,我们那个机架那边有一个叫。就那个每天的用量嘛,你看到其实是那个,然后在后端的话,其实我们把这些东西屏蔽了,但实现逻辑的话,和我刚那个类似有状态的。就是那部分也比较有状态吧,就是多实例多就是集群版的那种,或者用这种来实现的,然后无状态就就扩T的那个就可以了,对。OK,好的,嗯,那那我们今天就差不多到这儿吧,然后嗯,感谢大家的参与,然后有什么问题我们后续在群里,嗯,继续交流啊,我们明天会会持续的推出更多呃,更有干货的一些直播,那欢迎大家关注啊,那祝大家那个周末愉快嗯。嗯,感谢各位兄弟,好的好的,嗯嗯,好的,拜拜,好好拜拜。
我来说两句