00:00
啊,那么咱们现在呢,在咱们这里啊,我们这个图呢,这个就不给大家看了,又和咱们这个差不多,对吧?我们这比例更全一些对吧?然后呢,如果要想实现这个思路呢,首先第一个ADS的写入,就是从这里读出来,然后写到ADS里边来,然后发布出去,结果可号查询,咱们还是一个个来啊一个来对吧,那么整体咱们这些东西呢,基本大家这个思路都走过了短,那云代码呢,我可能就不一个个带着大家写了,对吧?那么咱现在先来看第一个啊ADS写入,那么ADS写入的话,那你说应该是这样呗,对吧,这里把这个数据写到卡夫卡,然后呢,咱们现在卡卡对你得专门去把这个东读出来,读完之后呢,写到我这个MY思里面去,对吧,大概是这样,这块是不是ADS写入啊,对吧,那么咱们来看一看,那么首先呢,这里自己做一个分析啊,分析说ADS层那是干啥的,那这会刚才大家都已经了解了,因为你们在离线里面就有这个东西,对吧?有这些东西所说呢,这会具体它的一个描述,我不。
01:01
大家看了对我不大家看了对吧?那么咱们现在呢,和离线不一样的地方对吧?不一样的地方对吧,那么咱们是每一个批次来进行一次我的集合,对吧?所以说呢,那么在咱们这ADS层的数据呢,它应该是什么呀?它不是一个就完事了,不是一条写子就完事了,它是一波一波的对吧,放到咱们数据库里面去的啊,它是根据我当前的采集周期,然后呢,一波把数据放到我的数据库里面来,对吧?那咱们现在选哪个数据库呢?对吧?这块呢,咱们其实主要考虑的是精准一次消费这一块的事,对吧?那我现在呢,要想保证精准的消费,那么这块呢,我考虑使用咱这关系性数据库。啊,我现在呢,考虑使用咱们这个观影数据库,对原来呢,这个东西咱们是什么呀,这个原来其实无所谓,我是另外一种方式对吧,一个是对吧手动提交偏移量,另外一个命令性处理,对那现在呢,咱们换了一种方式对吧?换一种方式对吧?哎,这块呢,大家注意看一看,对吧,这块可以看一下和聚合本身呢,不麻烦,对你要想统计的话,这东西不麻烦,对吧,关键什么呀?对吧,关键是怎么样去实现咱们进入一次性消费对吧,关键怎么样是进止实现进止一的消费对吧,那么有的说老师,那咱们现在这里密等性不行吗?对吧,注意看,假如说啊,我在咱们这里边对吧,那是密等性的话,那聚合数据呢,它没有咱们明细对吧,没有咱们主线这个东西,所以说呢,那没有办法对吧,实现密等,其实这种也可以啊,对吧,不是说没有办法对吧,其实也可以,我可以按照什么来这个来去这个时间比等的,其实可以按照咱们的统计时间,嗯,是吧,可以按照统计时间。
02:41
大家想一想,导致咱们现在因为这数据源源不断过来的嘛,对,我可以把这统计时间呢,就作为主见的对吧,这种你可以了解一下对吧,那么咱们现在呢,会借助另外一种方式锻炼的方式,对吧?那么具体的代码怎么来写对吧?具体的代码怎么来写对吧?那我可以看一看对吧,首先呢,那先去添加依赖,那么这个依赖添加的什么呢?大家想一想,那就得这个这个操作,咱们买circle,然后这里呢,应该有咱们事务相关操作,对吧?那么如果用Java啊,如果说咱们现在呢,要Java代码,然后操作事物的话,对吧?来那便事物代码,那你现在能记住手段同学们啊,怎么开解事物。
03:24
啊,首先咱们是不是应该也是set,什么auto commit for,然后接下来begin,然后接下来那么咱们可以什么什么提交commit,然后回滚入back,是不是这几个呀,对吧?哎,那么这个SC呀,那它的其实操作事物的比咱们这个Java的要简单一点,对吧?它有专门的这个盖的操作JDBC它的一个小工具,对吧?那么这块呢,对吧,可以比较方便的对我的事物来进行处理,对,那这块代码都是大家看一看就OK对吧?那我现在呢,把咱们这小工具叫skyla leg j dvc对吧,这个东西呢,给我添加进来,同时呢,你要操作my circle,把my circlel它的一个依赖给加进来对吧?那么主要呢,是这三个依赖,CTRLC,对吧,我现在呢来拿过来放在哪呢?注意不在publish玩了啊,不在publish玩了,咱们现在又回来了,对吧,咱现在又回来了,那么又回到了我们现在的它的一个实施到这地步来啊,又回到到实施中。
04:25
那么在实实里边呢,我现在添加我们两个依赖啊添加啊,这是我们这三个依赖,这这个三个依赖一个是SKY了GDBC,那另外一个呢,是我的MYS狗对吧?那么这个SKYJDBC有两个啊有两个对吧?然后接下来把这个加完之后呢,那咱们既然要往数据库里面放东西,对吧?那么咱们呢,专门啊,我去准备一个数据库对吧?因为这里他是不是主要是做的ADS层的呀,对吧?所以说呢,我在这里专门呢去准备一个数据库对吧?那来到这里我们去新创建一个新的库,呃,在这啊。
05:00
新建一个数据库是吧?这个呢叫机贸0523啊,这个呢是放咱们这个是吧,这个贴果上啊,放在ADS结果的那这块指定我编码方式啊,这块呢,咱们把有这个互答取把排序规则指定一下,然后接下来那么咱们把这个指定好之后呢,这个数据库啊算好了对吧?然后接下来那我在这里,那你肯定得是不是把我现在品牌统计相关的东西,你得放到一个表里边去啊所以说呢,我创建一张表,对我创建一张表,这个表呢,来大家看我现在呢,在咱们这里,我呢去新建一个查询,到新建查询在咱当前啊,这是0523对吧,这一库里边到0523里边对吧,我新装一个查询,然后接下来那么我现在呢,大家看一看我当前这个查询里的这个表,到这这这个这个表是怎么创建的表名呢,叫我们当前的交易,然后呢,对这个状态,然后接下来对吧,这主要针对谁说主要针对我品牌呀。
06:00
被骂是吧,对吧,那品牌的一个统计对吧,那么咱们统计都统计哪些东西呢?对吧?统计时间你得告诉我,你啥时候统计呢,然后接下来那么品牌的ID,然后品牌的名称,然后接下来以及呢,咱们这个品牌的对应的一个交易额,也就是说我现在呢,想把这个对我当前实施的数据呀,那么把这个品牌ID名字,然后酱油给展出来,大家想一想,如果让你写搜狗的话,这个词我怎么写?啊,那你去统计这个东西的话,怎么统计啊。嗯,对,那肯定是把这个品牌分分下组对不对,然后分组之后咱们去求个和呗,对吧,是不是咱现在其实用我们这个对吧,然后把这个统计时间记录一下对吧,那这个就是什么?这个其实就是我们现在对吧,这个品牌的这统计方式嘛,对吧?但是注意啊,同学们,我不一定写circle啊。因为我现在这个品牌,我这个数据咱们在哪了,是不是我现在在卡卡里面,我是不是从卡卡里读出来,读到哪,是不是读到我的程序里边来对吧?那么你当前在程序里边写的话,那让你去对吧投计出它的一个我们这个品牌,它的一个我们的交易额出来,那这样应该更简单一点,对吧,不用写circle了啊,可以直接什么直接按照他俩来进行BY啊,把它俩组结成1K,比如说go by key算子对吧,然后进下来再什么来个radio by k对吧,是不是就可以啊对吧,尤写Spark去也可以对吧,那这个第一个表啊,咱们就把它创建一下对吧,这里我们现在呢,对吧来统建一下,那么在统计的时候呀,大家注意,咱们现在呢,它也有一个主键,这个主键是谁呢?这个主键是它对吧,这三个放在一块,这叫什么,是不是联合组件呀,对吧,其实如果说啊,在咱们这个一般这开发的时候,如果是不是迫不得已的话,尽量咱们这联合组件其实用的并不是特别多,我们一般在组件设计的时候。
07:56
时它应该有个原则是吧,就是尽量的咱们的这个主件选什么,选非业务主件对吧,就是一般咱和这要没有关系的对吧,就像咱们现在选的时候,比如12345789对吧,这种之间和you没啥关系对吧,我们out in out in对这种和you没啥关系对吧?啊那么咱们现在呢,把这个东西创建一下啊同学们来在这里第一个我现在呢,填个表创建出来,对吧,然后这个表呢有了,那么除了这个表之外呢,大家想一想,我现在啊,我这里我要干什么,我要从我们的卡里把这数据已给读出来啊,从卡卡把数据读出来,那么读完之后呢,那么咱们现在呢,要对我的数据做一个处理,怎么处理,一个处理,同学们,你是不是应该把咱当前统计进入保存的数据库里面来,第二个处理,你是不是得改变便移量?
08:44
对你想我现在我这我这从卡卡把数据给读到了,那我读完之后呢,那我肯定要对这数据做处理呀,做什么处理呢?那无非是两个操作,哪两个操作呢?第一个咱们现在哎咱们这里,那我现在呢,一定是把这个数据对往咱们这个买so里保存,对我我得把它保存起来,那第二个呢,保存到哪保存哪个表啊,其实就刚才咱们所说的这个这个什么吹的慢对吧,这张表对吧,肯定保存这张表里边对吧,然后接下来那么另外一个说咱们偏移量是不是也得改呀的,偏移量也得改对吧?那么如果说像以前的话,同学们,那么咱们可以把偏移量维护在我们这个软中,然后呢手动提交,然后你把这个做完之后呢,咱们去改一个什么填一量对吧,这个行对吧,这个行对吧,但是我现在想换另外一种方式,那么如果换另外一种方式的话,你是不是应该把它俩放在一起啊,对吧,把它俩你要放在一起。
09:38
对吧,那把它放一起,那是不是应该用是事物对吧?那你想一想,你要想让一个事物把这两个操作包含在一起的话,你的偏移量应该在哪维护呢?还在ready吗?同学们,如果在ready上,咱们现在是没有办法把它俩放在同一个数里面呀,对吧?我现在已经选好了,咱们现在是买SQ数据库,那也就说你这两个操作应该是有买搜狗L数给它包含起来,那就意味着你现在这两个操作应该是对买S狗L数据库的两个操作吧,对吧?换句话说,我现在啊,要想去把这两这这这个偏移量维护起来,那应该什么?应该是往my circleq里边说来保存的偏移量。
10:20
对吧,所以说咱们MYSO里边应该有一张这个表啊,来保存偏量,原来咱们这在哪呢?在我们这个对吧,这个RA里边,现在呢,把这个偏量要维护到我们这个my serve里面去了,对,那这样的话,他谁在前面谁在后无所谓,同学们你现在这里是保存偏量,这呢是这个对数据库保存保存数据啊吧,这个呢,没了,对吧,我现在他谁在前谁在后无所谓,反正他在一个事物里边,要不然同时成功,要不然同时失败了,对吧?所以说咱们应该再来一张表,这张表呢,这是关于保存咱偏移量的,那大家想一想,那保存偏移量的话,这张表里边都应该有哪些字段呢?
11:01
要保存在偏音量是吧?再放偏音量,那这张表里面对应个哪些字段呢?主题呢有对吧?然后消费者组的消费者组隔入ID的内容,还有别的吗?哪一个分区,然后它的偏移量是多少,是不是主要有这些东西啊对吧?其实这个东西大家想想,我在咱们这个ready存的时候,这个偏移量存的是不是哈希结构呀,哈希结构K是不是主题和消费者组,对吧?然后接下来它里边这一个我们这个field和value是不是就咱们这个分区,以及咱们偏量的值啊,对吧?所以说呢,那接下来咱们除了这个之外,我们呢,又建立一个我们这个表对吧,这个表呢,来拿过来对吧,在这里执行一下啊。来把这改一改,叫OFFSET0523对叫50OFFET0523短到这里主要有这么四个字段,一个是主题,一个是我们的消费者组,另外一个是分区,以及分区它所对应的这个偏移量啊,分区它所对应的偏移量,然后接下来咱运行一下对吧,那这样的话咱两张表啊两张表对吧,来刷一下。
12:12
这样的话,两张表来了,对,两张表来了对吧,那么表创建好之后呢,咱继续对吧,再往下走对吧,再往下走,那么再往下走的话呢,那么这里有一些对吧,这个关于工具类的封装对吧,那你想你现在如果说啊,你要是把这个数据放到my soq里面去了,对吧,那么咱们是不是得从MYQ里边来查询我的偏移量,就你你既然你偏量放到MY搜Q里面,是不是得从这查询呀,对吧,所以说呢,那我现在想去封装一个从MY搜QL里边查询数据的工具类,对吧,那就来呗,在这里CTRLC对吧,然后我现在呢,来到这对吧,来到工具类中对吧,那我接下来在这里去创建一个类对吧,创建类这个叫什么呢?叫MY色U艇对吧,MYU,那么它的作用就是从我们这个MYS中来查询数据的工具类来,这个工具类让你们写OK吗?
13:12
一分钟我能写出来行不行?一分钟把这个工具链写出来行不行,同学们啊,看一看啊,计时现在38是不是对吧?来一分钟菲尼克斯U,然后接下来在这里CTRLCCTRLV。对吧,来在这里往这一放对吧,CTRLV对吧,OK一下吧,那这里啊,基本上现在还是38呢,是不是,然后再稍微改一改,完事了嘛,你想想对买so的操作,咱们其实是不是其实就真的有GDBC这几步呀,你要改的是什么,你要改就这些东西呗,无非就是什么,无非就是驱动连接对吧,UUL嘛,对吧,所以说咱们现在呢,来看一看同学们,我呢这个驱动买错驱动什么com不点my circle,然后进来点CBC点什么,这是这个吗。
14:10
大家看一下对吧,东西这个不应该,这个这不应该去复制啊,对吧,这不应该去复制,然后进来,咱现在呢,这个东西加也不应该去复制。来搜狗,然后进来这应该是两个斜杠嘛,然后插豆吧,然后这个后边跟的是我的端口对吧,这呢是我端口3306对吧,3306,然后进来这里边对吧?你要连的是哪一个库对吧?咱们的应该是地貌,然后呢,0523对吧,然后接来RS到连这库,那我现在这里得有用户名密码了,那这个直接拷贝过来,来在咱们这里边对吧,我把这个呢直接拿过来,对直接拿过来这关于它连接这块了,连接这块直接拿过来了。
15:00
好了,那么咱现在呢,在这里我呢是技贸0523啊0523,那么这块什么呢?这块呢,其实指定我们这个编码方式对吧?然后这块呢是安全啊安全模式对吧?用的是什么对吧?说使用我这个SSL对吧,这块呢不需要对吧?呃,然后接下来呢,咱们把这个复装完之后,这这些东西其实不需要了对吧?像这些东西啊,其实呢,咱不需要了对吧,这这这这里面不需要改了对吧,咱们呢在这直接什么呀,直接去做一个测试就行了,对吧?那比如说我现在从哪查呢?从我们现在这里面有一张表,这个表是不是比较简单的,这个它的名字有个简单的是不是奥赛的下限定523对吧,然后接下来咱们呢,去做一个查询,看一看啊,能不能给他返回一个我这个空的例子集合回来,如果返空的集合回来的话,那么这个咱们工击力呢,封装的应该是没问题的。
16:06
对吧,那这个时候咱想要的攻击盒呀,好了,那这样的话,咱们现在这个攻击类对吧,这个封装好了啊,这个攻击封装好了,好了,咱们稍微的去停一停是吧,稍微停一。
我来说两句
666
6666
666
感谢分享
666
可以
棒啊
感谢分享
666
厉害了,学习学习。