00:00
那另外一点呢,就是咱们前面说到的跟外部组件的一个交互,那可能你涉及到可能是数据源的问题啊,你从某,比如说从某个数据库读取数据啊,或者从卡卡读,都都是一个数据源。那么它的性能怎么样啊,你也要考虑考虑,另外呢,就是写出端的一个问题,比如说你写到click house写到写到release等等。那它的输出的那个数据库。是否遇到了一些IO瓶颈啊,或者怎么样,或者请求打了之类的,或者比如说举还有什么热点问题对吧?啊还有一种常见的就是什么呢段。也就是说,呃,你需要去查一些维表数据,那可能这个维表数据本身存在,可能my circlel RA base啊等等地方都有可能看你们架构怎么做的,也就是说也要跟外部系统交互啊,那这个时候呢,就需要具体问题具体分析,比如说卡不卡。
01:01
呃,比如说是SS速率太低不行。速率较低啊,达不到你的要求,那我们说了并行度受子并行度跟它是1:1,那如果这样还不行呢,你是不是可以扩容卡不卡呀,比如说你可以增加分区,同时增加SS的并行度,对吧?啊,比如说是h base的。Rookie遇到热点问题。热点问题,那你就要解决h base的热点问题,而不是解决link对吧?啊,你要搞清楚你要解决的对象,那热点问题呢。是不是得看你那个rookie设计的怎么样啊,你要设计的不合理不够散啊那。也有可能,那还有就是预分区做的好不好,对吧,这就h base相关的话题,另外呢,就是h base它对请求是不是把您呃。你写代码的时候是不是连接都没释放对吧?啊,导致那个连接数越来越高,越来越高,最终打爆了啊也有可能。或者说是不是h base正在做一个什么大合并,大合并的话,你肯定就是会,呃,类似停机一样的,会影响你的读写。
02:09
等等等等,还有克Li house,那我们知道cli house它本身呢?并发能力较弱对吧,默认每秒钟就是100的并发。那就算你改也就改到大几百,你再改高了你也没用,他用的是本机资源。那对吧,那如果你是表join的场景,这个呢,啊,也是老生常谈的,表join这一块,你可以给大家两个比较好的资料。对吧,异步IO要么就是。本身这个外部系统支持异步客户端,那你直接用就行,那如果它不支持,你是不是可以自己做一个线程池或连接池去异步访问,对吧?这都可以,这flink后来加了一个功能异步IO,那还可以做一些热缓存,比如说你可以用一个分布式缓存,用一个Java缓存。
03:08
啊。或者说你借助外部系统,你可以用那个radi当做缓存,对吧,加速读写,另外呢,就是减少对外部系统的访问,都是这么一个原则,那么再往后呢,正常来讲,咱们比如说往外写的时候啊,特别是往外写啊。比如说你写my circle,而且base。啊,My circle click house这种咱们通常做法是不是攒一批再写一次对吧?啊,也是减少那个呃,访问次数。这都是通用的一个思路。那这边有些文章大家可以去看一看啊,写的也比较好。也有一些案例。对吧。观点为表实战。那这边各种方式的优缺点怎么来设计这个方案呢?这个大家还是值得去读一读,看一看的啊,每个方案都有优缺点啊,你去怎么去取舍。
04:09
另外一篇也是。因为大家可以看到很多网上文章都是抄他们的,所以你不用再去翻了,就看看就看看这两篇就得了啊。这边。你看又提到了一波IO。也给到了一些代码啊,都有啊。还怎么做缓存?好了,这个你有需要去研究研究就行了。
我来说两句