00:04
嗨,大家好,这期呢,我们讲到了00年代的一个数据库。那么00年,哎,其实我也稍微有点发言权了啊,为啥呢?我是八九年的,00年的时候我已经十几岁了啊,那时候在就是暑假吧,你也不能说雇暑期工啊,就帮着网吧看看电脑什么的,那会儿已经开始流行电脑了。什么红警了,CS就已经开始玩了。啊,那个呃,经常发邮件吧,呃发邮件的话,我发现邮件就像163吧,163邮箱里边有一个可以存储文件的位置啊,相当于一个呃呃一个网络的一个网盘吧,那轱辘可以说最早的一个网盘。我在看网吧的时候呢,为什么跟数据库稍微哈有点关系了呢,因为很多时候我要存数据,存什么,存QQ号。啊,我之前一个老板就是这么一个卖QQ号起家的啊,这些数据啊,其实都要存,存哪里啊,诶你就找地儿存呗,当时又不知道有数据库这个说法,我们那会是我一一年一二年那个时候上初中啊,上初中的时候根本没有数据库这个概念啊,还不知道这个东西有呢,啊所以我们怎么办呢?我们就使用那个啊文本啊test的文本是不是存这个东西,存完之后呢,上传到邮箱里,诶存起来。
01:26
不过当时没有什么商业头脑啊啊,我当年那个老板就是因为这个注册吧,注册QQ,什么7位的8位的,哎,通过这个来请的假啊,我这儿呢,当时住了一大堆啊,全是给网吧的其他小朋友发下去了啊,我一直还用一个9位的,就很亏。那么这一期呢,我是整个全都看过了啊,看完之后呢,一共是三个小时,那么这3个小时里啊,最开始我们谈了一下,就不是不能说我们谈了,我倒是没有资格跟他们一起谈啊,争取在过去一年吧,有资格能坐在这个演播厅里和大家一起来探讨一些啊往年的一些故一些故事吧。
02:05
那么这三个小时里面最开始谈论的是千年虫的问题,那么千年虫这个问题最开始小的时候根本不理解啊,呃,有个央视还有一个动画片儿,是什么打倒什么,呃,千年虫嘛,把它当做一个怪物来打倒一样啊,当年不能说是这个噱头还是怎么着啊啊,就是大家都知道有个天江城这个事情,其实就是数据库的一个,呃,查询问题吧。你看所有的银行金融机构,他们最开始啊,写程序的时候都为了减写。啊,越少越好,所以的话,例如1975年啊,1985年这个时间他们都写了个7585,你要算时间差85-75是不是时间啊,对不对,这个没问题,但是如果说00呢,00-75哇,负的。那程序是不是就乱套了,玩不了了,对不对,OK, 就是这个问题啊,在99年的时候啊,其实各大厂商都已经解决这个问题,知道问题出现的原因了啊,不过我知道这个事情的时候,还是我上初中,不是上初中,我是上,呃,可以说是在大学的时候才接触到这些具体的问题解决方案啊,99年那会儿大家都没有发展计算机干嘛了,都在解决这个千金重的这个bug。
03:22
也不算大bug,呃,按照一个程序来说吧,你找几个程序员都是都是熟悉的,况且那段时间好像,呃,大家干这个行业的离职率好像都不高。是不是在这种情况下改个程序嘛,自己写的啊,还是比较好改的,都说千千重有什么问题,哪儿出问题了,一点问题没有啊,大家虽然在那个半夜的时候,哎呀感觉,哎呀我感觉程序行不行啊,能不能出问题啊是吧,第二天要交易了行不行啊,OK, 没问题,搞得定。啊呃,那么千年虫晰之后啊,就开始,嗯,算是软件开发的一个黄金期。
04:04
啊,各类软件等等都已经,呃,可以说吧,啊,大家都是开始因为有数据库啊,开发起来数据操作也比较方便啊,像这个用户关系管理哎,还有什么一些企业的是HR的OA是不是啊,企业办公的OA啊,发展的都比较迅速啊,这个时间段的话,呃,数据库也是各种各样的出现啊。包括咱们的一些嵌入的数据库啊,还有一些你看小型的数据库啊,我们呃,安卓开发的小朋友啊,或者是同呃同仁们嘛啊,都应该知道啊,他会内嵌一个Li。这个用着就比较方便了,我不需要,你看我就一个小小的一个数据,要求数据的一个需求几个表就完事了,我还需要建一个Oracle吗?不需要的。就是你在内嵌一个MYSQL不需要的啊,一个SQL的就搞定,然后慢慢的发现呢,数据量越来越大,越来越大。
05:06
诶啊,对数据的处理啊,又出现了新的东西,像0809了,什么哈杜op have Spark, 然后又发展link。啊,或者是数据服务是吧,一大堆啊,各种各样的都出现了啊这啊,其实要商讨的东西还是很多,那么咱们一起来再看一下我们的这,呃,当然这三个小时频,三个小时的时间啊,浓缩到了50来分钟,我呢看完之后呢,又把就是我比较知道的啊和大家一起分享一下,大概整个视频呢,能在。呃,15分钟左右吧,啊,希望呢,呃,我这种简短的方式啊,能给大家带来一定的价值。好啊,我们开始来观看它。最开始呢,提到了y two k啊,也就所谓前线虫啊。
06:00
嗯,那么秦桐这里的话刚才已经说过了啊,我就不在此累赘了,然后呢,嗯,他们继续说的就是这个CRM。啊,那么CRM啊,也就是所谓的就是客户的一个关系等。啊,那么有了这个东西呢,后期啊,做数据画像的时候,就会用户的一个数据画像啊,就会比较方便啊,可以说是最早一的一个数据仓了吧。那么有了这个数据仓之后啊,嗯,相对来说我们要出一些数据了,或者出一些结果了,这就相对来说会方便很多啊,现阶段啊,其实我们的手机啊,也会实时的去啊收集我们信息。那么收集到这些信息之后干嘛呢?OK, 他也会做分析,就像我们说,哎呀,我想买个自行车,我想买山地自行车,我还买一个那个,呃,什么样的自行车,一会儿你打开对应的诶产品工具购买的内容啊,你会发现诶哼。
07:03
出现了是不是。然后通过你购买的习惯啊,来去做对应的用户分析,这就是数据的一个处理啊,数据的一个分析啊。对吧,是针对于每个人的。不仅仅可以针对每个人,还可以针对一系列人物。那么一系列的人物,例如怎么来说呢,就是说当年的东莞地一带吧,啊,当年移动的这个东莞地带的卡,哎,我也买了。啊,他呢,主要就是为了推给推给谁推给年轻人来使用。啊,那么年轻人哎,打电话多,唠嗑多,哎当年有的时候啊,打电话煲粥啊,这个煲粥干嘛啊,就是处对象嘛,啊有啥聊啥。啊呃,这个就是一个,呃,通过这是由数据反推啊,这一个方式来写的啊,来决定呢,发布这个一系列的一个产品。
08:00
然后后来呢,呃,也有所谓的咱们,嗯,软件开发这一部分啊,咱就先不说了啊,2000年之后呢,呃,开始新的数据库的出现了。啊,这个主持人的支持量还非常大的啊,啊,他可能哎不对了,这个主持人就是在SY贝斯干的啊,那么他呢,这块有一款啊SY贝斯IQ。啊,它是一个劣势的数据库,它的性能是他说了高于啊正常的S呢,诶1000倍。啊,那么高于1000倍钱哇,好唬人啊,那在这种唬人的情况下。啊,干嘛呢,他就自己测试啊,自己测试了一下,测试之后结果还真是可以的,他呢,原本好像也是搞金融的,看着啊将七八小时的工作任务啊,呃,就是更换成IQ之后呢,发现一个小时搞定了。啊,那这个工作效率这是大幅的一个提升呢。啊,那说明什么?诶这个方向发展是正确的,没有问题的。
09:02
对不对,OK啊呃,然后呃,这个IQ呢,也算是进入中国的一个劣势数据库啊,算是正式的进入中国对不对啊,它是一个烈士的数据库啊,还有什么呢?H base了have啊,还有click house, 哎,这都是典型的一个烈士的一个数据库啊。那么这些数据库的诶,发展和应用啊,都反映了数据库技术啊,朝着更高效了,更适应大数据分析的需求啊,这么一个趋势发展的,例如啊,就刚才我们说的那个动感地带。啊,他就是通过数据分析推荐给年轻人的。那们数据有了啊,然后企业老板呢,哎,寻思寻思,哎呀,我能不能从数据反推你有流啊。啊,随着这个o lap数据仓库的一个出现啊。什么IBM啦啊,微软啦,Oracle啦,诶都有对应的数据库版本啊,这种类型的olap的啊,数据库版本,当然了也包括腾讯的啊,腾讯的云的数据仓库啊,TC Co b啊的一个出现。
10:12
那么有了o lap啊之后,随知道OLTB的数据库哎也都出现了。这个数据仓呢,嗯,数仓理论吧,这么说数据数仓理论的话,会有两个人,这里有有两个人两套两套理论啊,他这里说的两个人,一个是PU in the啊,还有一个什么。苹果。啊,这个两个人名我记得不太清楚啊,那么第一个人他说数据啊,是自顶向下的啊,数据仓库的一个设计方法,然后另外一个人说的是啊,你看一个是自顶向下,还有一个是自顶向上,他俩完全反过来的。好吧,啊,这是两个人2套数据仓库,但是其实啊,这个数据仓库啊。
11:02
都没有成功。啊啊,这个呢就告一段落,后来呢,诶,我们12306的压力越来越大啊,然后呃,专家分析了一下啊。这个大概啊,每天平均卖出的票是1800万张,那么1800万张哇,你想想你查询了好多次,购买一次,购买一次的时候你还得呃操作一次,就是update的,肯定是各种修改啊。是不是你从哪个库到哪个库啊,修改了谁,你的用户你还怎么扣钱,扣谁的钱是不是怎么买,哎说法很多啊,有写的步骤,有读取的,其实最多的还是什么读取。好吧,然后按照这个方式吧,就将数据啊进行了读写的一个分离。啊,这个多液分离的话,就是一个大的一个进步啊,啊毒液分离有了,其实当时丰富分表也都有了,都是在那个轮啊,那一段时间出现了一个产物啊,这就是一个非趁的一个理论啊,不过最开始出现的还是一个伪的,一个伪的分工分表,伪的读写分离。
12:10
啊啊,现在不一样,现在是真正的对不对啊,通过啊这个log日志的方式来实现的,诶啊这个什么东西分离了是不是。嗯,后来呢,他又说的是轻量的嵌入式,属于啊主播状成长,为啥呢,我们呢。就是自带的设备啊,是像什么移动端的啦,还有手表啦,这些设备或者很多电器是不是也带,嗯,这种就是智能的一些东西,或者数据存储的一些东西了,他们都会带一个小型的一个数据库,然后有circleql的,还有circlel anywhere.啊,这个东西啊,量非常大,你正常卖数据库一年你卖不多少,但是你要卖这个东西一年就是卖机子吧,啊,少说也得几千万台吧,来说卖手机一年卖多少台,那太多了啊,孩子去了。
13:09
然后再就是呢,嗯,这个收益吧,不说别的吧,就是。一个啊,一个产品啊,给数据库厂家一毛钱,那都是一个天文数字。啊,那接下来呢,谈到的是数据流和复杂的数据处理。那么呃,这个数据流的话,相当于不存储数据,以流的方式来读取数据吧。啊,不存我们就读。啊,在过程中看有没有一些好的数据。啊,还有这个复杂数据处理,复杂数据,数据里的话也是所谓的CP啊,更加强调的是数据的复杂度和复杂的处理。啊,这个用的最好的就是华尔街的一个交易算法。啊,在这块啊,我还有一定的发言权啊,我1718年的时候写的话,就是写交易所程序的啊,当时涉及到很多的一些撮合交易,那么这个撮合交易啊,这个就是一个注重算法啊,注重效率的一个地方。
14:09
啊呃,当时难度真的挺大,我记得我记得第一个版本,第一个版本的话,它的撮合交易量每分钟啊只能几百单。啊呃,鸡排单,你看你在一个小城市还行,这无所谓对吧,但是涉及到全国的数据呢啊,每分钟就上万的。那能搞得定吗?啊那就不行了,是不是,后来呢,也是通过算法的优化了分布设备服务的一个方式了,还有加上各种中间件啊,MQ什么red等等啊,最后呢,处理到就是每分钟啊能达到万单的一个撮合交易。啊,但这是运行完成啊,数据还存着呢,想彻底跑完啊,也得5分钟左右。啊嗯,这些啊,就是复杂的数据流啊嗯,像其实这种方式相当于一个比较新的一个处理方式。
15:02
啊,那么这个价值还是比较大的啊,然后其实也不是说全都不存啊,存的时候你看可以存什么一些有价值的一些数据是吧,什么几讲几秒钟内的平均值,最大值,最小值,方差标准标差的标准差什么的都行。呃,也就是说你看股票里边是不是有K线啊,哎,这个东西不就相当于实时数据吗。对不对啊,各种就是什么时间,哎,交易量最大交易额最小交易额啊,不是交易额应该是,呃,交易价格是不是,然后平均交易量啊,到底是升了还是跌了啊,都会有所说明。啊。嗯,这个东西啊,你看一般服务于都是金融啦,制造啦,销售啦,哎,能给就是客户啊,带来实时的一个数据分析。再往后的话,出现了NO4或出租。啊,为什么no circle口呢?最开始说的是真的是no circle口,没有circle口,没有circle口,后来发现没色口不行,来看not only circle口。
16:02
啊。是不是只有4口?是吧,然后出现什么呢?出现了啊,像0809年的时候啊,出现了哈豆op啊,这个工具免费的,并且呢,在PCPC机上有所谓的,我们主机上就能好啊平常方便,成本也比较低,处理这个数据量啊也比较大。呃,相当于直接进行裸的KV操作是不是啊啊,当然这个哈动百只是个过渡啊,后面数据库等一系列的内容随出现have了,Spark啊,Flink啊,这都有了,越来越多,百花争鸣百,这叫百家争鸣,百花齐放是吧?现在啊,这个数据啊啊,现阶段大数据的技术,人要掌握的东西也是多的不行。啊,还有各种平台啊,我就搞大数据的,这个有的时候烦死了啊,你隔三差五出个新的,还有各种开源的,对吧,开源是好,但是东西个7个也多呀,到底喜用哪一个呀。
17:02
啊,其实还是用自己喜欢的就好啊。那个再往后的话,也就是所谓的我们快到了00后的0啊,就是00~10嘛的一个后期吧。这个我们国内数据库也有了啊,像金仓啦,啊,人大金仓,还有达梦数据库,其实这都是学校老师搞出来的。学校搞出来,学校老师搞出来,没有具体的应用。啊,为啥呢?李校老师也忙,他这边上课,那边还要搞什么建设啊,没事搞来一个思政比赛。是不是你看一个老师的能力,不说能力怎么样啊,他把精力分成多块,他能搞定吗。这个东西有的时候还真的就得靠资本,你看就像人大金仓和达梦吧,达梦大家可能听的多一点啊,毕竟有一定的资金进入了金仓,人大金仓的话,我只是在2021年的时候,还是22年的时候啊,那个我都用过一阵子。
18:02
后来就没什么生意了啊,大家用的也不多了,达梦还好,达梦一直没有呃出现在我的视野之外啊,然后呢,你看这种情况的话,真的就需要有专业的人啊,来帮助我们的国产数据库来搞定这些内容。啊,例如你看商业洽谈了,和政府的沟通了,如果能把自己的这个数据库啊,哎,推广的更好,是不是政府的关系啊,你还有熟了这个都都让老师干这个不可能的。是不是啊,OK啊呃,其实这点啊呃数据库就是腾讯啊,当下对数据库的投入也还是非常可以的啊呃,希望在这种投入下啊,能够出现一个非常好的属于过啊这个国人自己的啊一个啊水据库对吧?那么呃,简单总结一下啊呃,00年代数据库发展啊,就是从解决了青年从这个自时间字符问题开始啊,到各类数据库终端市场no斯的出现啊,又划分出了多条赛道。
19:04
啊,这些都是为了迎接10年啊,有所谓的大树艺术的一个到来。啊,熬次时间三小时是吧,我简单的说了一下啊,就是将我熟悉内容说了一下,其实还有很多的内容啊,大家可以好好的来看一下啊,像陈卓啊,这个腾讯的TD的搜索的一个负责人啊,他是一个非常棒的一个小伙啊,不过看他年龄可能比我大,也可能比我小,我他没有说具体的年龄。啊,我是八九年的,我感觉我比他大啊,人家真的挺厉害啊,那么到此呢,还是希望大家持续的关注啊,中国数据库的前世今生。好的啊,那视频解读的话就先到这里。好,至此呢,我们就观看完毕了啊,我相信呢,大家对00年代的数据库发展还是比较啊有兴趣的,就不是因为和我们联系的是非常紧密的,你看呃,10年代的时候就开始一个疯狂的一个什么云计算了,大数据的一个发展啊,包括现今的AI发展。
20:10
是不是,呃,一直你看从一五年一六年啊,咱们有一位华人女士,对这个深度学习这块儿,哎,有了重大突破之后,慢慢的到了2022年Chad g出现,这都是数据的处理。啊呃,我们知道过去在面向未来啊,会有一个更好的一个前瞻性。好好,那么本期视频啊,到此希望能给大家带来一定的价值,再见。
我来说两句