00:05
尊敬的各位来宾,现场的朋友们,大家下午好。欢迎各位来到腾讯云泰号技术巡回北京站的活动现场,我是本次活动的主持人丛林,很高兴能够和大家欢聚一堂,共同莅临参与今天下午的活动,也很高兴能够作为本次活动的主持人和大家共同进行沟通和学习以及交流。以大数据、云计算、人工智能算法和区块链等技术为核心的金融技术应用,全方位的重塑着金融行业生态,以科技和金融为抓手,赋能行业,建立数字互联。无科技不金融日渐成为了行业目前的共识,本次活动我们将聚焦金融科技领域,与诸位金融界的,与诸位我们腾讯技术专家共赴数字金融创新以及实践活动。在我们正式进入今天本次的演讲环节之前呢,我们友情的提示在场的所有来宾朋友们两件事情,首先是为了方便大家能够更好的进行交流和学习,我们已经建立了本次活动的现场微信群,在我们的活动中以及活动后期,大家有任何的问题都可以在群中进行积极的交流和沟通,现在呢,邀请各位来宾朋友们拿出手机扫描屏幕上的二维码进群,您可以直接拿出手机使用微信扫描屏幕上的二维码进入我们的微信群,在活动中和活动后有任何问题都可以进行积极的沟通和交流。第二呢是提醒在场的每一位嘉宾朋友,我们每一位嘉宾进行互动和分享之后,会为诸位来宾留出五分钟的时间进行问答,希望大家可以抓住这样一个宝贵的学习机会,多多和专家们进行沟通和互动,和讲师多多的沟通提问呢,还能为大家准备了精美的奖品。所以希望各位来宾。
01:58
可以积极参与,在我们进入今天的活动之前呢,提醒各位两件事情,一是您现在可以扫描屏幕上的二维码进群,二是我们每一位专家嘉宾分享后,会为各位预留五分钟的时间进行现场问答和互动,大家都可以积极的参与进来。
02:17
好,接下来我们将进入本次活动的主题分享环节,首先让我们有请腾讯云分布式云高级架构师邢培林老师为我们带来主题分享,有请。呃,从最初的呃两个地域到今天的有27个地域,66个可用区,我们用用了将近十几年的过程呢,我们把腾讯20年的这些技术沉淀转变成了一个呃云的服务,对外对外提供给了我们各行各业的客户。呃截止2019年的时候呢,呃整个腾讯云呢,呃已经的服务器的数量已经超过了100万台,呃到一九年的时候呢,我们的整个这个互联网的带宽也突过了200T,而截止今年的腾讯云现在管理的核数已经超过了上亿核,那么也就是说腾讯呢,通过最早期自己作为一个互联网厂这样的技术沉淀,20年的技术沉淀,又通过云产品的形式把它对外提供给了各行各业的这个客户。
03:27
那么从云的开始,呃,腾讯云或者是各个云厂商基本上都是在呃focus在互联网行业,因为互联网行业呢,大家都有着相似的特点,他们需要灵活,需要弹性,需要大量的公众的用户,呃腾其实从大家可以看到啊,从大家我们最常见的使用的这些产品里面,腾讯自研的这些产品里面,大家呃每天都会用到的,呃,QQ啊,微信啊,呃这个腾讯视频啊,这一系列的产品,它包括从去年开始呃,大家用的特别特别多的腾讯会议,这些产品全部支撑在腾讯云上。
04:10
另外呢,对于我们。呃,商业客户来讲的话呢,大家也是在我们日常常见的美团呐,滴滴呀,五八呀,这些所有的这些大量的客户都是由腾讯来支撑着他们的业务的发展,那么。有一个调研呢显示呃,IDC的调研呢,就是在电商领域和游戏领域,呃,腾讯云的这个公有云的市场率占有率是第一第一位的,同时今年呢,也有一个调研显示,腾讯云在实时音视频领域的也是排名第一,那么除了我们在互联网领域和资研业务领域以外的支撑呢,腾讯也积极的向产业化去深耕,大家可以看到我们在呃。我们可以见到的,呃,智慧零售啊,呃,医疗啊,工业啊,政府啊,出行啊,金融文旅地产等等等等,每每一个行业都有自己的这个行业的解决方案,同时呢,正如刚才主持人提到的,我们在这个呃,AI啊,人工智能啊,大数据啊,区块链这一系列的产品能力也提供了坚实的这个技术的底座,那么嗯。
05:22
从腾讯云呢,从随着这个互联网产业的发展呢,我们的云产业除了支持这些新兴的泛户的这些行业客户,诸如电商啊,游戏啊,视频啊这些客户以外呢,我们也在呃,也在考虑向纵深的产业方向去支持,就诸如大家早期呃或者是呃,如果各位对云比较关注的话,我腾讯云其实也支撑了很多的垂直行业,像我们最了解的这个数字,广东呃,金融行业里面的建行呃,以及呃,广电领域的央视,我们都都通过把公有云的能力垂直的呃。
06:07
把它移植到了一个呃对于专属性或者合规性要求更高的私有云的领域。也就是说腾讯在一呃截止。呃,截止去年或者到今年的开始呢,是一个双引擎的发展的过程,我相信大家也都金融行业的同学们也多多少少的听说过我们的TCE的这款产品,就是我们的一个私有云的产品,也就是说腾讯云使用了公有云和私有云这两个引擎来助力了我们,更助力了我们整个产业的发展,但是呢,随着这个呃业务的发展。或者这个需求的发展,我们现有的这些又遇到了新的挑战。比如说我们,呃。看到的这个案例哈,就是这个深圳防易通的这么一个案例,这个案例呢,是因为核算疫情,就是20220年疫情的发展而引发出来的一个案例,通常情况下呢,这个整防疫通的他的一套呃,业务都部署在公文上,但是随着这疫情的出现呢,这套体系呢,为了去他主要服务的对象呢,是这个深港边境的这个人车物。
07:21
的这个,呃,统一的登记啊,呃转场啊,现场核验啊,于是呢,又增加了大量的需求,像大家看到这个第一个我们要有量的医院,医院里面有什么呢?医院有有普通的医院,有商业的医院,还有三方的机构,这一系列会产生大量的数据,而且同时有很多分散的点,这是第一个,第二个来讲的话呢,就是海关,因为你每个人要从呃香港进到深圳,那我要通关,我要看你的疫情,呃有没有和山马海有没有这个呃疫情检这个这这这这个各种检测结果,我要做人脸的比对,那么这些东西呢,也。对本地的算力也提出了需求,但这里还有一个最最重要的点是什么呢?就是这些医院的领域,或者说是海关的领域。他们。
08:10
平时it方面的激励并不是很,并不是他的主营业务,他更多的聚焦在他自己的专业的领域,但同时因为疫情的推动呢,他们又必须去面临it的这些诉求,那么对于他们于是就产生了很多挑战,第一个挑战就是说延时的问题,我要做一个人脸比对,我可能如果我要花好几秒钟才能有结果,那这样我的通关的速率会大大的降低。第二个呢,就是数据量更大,大家可以看看我们每天这个疫情,大家已经变成唐代了,大量的数据要产生,你人要去扫码,你进到每一个场所都要去扫码,都会产生一条记录,对吧?那么同时医院有大量的核酸结果有两天做一次的,有一个星期做一次的,一系列数据都要去产生,那么这些东西呢,都对我们。公共式的云产生的一个挑战,再有一个呢,就是说大家也可以看得到,在我们日常生活中有很多很多的检测点,对吧,那么那就面临的一个问题是这么多分散的节点,包括我们的海关机构,我不可能有一个通关机口,有很多的通关口,那这些问题,那这这么多分散的机构,而这些这些传统领域,他们又没有足够强的这个。
09:24
技术能力或支撑能力,他们怎么去解决这些分布式的管理的问题,以及同时我还需要在分布式管理场景下,我还要有本地的服务的能力,这一系列都要去考虑去解决,于是呢,就带来了如下几个点,第一个我要有低线低延时,第二个呢,分散式、大量分布式节点的管理。第三个呢,就本地应用的,本地应用我要有足够的能力,第三个呢,我要有足够的运维能力,确保它可以运行起来,那么基于这个,基于这些场景呢,我们就开始思考。有什么样的办法?
10:00
或者我们现有的办法能不能解决这些问题,好那我们看一下啊,我们之前有的第一个是公有云,公有云面临的对于我们,呃今年来讲,我觉得大家印象最深刻的就是呃,滴滴的这个退市,对吧,那这是最大的挑战是什么呢?是因为数据合规的问题。那么像公有云,可能我们传统行业也面临的这个挑战,也就是说我们这些数据到底是不是包括我们核酸检测疫情产生的这一系列的数,这些涉及公民个人隐私的数据是不是?政府开始对于放在哪些地方进行了一些监管和约束,那这是一个,第二个呢,公共云它毕竟是一个集中式的云,它很难去做到在任何位置都可以部署,那么对于实盐的挑战也是一个挑战,那所以看起来公有云不是一个合适的办法。那第二个呢,就是私有云,私有云的话,大家都了解,我是一把一朵完整的云部署的客户的现场,那初期的投入和成本会很高,那这个而对于我们这种像医院呐,这种传统行业来讲,这笔投入是一个很大的投入。第三个呢,我们原来还有一些边缘计算能力,但是边缘计算的能力呢,带来的问题是说传统的边缘计算能力更多的是流量型的业务,他本身并不具备太多的算力的能力,于是呢,我们就需要有新的技术或者新的形态来突破现有的限制做这件事情,那我们在考虑什么呢?就是想我们我们要做出一个产品,或者要有一个东西来实现能在本地部署,离客户最近的地方去部署。
11:36
同时呢,它还有足够多的丰富的产品力,我不是说只能转发流量啊,我还要有一些算命,我要存储的能力,些数据库的能力,甚至一些大数据AI能力,我都需要,最后呢,我还要因为节点的分散,我需要有高效的运维和一致的体验,那在这几个业务的驱动下呢,腾讯云呢,结合我们呃在呃今年大概前几个月发布的熬持的分布式系统的基础上,我们做了如下几个升级,第一个呢,我们对中心中心云的架构呢进行了升级,第一个有我们从哪几个方面升级呢?我们想一下,如果要部署到边缘节点,它一定不能太大。
12:14
如果太大呢,我的成本会很高,那所以说呢,我们在硬件上面进行了轻量化的改造和升级,第二个呢,因为在公共云里面,大家更关注的是分布式,呃呃,更关注的是我的规模是不是足够大,我的性能是不是足够强,我是不是能能够实现足够多的灵活和弹性的扩展,但是到分布式的场景下,其实我没有那么大的规模,那我们要考虑什么呢?我的产品能不能把它更轻量化,软件能不能更结耦,规模更小一些,于是我们对软件部分也实现了云原生化的改造,让它实更加的轻量。最后呢,公共云加起来,像刚才提到我们一共有60多个节点,腾讯云发展了十年,一共有60多个可用区。但是我分布式节点出来以后,可能一年就有几百个节点出来,那对于管理也是一个极大的挑战,于是呢,我们在管理方面也进行了一些,呃。
13:12
创新,我们实现了统一的管理和一致的基础体验,那么最后呢,在基于这么几个点的基础上呢,我们就产生了我们的几个产品,就是我右下角这几个地方啊,第一个是我们叫呃本地专用集群,它是一个一体机的产品,它可以把它的算力就近部署到客户的现场,实现第一延时访问。第二个呢是边缘可用区,我们在呃主要的一些省会城市部署了大量的本地的边缘的算力的能力啊,第三个呢,就是专属可用区,是我们把可用区的能力延展到了客户的现场。让客户在本地就可以体验到我公有云上一个AC里面的所有的能力。最后一个呢,就是说我们在传统的领域里面有大量的传统的服务器,那这些服务器上面的业务可能也面临上云的问题,但是云呢,又是一个标准化的产品,很难去适配所有的服务器,那么我们如何解决这些传统的服务器的上云的问题?一个最简单的例子就是我们在金融行业有大量的加密机。
14:12
对吧,我大量的机器要插一个特殊的U盘,公以上很少有产品可以去插一个U盘进去,那这样就是我们如何把这些传统的特种的这些设备,把它带到云上去,让他同样可以享受到云的这些能力啊,于是呢,那好吧,我们就分别去给各位介绍一下这几个产品,第一个呢,我们叫本地专用集群,它是一个一体机的形式,它可以做到三台节点最小三台节点,三台服务器就可以起步。给第二个呢,它是一个嗯,开箱即用的产品,也就是说您只要把您只要把这个把这个柜子中间这个柜子推到现场,给它插上电,给他连上网线,剩下的事情我们都不需要搞了。那么同时呢,这个机柜它还是智能式的,它可以具备这个,呃,它可以实现一些智能化的环境和动力环境的一些监控,以及安防的一些监控,确保这个机柜是在安全的,举个例子,因为这些机柜放在一个比较分散的地方,万一这个机柜打开了会怎么样?这些场景我们都需要考虑到啊,那这款产品呢,就统一来解决这个问题,嗯。
15:19
这个问题呢,那它的好处就是说,我以一个简单的一体化的形式,把云的能力挪到了客户现场啊。这是呃,那么这个对应于什么呢?像我们原来传统金融行业里,假如说大家都是呃,传统金融的话,总行啊,分支行这种金融,我有大量的分支行,那么分支行里面可能随着业务大集中的分支行的这数据越来越小,但还有一些本地化的业务要继续存在,那这些业务怎么解决呢?我一个行里面,假如说我与某个省行或者某个地市行,我要买一堆,买一堆硬件,买一堆软件,可能我有三个人或者五个人去维护,会很痛苦,忙不过来,那腾讯这样一体,一个一体机柜把所有事情都解决了,您可以。
16:00
集中管控和云一样的使用体验,呃,这个问题就可以解决掉,那么他大概是什么样子,大家可以看到啊,就是我我们把这个机柜推到现场,他呢会有通过专线或者通过VPN和云上去互,和云上的管控去统一去实现互通,同时呢,他本地也可以,他也可以通过本地专线与本地的线路去互动,就相当于我把我云云的能力挪到了本地这个机柜里面来,它有什么好处呢?第一个他就进场服务,离现场最近,第二个来讲的话,它是中心管控的,客户不需要不需要去操操心这个机柜,他只要连上电中心就可以对他进行监控和监控运营管理。第三个呢,就这个设备是中用给客户的,可用也,这里面的资源都是给这一个客户独占的,大家不需要去做担心说我要跟别人去分享,嗯,最后呢,这个设备是不需要有人,不需要专人去维护他的,因为软硬件都是由腾讯云通过远程的统一运维和管理,那这样的话就很容易的去实现本地化的一个,呃,算力的就近实现啊。
17:00
那么大家可以看一下它提供的哪些产品能力呢?可以看到,呃,我们常用的啊,这计算存储网络,数据库呃,容器缓存,最常见的能力全部可以去提供,完全可以满足我们在边缘,边缘场景下的算你的诉求啊,这是这是本地专用集群的这个产品,它特别适合什么场景呢?就是第一个就是说我们一些分支机构的管理啊,第二个呢,它可以适用于我们金融行业的一些,假如说我们想快速构建一个栽培系统,大家都在搞呃同城呃同城双振兴异地异地异地灾备,但是灾备的话。我们要去,呃,选机房,去选址,买设备,找供应商去构建,这一系列下来可能半年就过去了,但是如果这样的话,我们有这么一个产品的话,推个柜子,找一个合适的机房,把它放进去就OK了,这个这个我们整个工期的时间可以可以缩短到十几天就可以搞定啊。那么第二个呢,我们结合这个一体化机柜的能力呢,我们把这些东西部署到了我们边缘云的能力,覆盖了,提高了我们边缘云的整体上的呃能力,就是说我们刚才提到的把它把我的边缘云的流量型的能力转变成了全量的一个能力,刚才提到这些能力我们在边缘节点全部可以提用,如果客户对没有本对本地化的经场需求不是那么高,但同时我希望我们的食盐还尽可能的在本地的情况下,那我们就可以使用边缘可用区的这个能力,呃,那么随着这些呃。
18:31
还有一种场景呢,随着我们的业务发展的时候,还有一种场景,有些客户就问我,这个一体机的能力,可能它还是多个柜子,他还是有点小规模还是不够,不是足够大,我想就像我们公有云,很多公有云提供的一些金融专区的能力,想我想把你们的一个可用区,一个完整的协议站的能力全部搬到我的现场来,是不是可以呢?哦,于是我们就衍生出了这么一个产品,就叫我们叫本地专属可用区,它是什么定义呢?就是说我们把公有云上的一个az,一个可用区搬到了客户的现场。
19:07
同时呢,把这个AC里面的产品的能力进行了本地化的裁剪和适配,就是说我们不再按照公云里面,可能我一个AC里面可以开一个区里面有50多个产品,那到这里呢,我们可能只用我客户常用的就十几个产品,OK,我们就把这十几个产品放到这个AC里面,搬到客户的现场,那这样对客户的好处是什么呢?第一个我我们可以满足数据本地化合规的要求,我的数据,尤其是对于我们金融行业来讲,我的数据在我的本地,在我的可控范围之内,同时这个这个这个可用区里面的服务器,这些资产都是在我的机房的啊,这是第一个,第二个呢,我的使用的能力和公有云上的能力是完全是一样的,产品能力也是一样的,那我原来做的那些开发,原来那些API的接口体验都不用做变化啊,这是一个第三个,第三个呢,就是说那这些。使用上嗯,维护上这一系列的都是同同样都有腾讯云来去搞定,我本地不再用专门,尤其是对于我们一些创新的互金型的,呃,这这些客户来讲,我不再需要去花专人去构建十几20个人的团队去维护我这一个爱底座。
20:19
但但是呢,我真正用来做开发的,把这些人全部释放下来,去做我们的自己的业务,也就是说专业的人做专业的事情啊,那么他的规模呢,就会更大,它它长什么样子呢?大家大家可以看到啊,底下这个底下这个站点呢,就是我们的本地,本地站点,我们会在这地方建一个可用区,它呢,会通过专线和腾讯云的管控去打通,它的好处是什么呢?通过这条专线我们可以实现统一的统一的运维管理和统一的使用体验,我不再需要建两朵独立的云。啊,这是一个,同时呢,我们还会有一些,这还有一个点要考虑什么,就是假如这两个专线断掉了,我对本地可用地就变成一个孤岛,我的业务会不会受阻,那我们在这里面呢,也做了很多的优化,确保当这两条线路故障的时候,我本地可用区和主任件脱离的时候呢,它一样可以运行。
21:11
只是说我的新建的一些业务,一些新建的一些呃设备,一些资产不可以购买,但是本地存量的业务不受任何影响。第二个特点呢,就是说这些服务和资源都是您专用的,因为这个机房这这这一堆这些云产品都是在您的机房里面,都是您专用的,没有人可以去跟你去分享啊,也可以实现了你资源的独占。第三个呢,就是说它是统一云服务的模式去交付腾统一由腾讯云来建设运维,也就是说我们这是一个交钥匙工程,你只要选好地方,说我要多少东西,要多大的能力,OK,我就把这些能力搬到你的机房。啊,这样对客户来讲就很轻松,最后呢,他和云是完整是一样的体验,那您可以看得到呢,因为在本地部署呢,我有这么有这么多产品,同时呢。呃,我常用的这些产品可以看到呢啊,计算存储、网络数据库,一些常用的pass产品及安全产品,我都可以部署到我的QQ区里面,就和您在公有云上是一样一样呢,但是呢,公用云上也有一些平台型的产品,那它假如说我有一个AI平台,或者是有一个安全的漏扫平台,我并不是需要时时刻刻需要这些能力,那怎么办呢?那我就可以,因为我们刚才讲过了,他他有专线去互通,他就可以无缝的去使用了中信云上的所有产品,这样的好处是什么呢?就是我对合规性要求很高,我需要长时间使用的产品,我就全部把它挪到这个可用区里面来,但是我需要按次按量去使用,或者弹性使用的时候,或者一些公有云平台能力的时候,他继续可以无缝的去使用这些能力。也就是说,我可以实现。
22:45
呃,全量云产品能力的支持,但同时我的核心产品能力还部署在我自己的可用区范围内啊。那么最后一个产品呢,就是我们刚才提到的这个,呃。我们传统设备上云的问题啊,大家只要是金融行业一定会面临这个问题是吧,我有我我我我有各种各样的特殊设备是没法上云的,或者一些业务改造过程中间,我找不到开发的人,可能也找不到了,我没法去把它迁移,那怎么办呢?OK,我们就呢,提供了一个传统物理设备上云的能力,它是怎么做的呢?那可以看得到啊,它实现了三个功能,第一个功能呢,我可以把您传统的服务器解决了传统托管的问题,把这个服务器放到腾讯的机房,或者放到我们刚才说的那个可用区里面,这是第一个,第二个呢,给他提供了VPC网络的能力。
23:39
它具备了VPC网络能力,那他就具备了上云的能力,而VPC网络和整个云生态里面的所有产品优势联通在一起呢,也就是说它可以和整个云select里面的所有产品去无缝去对接,同时呢,VPC网络里面是通过底层大带宽去互联的,您不再需要拉专线,拉专线到云上,它直接就在云里面,它就直接融入到整个云的生态里面,那这样的话,我们就实现了您传统加密机设备,您传统的堡垒机设备可以和云上的CM,云上的虚拟主机完全无缝互通的能力,就是解决了我们设备上云的最后一个障碍,那么它有几个场景啊,第一个场景就是原来的托管的场景,原来托管的时候大家可能就是找一个机房对吧,找一个机房,呃,其他服务器啊,网络啊,这一系列都让我们去搞定,而这个场景呢,我们解决了。
24:30
解决了,除了解决托管的能力以外,我们还提供了网络的能力,提供了VPC网络的能力,同时还提供了系统操作系统的自动安装,以及前台界前台配置的界面化、API化或者规模化的问题。也就是说简单来说,对于客户是什么呢?您只要把您自己的服务器带到这里来,线网线也不用带,电源线也不用带,只要把服务器带过来,这台设备自己就。腾讯云就会帮你去搞定,让他进到云里面去和您云上所有其他的资产可以一并的互通啊,这是第一个场景,第二个场景呢,就是说我们刚才提到您的自带设备,我们有一些呃,数据合规的要求,或者数据隐私的要求,我不希望这些数据落到公有云的存储,或者落到公有的机器上,OK,但是我又希望他和公云互通,那怎么办呢?我就把我的机器连我的应用一起带到这个。
25:24
这个腾讯云里面去,您可以在您的机器上面去装您自己的数据库,装您自己的应用。啊,那嗯。它的好处是什么呢?因为公有云上的产品服务器,不是说每一个服务器都是能完全适配您的要求的,但是这个产品解决了这个需求,您可以自己去定义,自己去选择自己的服务器的型号和规格,它只要具备了网络的能力。搬到云上来就可以了啊,这是它最大的好处,第三个呢,我们刚才提到了就是特种设备上云的问题,什么各种加密机啊,什么密码机啊,验签机啊,各种各样的银行的强监管类的这些设备,我们都可以把它放到云上去啊,这个也是我在金融行业里面听到很多的很多的一个诉求,那么因为呃,最后呢,就是我们通过这四个产品啊,实现了这么实现了两个维度的云能力的一个呃下沉第一个呢,我们把我们把云能力从腾讯云的机房。
26:19
呃,搬到了客户的机房,同时像通客户机房,像我们专属可用区这产品把我的云的能力下沉那样的客户的机房,同时最后我们还通过CC叫云托付物理服务器这产品把我的云能力下沉到了客户的物理设备上啊,这是一个维度的。能云能力的下沉,第二个呢,我们把我们云的部署位置从中心云部署到了边缘,甚至边部署到了现场,部署到客户,客户的IDC机房,就是从云能力和云位置分别去满足了,呃,全场景的云能力的去覆盖。嗯,总体上来讲的话,呃,我们就通过这么四个产品,再加上已经有的公有云的能力,以及已经有的私有云的能力,去实现了云上全算力场景的覆盖啊呃,因为呃时间关系,我今天的分享就到这,我们看一下大家有什么疑问啊。
27:39
您只只要是机架式的服务器,能放到标准机架里面同时带的。呃,我们前面有一个前置的评估,呃,但简单来讲哈,你只要是标准机架式的服务器,第二个它具备网络接口,这件事就能办了。嗯,一个的条件。
28:02
呃,你是这款托管产品,不会打开你的机器,不对机器里面做任何操作,我只是物理上它就是它,你可以把它理解成是一个高级的托管。相比传统托管提供的是物理网络能力,我这点托管提供的是VPC网络能力,同时我还提供了自动化装操作系统能能力,当然这个能力您可以不选择。啊,所以说不管你是多老的机器,只要能放到机架里面,只要有网口,实际实际或者记忆的网口都可以接进来。在现实当中。啊,我们这个这个产品,我们现在已经有将近有快1000多个机会在售卖了。啊,我们一个最大的客户有三四百台机器托管在我们云上啊,你有需求可以在微信群里面去,呃,具体提一下,我们后面有这个产品也是我在负责啊嗯。嗯,你听讲辛老师,嗯,你好,我有个那个问题,一直从事那个行政工作,我就想想现在不是提出了一个概念吗?叫数字经济,嗯,数字经济包括的很多,但是作为一个很作为一个就是经济的话,是作为一个生产部门,是属于哪一块,比如像游戏生产肯定是算数字经济,但是还有哪一些,嗯,我就是希望您给我讲解一下,谢谢辛老师,就是说数字经济的领域,对。
29:26
啊,呃,就是现在就是像我们刚才讲的啊,就是整个经济或者叫产业的数字化,或者叫it的数字化,这个过程是一步一步来的,就像我们它是随着公有云的这个,呃,公有云的历程也验证了很那过程啊,像您最早看到的就是这些泛互联网的这类应用,基本上都是数字化的,对吧?到第二第二个我们提到的,刚才提到的这些和我们民生啊,呃,和我们政府紧密相关的这些行业,就像我们的金融行业。政府行业这些行业基本上也一直也金融行业是最是是是科技驱动力最强的一个地方,对吧,他已经在从早期我们大家都搞金融领域,从早期的手工记账到业务的到总行的大集中,一直在到我们呃分行的这个分行网点的智能化,呃,以及我们手银行手机银行的这些出现,它都是整个数字化的一个体现,这些行业再往后走呢,就是像我们传统提到这些,我们国家也在也在提这些,呃,工业制造4.0对吧,以及我们的数字政府这一系列的传统的行业,甚至像我们医院,您现在去医院挂号也都是微信的,对吧,也不用人工去做了,这在包括海关,包括公安这些政府都在慢慢往数字化的转型,你就整体上来看,那教育就更不用说了,对吧,你家里如如果有小孩的话,天天在通过APP在上网,这整个产业都在做数字化,也就是说,呃呃,原来是大家是因为数字化的驱动在提高它的使用率,提高它的。
30:59
效能,但是随着疫情,这这波疫情的到来的话,又进一步推动了整个行业,整个产业的数字化,甚至包括您对见到的矿山领域也在做数字化。
31:11
我这矿山也有一大堆这个很大很大的那个,就是那个装载车,装载机都是无人的,都是没有人在里面的,都是通过AI,通过5G这个芯片在做,也就是您提到这个问题,可以说整个产业都在向数字化在做转型。诶老师你好,那个我来的稍微晚了一点,然后我问一下,就是因为我们今年可能要涉及到就是云采购嘛,然后现在呃,我们的技术部主要是你要方便说就可以说,然后也可以友商,就是咱们跟那个华为和那个阿里边,云这边,咱们这边有什么特点,自己的优势,就是我们在报。在一些就是主要针对什么规模的企业,对,因为我们公司现在不到1000多人嘛,然后数据可能之前也是。呃,有有一些,然后现在就是。
32:03
这几家就是友商嘛,然后咱们这边的优势在哪里,对这个我很关心,对好跟老板报价,嗯,你这是一个很好的问题啊,那首先就是说,呃呃,就是。呃,就是做云,其实大家呃,更多的是在往一个嗯。都是把自己原有的能力把它开放出来。以腾,以腾讯和阿里为例。他是把自己的互联网生态的能力。呃,它支持大规模一步从早期的QQ可能就几十台PC机,一步一步延伸到刚才我们提到的上万台服务器,以上一核的能力,它是把自己的互联网的这些能力,这些基因,一步一步把它变成标准的产品,啊,腾讯就是以QQ啊,微信啊这一系列产品做的标准化,阿里呢,可能是以淘宝。呃,支付宝这个产品做的云的产品转化,你可以看到它是传统是带有互联网基因的一个产品,它在往标准化去做输入,往产业化去去输入啊,呃,而华为呢?呃,作为我们一个,呃,国家民族的这个支柱的产业,呃它是我们传统设备制造商的这条领域的线路,对吧?他在把他自己设备制造商的这些能力,以及自己传统it的这些能力,一步一步的去开放给我们的客户。
33:29
啊,所以说从大的方向选择来讲,你可以看得到大家的出身和背景是不一样的啊,就是也就是说在在硬件制造领域,那毫无疑问是华为是最强的。这个毫无疑问,当然呃,阿里和腾讯也在往自研产品去做,呃,大家都自己研发了大量的服务器,包括腾讯都,包括华为,呃,包括阿里都在往这个方向去走,都在做软硬融合的方向去做,而华为呢,也在把自己的软件层面的一些相对的一些短板也在往上去做补充,大家是一个彼此融合的过程啊,那你要说具体某个公司他有什么产品,有什么特点,其实还是要看您的公司的特点,呃,因为大家各自覆盖的地域,提供各自具体产品是不一样的,这个很难去说,呃,以及一些具体的特性来也很难去解,有一个说,呃,谁就比谁强,谁就比谁弱,这个嗯不好讲啊。呃还有一个呢,就是说生态的问题。
34:32
腾讯呢有自己的呃,微信呃有自己的QQ,他有整个,呃,腾讯呢有他自己的投资方式,对吧,我是售后投资,呃有有电商啊这一系列的,它是有它的生态的,阿里也有自己的生态,华为也有自己的生态,您需要从您的所处的这个行业,它的生态是什么样子的,更适合哪选择哪个生态啊。这样会和适通用的讲是这样子,具体的能力,呃,这个不太好做比较,嗯嗯。
35:04
我提个问题,呃,我是这样的,我们最近在做一个智慧交通项目,中间的话有部分的边缘用边缘计算,呃,我想刚才你介绍了一下边缘可用区域这块的云的升级,我想问一下,就是说目前为止,就像我们做大部分的话都是数据存储,视频存储和视频分析,如果用到您的这个TFC边缘可用区的这种云计算的管理方式,能有什么样的增益?也就是说,比原来的好在哪?嗯,您在做交通行业是吧?对智慧交通的一个项目啊,智慧交通,呃智慧交通是指呃传统的这种高速公路,呃还是呃高速公路啊交管啊类似的还是说是智能驾驶方面的,呃我们主要指的是高速公路管理,就是监控等等这些,还有像比如说人人脸识别或者插口管理,电子围栏啊,他呢是这样哈,呃我们最近呢,也正在就是我这款的产品是下一个产品就专属可用区产品,我们也正在跟呃一个省的当地的高速公路局在做合作。
36:09
呃就是做这个产品,就是从他的呃好处来讲,就是第一个呢,因为你交通里面呃会可能采集到了大量的这个,呃就是呃个人是车也属于一个私有财产,那私有财产的隐私保护,这是一个比较大的问题啊,所以说呢,呃,我们跟这个客户推荐的是这款产品。就是因为他可以满足他这个客户提的要求是,我必须采集的数据必须在我本地。必须在我当地省,不可出不可以出省,呃这是第一个诉求,第二个诉求呢,因为有他们有这个呃大量的传感器啊,探头啊,要要要把这些数据要拿回来,嗯要有大量的存储的能力,也就是说用传统的存储能力是很难去解决的,或者说他在自己的机房已经找不到这样的规模去做这件事情了啊,于是他就找到了我们去合作,我们在腾讯找了一个更加合规的一个机房,就是符合国家呃三级等保甚至更高级别等保的一个机房去做这件事情啊。第三个呢,就是说他们也要把这些,呃,就是呃车流量的分析啊,呃人员的分析啊,一些卡口这些能力的分析,他们也要构建一个数据中台的能力啊,那么这个数据中台的能力也是需要呃,要构建这么一个平台来做这件事情,而腾讯云呢,我们刚才提到,我们除了可以提供底层的这些基层的算力支撑以外呢,我们也有呃垂直行业的一些呃经验和这个输出。
37:38
同时呢,我们结合腾讯应用上面有大量的数字平台和分析,分析工具和能力,那可以借鉴这些能力去协助您对于呃,就是整个智慧交通行业的这些分析啊,嗯,我目前主要是看到的这三个点,嗯。
38:00
抱歉啊,因为那个时间关系,我只能回答大家这么一些问题,如果有问题我们在微信群里面再继续交流哈,嗯。好的,再次感谢金明老师的精彩分享,同时呢,在场的各位朋友如果还有任何的问题,都可以在我们的微信群里进行积极的互动和提问,那接下来我们将有请下一位老师给我们进行主题分享,接下来让我们有请腾讯云数据库高级架构师王平忠老师给我们带来主题分享,带领大家共同探索TDSQL分布式数据库的设计理念、产品形态以及最佳实践。让我们有请王平忠老师,有请。大家好,我是来自于腾讯云数据库团队的黄平忠,呃,今天我们主题是说去一起去探索一下,就是说呃,我们腾讯云数据库TD circle口分布式数据库这样的一个产品,在金融产品下的一个实践,那么因为实际上金融产品包含了很多的行业,包括说银行、金融证券等等等等,所以我们今天把这个范围先细化一下,就交我们的那个焦点就放在整个银行业来去看,首先一点我们先看看银行业现在的现状,就是说呃,其实我们都了解银行其实用的核心系统,或者说用的大部分数据库,在过去的几十年间,呃,一直都没有发生太大的变化,比如说Oracle或者DB two这样的一些,相对于外部的一些厂商,那随着这两年其实情况我们也都或多或少有一些感触吧,就是说随着呃,包括说中美关系啊,或者说一些国外商用数据库的一些情况,所以说。
39:45
发生一些变化,我们就发现实际上在国内我们的整个数据库产品相对来说其实不是很多,那么我们腾讯云数据库做出了这样的一个,呃,TT搜口这样的一个分布式的数据库,去支撑我们金融行业去做这样的一个事情,对,那我们接下来看就是说还是说银行的系统,银行的系统我们分两部分去看待,就是说简单的分为两个区域,一部分呢,是我们银行的一个核心系统,就是说我们在银行里存或者说贷,所有跟我们账务信息相关,跟我们客户信息相关的这部分信息都属于我们的一个银行的核心系统,那么在银行核心系统以外呢,我们会有很多的呃,这样的一个周边的系统,比如说手机银行这样的一些贷款柜面,或者ATM,就换句话说,我们可以简单的去理解啊,就是说放到一个小的场景里面看,银行的核心系统,实际上就是说我们在这一个呃,组织里的一个核心的账务,那么。
40:45
外围系统呢,反而会像一个产品的售卖的流程,或者前端的渠道,类似于以及其他所有的东西,包括说我们手机银行的一些信息的变更,类似于这样的一些管理流的一些操作,所以说这就是我们看到的一个情况。
41:00
那么银行核心系统下签的时候呢,其实我们要考虑的问题就特别多,因为银行本身是一个特别严谨的一个场景,它的每一笔数据其实跟钱都是息息相关的,所以说我们总结起来,到目前来看,就是说它分为这几个面,首先是业务迁移,因为我从原本的传统数据库里迁到一个新兴的国氧数据库,那么我肯定要考虑说它的一个能否平滑迁移,包括说迁移的效率,还有说同步的性能,我在给定的各界窗口期间能否完成这样的一个迁移,因为这部分银行本身来说是对社会稳定有极重要的,扮演极重要的一个角色,所以说他的整个迁移能否按规定计划去完成,其实是特别重要的一个事情。那么其次安全合规,安全合规,其实在整个迁移的过程中,或者说整个下签的过程中啊,也是我们需要注意的一个问题,那包括说我如何保证数据的安全性,我如何保证数据库的一个高可用那这块。
42:00
其实是一个我们都会在事前去要通过各种方案去进行测试,去得出结论的这样的一个环节,那么剩下三块,包括说呃,它的可靠性,可用性啊,包括它的兼容性和它随之带来的一个运营风险,因为我不可能去说对于我一个银行组织,或者说这么重要的一个呃层次的一个产品,数据库产品,那我用了之后发现整个生态是完全没法打通的,或者换句话说,会给我带来极大的一个运营的风险。那么我们随着这几个逻辑我们往下看一下。就首先我们先从核心改造的思路来看啊,就是说,呃,其实银行的核心已经经历了很多代的一个变化,首先像刚刚邢老师提到,我们从最早的一个记账手工记账的方式,再到各个分行开始去分别建设自己的核心系统这样的一种方式,就分布式的建设,再到前些年一直去做的一个大集中,我将所有分行的数据系统回收,收回到总行,然后从总行去进行一个这样的一个账务的处理建设,那么到目前开始已经去进行整个银行业的现状,是说大家开始推动说下一代分布式核心的一个建设,这是现在我们所处的阶段,那么在这个阶段中呢,其实我们可以看到,我们第一步需要去做的事情,就是说去做这样的一个引入云数据库,然后应用垂直拆分解耦,这一点对于我们整体银行来说,其实是最痛苦或者说也是最难的一步吧,因为我从我们换个方式想,我从一个传统的大。
43:36
核心的一个数据库,比如说原本用大机DB two这样的一个理念,然后现在我去进行一个业务的拆分,拆分到每个单元,或者说每个小数据库进行业务的拆分,这部分来说,无论是对于管理流或者说对于业务流的考虑,其实都是特别的,就工作量会特别的大,整个来说,然后我们去这样去做的话,其实最后我们能成就是说收益就在于说我们能去帮我们的业务解耦。
44:02
传统的大核心我们收回来之后,有很多时候,呃,我可能核心间的数据访问可能就是比如说一个dblink,当然这是不太可能的情况,就是说假如一个DB linknk,或者说我干脆在一个库里面,我通过不同表的关联,我通过这样的方式去做,其实这是应用间,它是没办法去结耦,那通过这种方式我们拆开之后,我们会发现将整个逻辑上移之后,业务可以做到这样一个解耦,然后我们数据层也可以进行一个解耦,我们拆分应用垂直拆分独立的数据库实例,这样的话,每个数据库实间的数据其实是互相不影响的,然后在底层的分布式的这样的一个架构增加容错率,就我们单个数据库的软件,比如说呃,发生了服务器故障,或者出现这样的一些问题,在这样的情况下呢,我们整体的业务稳定性不会有单点就不会造成一个特别大的一个范围的影响。然后在做完这一步之后,我们其实会根据我们业务情况去看,就包括说比如说有些业务啊,我可能是读多写少,比如说呃,我的客户信息,我客户信息的时候,其实大家都会明白一点,对于每个人来说,我去银行修改自己的呃,身份证号其实是不会改的,对吧,然后我去修改我的手机号码,或者修改一些其他的信息,这部分操作相对整体的操作比例其实是很低的,那它的整个读的比例又特别高,因为我去银行办理业务,每次都要进行我身份的一个验证,类似于这样的一个情况下,所以说类似于这种我们可以去做这样的一个读写分离的这样一个配置,去增强我们数据库的一个能力,然后在另一部分的业务,比如说我们的整个交易行为的这样的一个库里,那我在这种情况下可能会发生我整个行,比如说我业务推广,那我在这种情况下的话,我需要用更高的配置去完成我的呃业务负载的支撑,所以说我们在这块可以通过这样一个。
45:53
资源的纵向的一个提升,就是说我们弹性的一个扩展来解决这样的一个问题,所以说这是我们的第二个阶段,去用这样一个单实力的垂直扩展的能力。
46:06
然后我们可以看看第三步完成这一块之后啊,我们其实在发现垂直扩展,其实这不就回到了传统数据库里的一个解决方案的一个逻辑,就是说我可能低配的机型无法满足我的业务需求,那我开始换中配,中配满足不了,我换高配,那其实在这个情况里面,我们会发现到了高配以后,往往它的性价比其实是很低的,而且高配机型整个来说,我整个维护后期的费用也十分的高,那么在这种情况下呢,我们其实可以考虑说去做一个单实例的一个水平扩展,就是说我们通过这样一种将它垂直拆分为一个分布式的实例,通过这样的方式来做,那么拆分建议参考,比如说我们根据过往的一个经验值去做了这样一个总结,单节点2TB的容量,然后或者说是8000的TPS,在这样的一个情况下,我们可以了解到,比如说我一个数据库简单的估算,我一个数据可能有4TB的容量,或者说是一万六的TPS,那我可以把它拆分为两个分片。通过这种。
47:06
方式来做一个横向的扩展,支撑我的业务,对,那在这样的一个情况下呢,我们就是说其实还要去选择一个合适的产品作为我们的解决方案,比如说我们在一些高并发低实验的产品拆分后,然后仍然不满足的业务,我们其实可以引入red的那种分布式的缓存来解决我们的这样的一个问题,然后包括说我们需要查询分析能力的话,我们可以引入TB。这样的一种,呃,偏向于分析产品的这样的一个产品来解决我们的需求。那其实从这来看啊,我们从另一个维度来细化整个银行业的一个它的一个业务情况,业务负载,就银行业我们其实常规的一个区分方式是叫做联机交易和一个跑批交易,那联机交易也就我们可以看到的在左侧这边的一个高频交易,那我们针对这样的一个高频交易的一个想法呢,是说因为整个联机交易类的业务占到了交易的90%以上,这里的联机交易指的是说我们每天的一个消费行为,或者说一个呃,转账啊,这样的一个收款,类似于这样的行为,那么这边在这样的一个大面积的一个情况下,它基本覆盖了我们在整个银行业,就是说各类circle的一个用法,我们解决了这类高频交易的一个问题,其实我们在呃,大体上就已经解决了数据库兼容性的一个问题。
48:35
那么第二点就是说我们说的一个跑批交易,跑批是做什么呢?比如说我一个银行我有200万的客户,那我在每天晚上我需要针对这200万个客户,我针对他们的的利息进行结算结息,类似于这种类这类的操作,那么在这类次优先级的操作里面呢,我们可以理解就是说跑批类的交易其实更多的都是复杂circle的一个集合,那在这样的一个情况下,我们前期假如已经解决了高频交易大部分的兼容器问题,那其实针对这部分的circleq拆解,或者这部分的SQ的一个处理,我们已经有一定的经验,那这样的话,我们处理起来也会更加的呃顺手对。
49:15
那么在处理完这两部分交易就没有其他的事了吗?其实也不是,因为正常来说,我肯定是希望我整个业务系统能持续的去性能提到得到更大的提升,能在有限的资源内发挥更大的性能负载能力,所以说我们在第三阶段会去进行一个持续的优化,去在解解决了兼容性问题之后,然后业务能正常跑通,然后再进行一个进一步的一个一个性能的一个优化,这样的一个过程啊,包括说呃,对索引SQ字段进行这样的一些微调,或者说这样的一些分析,对。那整个来说,这一部分的经验总结,其实我们可以理解的就是说啊,做一个总结,先跑通再优化,先保证我们大批量的业务能够正常的跑,然后再进行去单点的一个优化,然后先把我们简单的联机类的交易去处理掉,然后再去进行我们相对复杂场景里的一些呃,这样的一些circle的处理,那么最后就是说,其实还是刚刚提的一点,先高频再跑P,对。
50:19
那么就回到产品本身,那产品本身其实腾讯的分布式数据库t t circleq啊,我们分两个支线,那么两个支线分别是一个MYSQL版和一个post gra版,那MYSQL版其实是我们基于MYSQ的技术上自主研发的一个分布式数据库,然后适用于超大并发,超高性能,超大容量的一个OLTP类的场景。呃,因为腾讯其实用MYSQL的时间我们可以追溯到很早,大概在2002年左右,我们就开始用MYSQL加定的这样的一个方案,然后2004年左右,我们开始去内部去进行这样一个产品的研发,所以说TD搜QL其实我们对外输出的时间不长,但是整体我们在内部时间,或者说打磨的时间已经是很早的这样一个周期。呃,拿另一个参数来举例,我们可能会比较容易理解啊,就是我们比较熟知的另一款产品,比如说green pro,那款产品其实发第一版的发布时间是在2006年,对那腾讯我们由此可知。
51:19
腾讯的整个周期就是说使用它的一个经验是十分的丰富,然后第二部分是我们的TD circle post gra吧,那我们这是基于post gra这样自主研发的一个分布式数据库,其实为什么要去做post gra呢?其实我们就像我们刚刚说的,在传统的行业,我们有很多的呃,用Oracle的这样的一个场景,那在用Oracle这样的场景,其实很多客户更加关心的说我对性能要求的其实没有那么高,比如说刚刚提到的一些外围的系统,或者说在呃。在我们金融行业里面的保险证券的一个周边的系统,那在这种情况下,我更关注的是说我第一步先做一个平滑的迁移,我将它迁下来之后,然后后续我们再慢慢的去进行这样一个业务的改造,降低我的一个呃,初期的一个整个资源的一个投入,对。
52:09
那么所以TT现在已经为近1000多的一个政府客户和2000多的金融客户提供了整个数据库的服务,那么整个行业覆盖其实也包含了,呃,基本上我们能看到的大多数的行业,对。那么今天回到TTSO这个产品本身啊,我们产品特性,其实这我们可以看到有五个点,我们先从左侧的三个点来看,可靠、高效和安全,我们包括说对他进行一个高可用的一些设计改造,然后大量的内核优化,还包括说在安全层面去做的很多事情,包括说像我们国家标准的呃,GB18030,包括国密这样的一些支持,去应对我们这样的一些呃需产品能力的需求。那么其实在右侧我们可以看到主要两个点,敏捷和智能,敏捷和智能其实分别对应着数据库的两类用户,因为数据库软件作为一种呃基础的通用软件,其实我们面对的用户主要是两种,一种是我们的开发者,另一种是我们的运维人员,所以说运面对我们开发者的话,我们在敏捷这一点上去做,做了更好的一个适配,包括说支持多租户,支持分布式的事务。然后无论是资。
53:25
队员还是功能都提供更好的扩展性,在这种情况下,我开发的难度会相对降低。然后从智能的角度来说,也是我们十分关注的一点,因为我们往往在运维数据库的时候会发现整个操作,比如说我做一个主备的切换,或者我做一个这样一个机器的一个更换,就是说或者说储备重做,在这种情况下其实很累的,而且我的方案要写的很详细,我可能在有些时候,假如我是个技术leader,我还不太放心由我的新同学来去完成这个操作,因为这毕竟是一个高危的生产操作,所以对于这一块,我们去呃做了这样的一个赤兔的一个运营平台,去解决90%以上的一个日常管理的这样的一个运维,实现数据库运维的一个标准化,这个我们在后面会有一个片子去详细介绍。
54:17
那这我们可以看到是我们的一个DD circle口的一个产品架构,那么我们前端可以看到刚刚像我们提到的两类用户,一类是用户的DBA,通过我们刚刚提到的赤兔管理平台,从管控的角度来去管理我们整个数据库的一个集群,或者说分析数据库的一个运行状态,那从另一端来说,就是我们的应用PAAPP前端,我们通过这样的一种负载均衡,比如说软负载LBS,或者说是硬负载,通过F5这样的方式来去访问到我们的数据库,通过我们数据库前端的SQ引擎进行一个SQ的包括一些权限处理,SQ分发,包括一些下推这样的一些处理,然后将整个对应的比如说对SET1这个分片的一些查询分到SET1,或者说针对全分面的查询,进行所有分片的一个下推。
55:12
那回到刚刚我们讨论的一个,就是说,呃,我们去做核心数据库下移需要考虑的几个点,第一点其实刚刚我们提到的是一个业务迁移是否平滑,是否稳定,我们这边可以看到,先从左侧开始,就是dts DD DB bridge,这是一个由腾讯原产做的一个呃,数据库的一个迁移工具,那么我们通过这个工具本身可以完成我们的迁移评估,数据迁移和我们的迁移校验,然后在下端是我们能提供的,在整个过程中提供的能力,就包括说一些服务啊,迁移评估、设计建议和保障,那么我们把这两块的东西放到我们正常的一个迁移的流程中去,就我们右侧中可以看到的,我们整个就是说腾讯云能够提供支持,或者说去帮助客户去做好这个事情的几个点,我们是用不同的颜色去区分整体的一个流程,我们可以看到啊,最开始是说迁移需求的一个沟通,去明。
56:13
明确我们的需求范围是什么,那么接下来是迁移的一个评估,包括然后内部的评审和我们去进行技术方向的一个迁移测试,然后评审过后假如通过,那正常这个时候我应该去准备我要迁移目标端的一个资源,那在另一端来说,我们还需要去资源准备完成之后,我们开始在之前迁移测试通过的内容进行一个迁移的实施,最后进行一个服务的交割,将整个服务切割到我们的一个呃,就是我们现在目标端的一个数据库里面,最后由呃行里来进行一个,或者说由客户来进行一个结果的确认,这个就是一个大概一个标准的流程,这也是我们经过很多的实践去做出来的这样的一个内容。以下我们可以看到一个案例啊,这个其实是,呃,我们跟。
57:05
张家港农商行做核心迁移适配整体的一个项目周期的一个流程。我们可以看到。整个方案其实分三个阶段,第一个阶段去初步验证从核心,核心从原本的塞贝S迁到TD circle口的一个可行性,那么第二个阶段呢,我们去验证系统的一个适配性,它是否能有充足的适配性来适应我们的一个业务需求。第三点去做一个全面的验证,包括性能,包括它的一些管理端的一些行为,它的高可用能力。那么在这一块我们可以看到啊,注意一下时间点,我们从2018年4月开始去进行这样一个选型的一个po OC的一个测试,那么其实我们可以看到第一行的结尾端,我们在2018年的八月到十月之间就已经完成了中间业务系统及E系统的一个TS配套改造,并且上线,呃,Eif其实在很多行业里,在其他的行业里,我们的那个业务管理的名称可能不太一样,叫CRM,就客户信息管理系统,其实这是一个企业,任何类型企业的一个核心系统,那么在这之后我们去接着就开始发起了,去就做一个。
58:11
新核心适配性的改造和TTC后的一个优化,一直到最后2019年8月整个项目成功头层对,这就是我们刚刚提到的一个迁移适配能力的一个验证,这整个方法论的一个案例。那我们回想起刚刚的第二个阶段,就我们很在意的安全合规,那么在安全合规阶段,TD circle用三个维度的方案来解决这样的一个大家的一个顾虑,首先是事前我们保证有,或者说我们提供有这样的一种传输加密的这样的一个能力,包括说数据库的,或者说数据库数据加密的能力,还有细力度的健全,通过这样的一些方式来保证不会有,呃,就是说其他的影响,包括比如说我那头孢,或者说是我窃取了你的整个物理文件,然后通过你物理文件去恢复,去窃取你的数据。第二部分是适中,当我的数据库正在运行的时候,那么我可以提供这样的一种内核级的安全策略,包括说内置的SQ防火墙去防止出现这种啊,比如说无误操作啊,一个job database,或者说叫table这样的一些比较严重的这样的一些啊操作来去影响我的生产,那包括说事后。
59:27
哦,就是我们通过这样的一种运营操作的审计,数据库审计等各种权限控制方案来一起去为我们的整个数据库的安全保驾护航,那么整体来说,我们也积极的去应对说刚刚提到的一个国家的一些标准,包括国际认证,尤其是刚提到的包括我们在很多行业,其实由于行业本身的一些呃,监管要求,或者说合规要求,我们会对比如说GB18030这样的一些呃标准,包括说国密这样的一些情况去做一个要求,那么这个我们是坚决是已经适配完成,对可以提供这样的一个能力。
60:08
那我们再看下面一点,就刚刚有提到的一个可靠性和可用性,那么在这一块,呃,银行业其实有一个监管要求,是说对于你核心系统,我要求你在1000公里以外,必定要有一个容灾数据库去承担,去做这样的一个容灾,对,那其实t t circle提供这样一种两地三中心的架构,我们是通过最核心的部分,是通过这样的一个强同步复制,就我们叫Mar这样的一个方式,来确保数据能实现跨机架,跨IDC或者说跨城的一个数据的可靠性,我们先从右边的整个架构图来看。业务从上端进来之后,整个我们整个数据库分为三层,这三层是一个数据库的一个引擎,SQ引擎,那SQL引擎,我们可以认为它是一个无状态的这样的一个应用,这样的一个应用我们需要去保证它去呃消除这样的一个单点故障,或者说保证那个高可用的时候,我们可以在每个机房去部署两台,防止说单点出现问题,那我整个机房没有办法对外提供服务,然后同时也可以避免说我出现中心级别的一个故障,那么第二层是我们比较核心的一个数据层。
61:20
我们数据层,就我们刚刚提到的一个Mar的这样的一个技术,我们从master将数据去同步到三个副本,包括它同中心的一个副本和同城另一个中心的两个副本,那么这边我们可以看到啊,就是说它针对同中心的两个副本里面是强同步,反而在针对同期房的这个副本是一个异步同步的这样一个情况,那么这一点是为了避免应用情况是什么呢?就是说因为Mar的同步的机制是说我在进行这样的一个数据的修改或者写入的时候,那其实我要求的是说我强同步里面至少要有一个点给我返回,那这个我才能视为成功,在这种情况下,假如我去在同中心做强同步的这样的一个配置,那其实同中心的网络在大多数情况下,其实是更优的,那么在这种情况,我的数据就有可能会说,只有在我的主中心机房会存在,那在我的被动心机房其实是有差量的这一部分来说。
62:21
其实是不符合我们对这种啊,同城就是双中心的这样的一个要求,所以在这种情况下呢,我们将它保证说他会把数据一定会有一份写入到我们的灾备机房,然后呢,在本中心在做这样的一个异步,在这种情况,假如我出现了灾备机房整个机房级别的故障,那么可以将总行机房的这个异步的复制提升为强同步复制能力,来去保证我们的一个呃。高可用的这样的一个行为,那么最后就是我们的这个呃,管理的一个层,管理层是JK,那JK的话,我们通过呃多副本的的一个情况来保证,就是说当我出现当中心故障的时候,我有一个异地的CK来可以参与投票,保证我们管理这个模块的一个可用性。
63:08
那下一个部分就是我们的一个兼容性改造,兼容性改造其实我们可以看到,就这一部分,其实是结合了我们很多的过往的一些经验,包括说一些呃本身的能力,还有一些可以输出的服务,还有我们的整个的一个呃文档这样的一些内容,对。那这个就是我们刚刚提到一个比较重要的工具生态这部分,在工具生态这部分呢,其实我们刚刚提到数据库的两类核心使用者,一类是我们的一个呃开发人员,另一类是我们的运维人员,对运维人员来说,其实很多时候我可能少敲了一个分号,或者说是我整个命令,我复制错了副本,那整个来说就可以就会导致一个大的生产事故,所以说我们通过这样一种监控,还有包括告警,整个运维去集合起来的这样的一个能力来去解决这样的一些问题。我们将大部分的整个运维操作,包括呃,主备切换,主从复制这样的一些制作,包括机器的上报,这些能力都集中在我们的UI界面里面,我们可以通过访问整个界面来鼠标点击来操作完成,确保我们整个操作的一个标准化。
64:21
对,那这我们可以看到,这是我们在今年十月份上线的一个呃,平安银行的一个信用卡核心的一个整体的架构,这边在第二层次,首先是金融前置,金融前金融前置下来之后,其实正常来说,在传统的行业架构里面应该是一个总线,消息总线,那我们在这边进行拆分之后,它变成了一个呃客户分片服务路由,就是将我们具体对应的客户的编号就路由到我们对应的那个呃分片里面去进行单元化的一个处理,然后在每个单元里面会有一整套完整的业务逻辑,保证我这个客户相关的事物不需要跨分片去进行处理,那么处理完之后,在我们可以看到,从左边是我们的管理的一个行为,就是说包括一些运营的管理,然后一些经营的报表,然后从右侧是我们去调用的一些公共的服务,比如说我每个都会去进行,这样每个服务系统都有可能会去调用这样的一个rabbit MQ,或者通过这样的一些方式将我的服务往外吐。对,那么包。
65:22
包括说呃,他跟其他系统的一些关联,我们可以看到我内部的系统有一些大数据清算平台,或者是这样的一个实时的一些一些一些,呃,对这样的一些业务。那么结合TD circle口,其实这么多案客户的案例下来,其实我们可以发现啊,我们对用户的价值最核心的体现在三个三个部分,首先是降本增效,降本增效呢,因为原先我们买的是那个大机,或者说原先的一体机这样的一些比较昂贵的一些设备,这是第一部分,然后其实在购买设备之后的运维服务,包括整个设备啊,技术站人员的能力这部分培养,其实都是一个比较大的一个问题,相对来说啊,T t circle所所选的这样的一个my circle的一个生态,或者说是一个呃,Post gra的生态,对于我们整体来说去是有比较友善的。那么第二点呢,是性能提升,传统大机的那个更换,其实我们正常游其实很难的一个动作,很大的一个操作,在这种情况下,我们通过一个分片的扩展其实就可以完成,那么第三点就是我们刚刚着重介绍的一个同城双活高可用的这样的一个能力,这部分能力在传统的数据库里其实相对来说是比较难去,呃。
66:39
不到展现的对,OK,那其实我今天的分享整个来说就到这,看看各位有没有什么想了解,或者说有问题好。那个我们这个分布式的数据库的话,可以在小机上进行运行吗。
67:00
呃,其实可以,但是这里有个问题啊,就是我为什么要用分布式。我用分布式其实是希望去获得他的一部分能力,比如说高可用,或者说呃,它的一个扩展性,或者它的一个性价比,最核心的应该是性价比,用小鸡反而有一点。对,大材小用是吧?呃,其实不是很合理吧,因为我们从另一个角度出发,我为什么要买小鸡,小鸡本身的是说我进行这样一个一体化的设计,对吧?那我能保证这个服务器是高可用可靠的,这个服务器可能我一直开两年三年,我不需要关机,不需要维护,我也不需要去做这样一个成本是保证它的安全可靠,但是分布式数据库呢,我本身设计的数中会有点像互联网思维,我数据库每一个部分都有可能会出现问题,所以我通过高可用的一个组件冗余去解决这样的一种,呃,有可能出现的问题所带来的影响。这是两个处理的思路,对啊,了解了,我还有个问题啊,就是刚才我看到咱们的版本有两个版本,第二个版本呢,是叫post circle,对,那这个版本它主要是为了去O,那呃,我想问一下呃,相对于Oracle数据库来讲的话,那他还有还有哪些需要提升的部分吗?呃,其实这样的,呃。
68:20
个人我个人来说,Oracle数据库确实是一个很优秀的产品,呃,Post gra相对来说,因为这个产品早年历历史很悠久,但是它的整个发展其实相对Oracle来说,因为Oracle毕竟是走商业化的路线,会更加的成熟,那整个确实会有一定的区别,那这一部分我们会通过其他的部来解决,包括说比如说我去改造成分布数据库,我相对于传统的单机,其实有可能会存在由于网络延迟导致它单调,性能会有一些呃差异或者说下降,那在这种情况下,我用分布式能力带来的整个吞吐量的提升,其实可以在一部分消除这样的一个影响,对,这个应该是您提到的那个一部分。
69:01
好嘞,谢谢啊。呃,处理批量车库在T,嗯。什么可注意看。嗯。个高效。对,呃,批量是这样的,就是说批量和复杂一般来说我们会放到一起啊,那其实批量来说,我们会分两种情况,一种是大批量的查,或者说就是聚合,简单的聚合这样的一种情况,另一种是大多数表的关联,很多大表的关联,这种复杂的SQL查询,在这样种情况里面,第一种情况其实这是分布式所能体现它优势的一点,因为我有多个分片,会比较类似于IPMPP的这样的一个理念,多个并行去执行,提升我的效率。然后在另一点来说呢,就是说我们这种复杂SQL的查询,那复杂SQ的查询,其实呃,在分布式里面,确实我们需要去进行一定的适配性的一些改造,包括说我能否将第二种改造成第一种的查询。
70:15
类似于这样的方式来去解决我们的这个问题。对,其实我们在传统数据库里也是这么做的,传统数据库里我在面对复杂查询的时候,我可以开并行,对吧,我可以给并发度。哎,老师我问一下啊,就是关于这个数据迁移的问题,如果从A这个数据迁移到B,嗯,迁移的话,这里边如果要没备份的话,他在迁移过程当中有没有一个方案就100%的不会有风险的呢?呃,百分百的不会有风险,其实这个没有估计,没有谁敢给保证,但是我我想我总结一下,您想问的就是说我从一个业务系统迁到另一个业务系统的时候,有没有一种办法,在我没有备份的情况下提供更好的一个保障,对,那其实在这个时候我们最核心的风险,我们可以这么去想,分为三个阶段,第一个阶段是我正在签数据,但是业务没迁过去,业务没迁过去的时候,其实这部分对业务的影响微乎其微,大不了我迁移失败嘛,今晚不迁了,对吧?那第二种情况是我正在迁移中,就是说我的数据迁过去了,我校验也完成了,那我去进行我一个业务的一个迁移,那在这种情况下,其实往往是我们风险最大的一个阶段,因为我业务可能没迁过去,反而还出问题,接下来一些适配性,其实这一块其实我们需要去做的,我们去从流程的这个角度去加强,包括说一些迁移的一些验证,包括一些像我们刚才提到的迁移的测试评估,这个前期的工作得去做完善,才能提供更好的保障。
71:49
那么第三点就是我们一个呃,迁过去之后,那在这种情况下呢,实际上来说,呃,我整个是需要有一定的能力来进行这样的一个保障,对那通过只通过这样的一个,我觉得从全流程的一个方案才能去提升我们这样一个对提升这样的一个能力啊,就把这个风险降到最低,是这个方案,这是一个,再一个呢,如果要是有备份的情况下,呃,会不会会不会影响到这个业务在正常运行呢?就是迁移过程中哦,就是备份的,就是迁移的过程中同时发起备份流是吗?
72:26
同时发起备份是吧,就是说有备份吧,就说有一个备份,有一个正常运行的这这个数据,如果不开启实时备份流的话,就是在。实施迁移。呃,有备份的话,他如果在出现问题当中,会不会启动备份的数据。就说不中断,业务中断或者故障的,呃,这一块我我可能没太明白,您要表达点,要不这样等会下台之后,我们线下再沟通一下这方面好,我感觉您可能比较希望了解细节一点啊,好好谢谢,谢谢啊。
73:15
呃,您问的是一个商业产品还是一个什么?还是一个大家都可,大家都可以用到类似于这种Oracle啊,或者my photo这种东西。就说我们可以自己来把它,呃当下来,然后自己能够试用一下,可不可以,这是第一个问题,第二个是如果是我们的post soer这种,它有很多插件嘛,呃,如果呃用我们的TDSO的这种,呃,Post这种方案的话,我们可不可以,那插件还可以继续使用,有没有学习成本或改造成本,OK,呃,其实在post gra上这个包括说或者说MYS这方面啊,就是说先回答您的第二个问题,就是他有没有学习成本或者说改造成本,那在这一块来说,其实我们会尽量的保证说原生态的一个可用性,就提升它的一个兼容性,会反正就是说保证您用的顺手,对说的大白话一点,然后第一个问题,您刚刚问到说您是否可以去试用,或者怎么这个是没有问题的,就这是一个是一个商业化产品,但是商业化产品其实也可以去使用,也可以有这样一个使用的过程,像刚刚您提到的Oracle Oracle其实也是一个商业化产品,对吧?那但它也可以去作为我们一个试用的这样一个行为,对。
74:32
好,各位来宾朋友们,由于时间的关系呢,大家可以稍后在查些时间进行互动和沟通。再次感谢黄老师给我们带来的精彩分享,把掌声送给他,感谢刚才两位嘉宾的精彩分享,那接下来呢,将进入本次活动的茶歇时间,好的,欢迎回来,接下来我们将进行今天的第三位嘉宾的分享,但是由于疫情的原因,很遗憾刘占奇老师未能够来到我们的现场给大家进行分享,那让我们进行远程连线,连线腾讯云联邦学习平台副总监刘占奇老师,由他为我们带来联邦学习在金融机构的应用问题及其优化的主题分享,让我们有请。
75:16
啊,谢谢主持人,然后因为那个我来现场给大家交流,然后呃,远程给大家讲一讲的,问一类问题,还有我们做的一些事情。对,梁仪还有这个隐私集团的概念的话,现在在银行当中的话是很流行的,嗯,所以说嗯。但是他在这两年的应用当中的话,也碰到了一些问题,然后我今天的分享的话,就是总结一下,就是我们在一些实践当中碰到的问题,及我们的一些解决的一些方案。
76:02
然后今天的话就是分四个块儿去说哈,可能呃和前文老老前伟老师讲的可能有点差别,就是我现在感觉这个PPT的话过于技术啊,然后既然是个技术分享的话,可能嗯,技术分享的话给大家带入一点技术干货吧,可能给大家理解起来的话,呃,会会会有一点挑战性。大家尽量去听一听,如果说背后有啥,嗯,没有听懂的地方的话,可以可以咱们线下一对一的交流。OK,那部分分四块,第一块就是说我们给你基本概念和问题的引入,第二块儿,嗯,后面三块的话就是三个解决方案,一个是样本参水训练方案,还有一个高药算法交付方案,然后还有一个通用报光压缩方案。嗯,为啥有联盟学习这个这个这个东西来存在啊,就是看我们的一个一个左侧的一个场景啊,这个是招行闪电贷的一个场景,就是我们我们人去申请消费贷的时候,这个银行的话都会给你的债务状况,还有征信的这种情况的话,去训练一个模型,然后判定能够代款给你,但这种模型的话,因为它那个特征有限啊,效果又有限,而且很多申请者的话,它是没有征信数据的。
77:26
嗯,导致银行的话,有可能没办法判定你这个人的信用状况,也不知道给你多少多少的这个额度,也不知道给你多少的利率,所以银行的话现在都会。找到其他一些数据源,比方说互联网数据,还有一些,呃,移动运营商的,还有银联的这些数据源。去去做一些能更精准的一个,嗯,对你进更精准的一个画像,比如在互联网里面的话,可能有很多的灰染数据。嗯,比方说你这个,呃,刷单养养养养养卡啊,你这小号还有你这种,嗯。
78:06
老是去赌博网站去浏览这种这个黑产数据的话,在互联网那个企业里面还有这个这个呃,会沉淀很多这样的一些数据。上银行的话,他很希望这些数据来用到它自身的这个信贷风险评估里面去。嗯,但是这些数据是怎么能加入到那个银行里面的里面去的呢?就是因为银行的标签数据,还有那个互联网的数据的话,都隐私问题的话,都不能暴露给对方。那这样如何建模呢?就现在业界有三种方案啊,就是从从比如说前几年的话,很多年以前的话,就是银行的话,它是不用他自己的数据啊,我只是呃调用你的API,这个API的话是那个数据源,它自身根据自身的积累的一些样本,一些标签的话,信息量好的一个通用模型,他这个模型的话,不是针对你银行定定制的,不管你这个银行你的客户多下沉,还是说呃,你是。
79:10
偏向于这个医美行业的,医美行业的信贷了,还有车带新了,他不管这些场景,他只是说我自己训练一个通用模型,然后这个通用模型它它这个导致它的效果的话,不一定匹配你那个场景,所以说它的它的效果的话很差的,对,嗯。另外的话就是还有一种情况,就是说银行或者说数据源的话,拿着他自身的数据,然后去去行内或者说来的数据源这里。在提供的一个机器上面建模,嗯。他这种带来一个问题,就是说我的数据要出自自身的这种场地。呃,另外的话就是他要出差,这种驻场成本的话还是很高的,对数据风险问题,还有这个出差成本问题,导致驻场建模的话,也不是一个好的一个选项。
80:03
就是现在在那个银行当中流行的一种趋势,就是说通过联盟联盟学习的方式,然后各自各自的数据都在保证不出本地的情况下来完成一个定制化模型的一个建模过程。呃,两种语义就保就就可以保证哈,保证的话,呃。第一点的话,就双方。呃,我们只需要在各自的环境里面搭一个联通学习系统,然后通过网络把我们连接起来,然后你的数据。各自的数据,数据源的数据也在数据源自身的这个环境里面,然后你银行的数据也是在银行自身的这个环境里面,他两个数据的话都不会出到出到自己的那个企企业外部,所以说这种它的呃,它的安全性是非常高的,另外它的效果也是非常好的,因为它是针对每家银行自己进行定制的啊,这个模型效果的话一般很好,其实。
81:05
嗯,从看看数据情况啊,通过我们这样来看的话,就是通过这种联盟学习这种方式的话,对他原有模型的这种提升的话,一般在30%左右。OK,这是第二页,就是我们看一下联盟信习到底是啥啊,就是呃,我们以这个联盟学习先回归算法为例,然后我们来看一个联盟学习的一个过程。嗯。就是每一个,就是每每一种,或者每一家你厂商的话,它那个协议都不一样,然后。现在的话,我是举一种比较好理解的这种协议方式来给大家讲一下,对,然后因为银行的数据,还有数据源的数据是分布在两两地的,所以说你原来的那个传统的机器学模型的话,一定要进行联邦的拆解,就是把。
82:05
里面涉及到数据源的数据,还有那个银行的数据要拆成两份。比方你xa,你看我这个左上角这个xa和XB的话,它属于两方的数据,所以说你在公式里面要拆成两份就是。数据一份,还有那个银行一份。另外的话就是,呃。剩两分之后,他要做加在一起算一个Y值,然后另外的话就是下一步的话,就是把这个Y值发给有标签的一方,然后也发给银行,银行来计算它的损失。我这个预测和那个正式标签,它那个差距有多大,然后他跟你损失的话。再去算。算那个算,嗯在嗯,数据员这一侧,还有那个银行这一侧,它那个系数的。偏导数。然后算出偏导数,之后它要分别进行计算。
83:03
然后再去分别更新,我wa的话就更新wa,我WB的话就更新WB。对,原就是传统的记忆模,记忆模型的话,要经过这样一个拆解,然后才能进行那个跨机构的,然后呃联合进行建模,但是这个过程当中你发现就是说它会有数据的交换交互,然后wa乘XA乘B,它怎么才能保护这个值的话才能加起来呢?这中间交互过程的话需要保护,所以说就呃,就出现一种在联盟学习当中很重要的一个同态加密算法,也拍了加密算法它这个算法的话,嗯,加密算法它这个算法的话有三三个主要功能。就是就说一下第一句话就是。就是密文,它这是密文加法运算,就是你看我举这个例子啊,就是三和二它两个的密文。
84:07
它两个转换成密文之后,在这个密文上,它不用解密,在密文上就可以实现这个加法,你二和三这个密文的话,就是变成五的密文,然后你你经过解密之后。然后就可以得到这个五这个值。这。然后第二个就是数乘运算,它支持在那个密文上进行,支持数乘,比如二乘以它的密文就相当于二乘原来的那个三。压了铭文的三,你解密这个密文之后,它就是等于六。嗯,第三个性质就是说相同的数字,它通过加密完之,两次加密完之后。它那个密文数字不同,就是我零第一次加密和和零第二次加密,它密文不一样。这三个性质。对,就是总结一下,就是我这个派的加密算法的话,我可以让你这个数据在加密的状态下实现这种加减。
85:09
乘数乘啊加减数乘这个运算。全程不用解密。呃,咱们怎么把这个公式还有这个,嗯,同态加密算同态加密这个工具的话,组成一个,呃,联盟学习算法呢。现在右边的话就是一个一个典型的一个螺旋规算法的一个。交互架构,嗯,第一步的话就是比方说有一个可行第三方,然后他来分发这种密钥,他来生成公司药。嗯,比方他现在生成了公钥,把公钥的话发给银行和数据员,然后各自。各自计算的。它自身的权重和那个特征。然后算出他的100。然后又又通过。
86:03
嗯,就通过这个密文。这个这个加密工具,把这个密文给,把这个数据铭文数据给加密的,加密了之后的话,他就可以把这个密,这个数据发给这个银行进行做加法。银行得到东西的话,银行的话,它自身得到东西的话,也是个密码,他也解不了密,因为他没有私钥,他解不了密。嗯,同时,嗯,我这个数据源和这个银行。它根据这个体,根据这个残长来算它自身的体重,我乘以我这边特征,然后你那边乘以那边特征。然后算各自的这种批注,然后然后它这个都是密有的嘛,他如果说想更新自身自身的权重的话,他一定要去解密,那解密怎么解答,就是我这里要加个随机数,我为了不让这个第三方嗯得到我这个真实的值,我加个随机数,各自加随机数,然后发给第三方,第三方解密完之后发再返回给来,返回来之后的话,自身再减去这个随机数就可以就实现了这个WWWB的一个更新,这多次迭代的话,这个模型的话。
87:20
就就就就就就训练训练好了。嗯,我在左边这个图里面的话,我把联盟学习这个这个计算过程给抽,抽象一下,基本上是三步,不管是什么联盟预算吧。我一般说纵向,呃,纵向另外一算法。呃,不管什么算法的,一般都有这三步啊,第一步的话就是。我我我对其样本。我把我的ID交换一下,然后双交换成ID的话,去取各自的特征,什么各自特征,第二的话就是呃,数据源的话,要把自己的半向量。
88:06
你这个ID的一些呃ing之后的信息的话,发给那个呃,有标签的一方发给银行,银行根据这这些信息,还有自己的特征信息的话,来算来计算这个损失,然后。然后再计算各自的梯度。属于那个数据源的梯度的话,他通过。通过加密的方式呃发给对方进行更新记录。呃,什么样算法的话,都一般都会有这三个过程。这三个过程在银行当中去用的话,它就会有一些问题。第一个问题就是说,嗯。泄露用户ID信息,就银行他不愿意把客户的ID发过来,就我的这些,嗯客户信息,嗯,比方说我的一些心态,扣一期的话,我我很难出行,我不敢不敢给到那个。
89:02
你数据源,因为你给你到之后的话,你可能会觉得就是。知道我的客户了吗?另外就是说两仪在用当中的话,它是一个跨跨机构,多机构之间的这种,呃。这种呼我这种分布式的学习吧。它会有很多的就是交互,然后还有很多的数据传输量。所以说它那个算法的那个性能的话,比传统的来比就会很慢。这里有一个,呃,3万样本。的一个训练的一个本地数据和联邦数据的一个对比。联盟叉GB算法的话,会比原来的慢,大概大概多少倍,大概100倍左右。嗯。100左右,然后我们现在看一下,看一下这里啊,看一下我们整个的量位移,这个平台的一个总体架构,呃数据层,呃下面数据层是两位一来。
90:11
打穿各个数据的,然后这个加密协议的,是用这些秘密,这些加密协议来设计加密算法的,呃。上面再一层的话就是交互架构层,就是我说的那三个阶段,我今天讲的这些东西的话,也是基于这个交互架构层来来优化设计的。基于这个交互架构层的话,我们可以具体去算,根据这个具体算法协议的话,去把这些框架引入这里面算法协议里面去优化,呃,整个的一个算法叫做过程。对,在整个联盟学习算法设计当中的话,它两个核心的诉求就是安全和效率。嗯。嗯,针对我刚才上面说的两大,呃两个大的呃缺陷点的话,我这里提了三个,呃三个方案就是泄露用户ID信息的话,呃提出了一种参数训练方案,还有那个交互次数多,我看能不能提供一个高效算法交流方案,能不能减少它交流次数,呃针对那个传输数据量大,因为你这里都是密文,呃同在加密的密文的话,我提出我们提出一种就是呃报压缩,就通讯的数据量能不能减少。
91:29
综合这些这些方案的话,可以提升那个整个系统的一个安全性,还有那个还有速度。咱们先看这个安全性哈。嗯。比比方说现在客户,呃,客户比方说他不愿意发,银行不愿意发的话,他们能不能不发,实际上他不能不发,因为不发的话,他这里的话就没办法去关联自己的特征,它就没办法去去做后期的建模,呃参水训练是啥意思呢?就是说我现在在真样本里面擦一批假样本,我混合的,呃发给那个数据源,你就不知道这里面哪个是真样本,哪个是假样本,就没法判定,呃。
92:15
哪个是我真诚的客户?但是你测甲氨门之后的话,带来一个问题,就是你个甲氨门的话,你去训练的话,我这甲氨门在这侧的话,我也拿到了一些特征,我这甲氨们怎么去不影响我这个模型的训练效果呢?然后另外一个核心问题就是说我在处理这个模拟效果的问题的话,怎么保证我银行的样本不被那个数据推测出来,哪怕是我的真正的样本,要解决这个核心的问题。在讲那个之前呢,我们来看一下,就是呃呃。嗯,参水特征分箱,嗯怎么做,为啥讲这个特征分箱,因为特征分箱是联邦叉GB算法,叉P算法有个分箱的过程,还有那个平衡卡这个模型的话,它里面一个必要的一个步骤。
93:07
嗯。嗯,这个分析,嗯,先说这个等等等平分箱啊,等平分箱的话,嗯,我们引入这个假样本之后的话,就是在数据源这里进行分销的话,碰断一个问题,就是说我现在要用真样本进行分销,但是你现在都是假样本的话,我不知道我哪个,我等平的话,我怎么去判定我那个志愿门假门啊。会,会有这个问题。呃,我们来看一下下面这个过程哈,就是。比方我现在二五是真样的,然后134就是假的门。嗯,我们一种我一为一种方案,就是说把嗯,把这个flag信息同台加密后,就是发给那个数据源,数据源根据他自己特征做一些那个。
94:01
求交完之后做一个排序,也让我现在从小到大做了一个排序,根据自己特征做了排序。然后另外把应用这个flag信息的话,也就跟着它这个特征进行排序,把这个flag信息的话,呃,发给那个银行,银行解密完之后,通过那个累加我累加我这个发个信息我就知道。我就知道那个,呃,他对方的话不是要等一分嘛,我就知道呃。我根据这个公式啊,知道每个项它分割点应该在哪个位置,统计这个数字就行了,我在统计过程当中的话,我是得到不到它这个特征情况的,然后另外呃,下一步的话,他就可以下一步的话就把这个分割点的话就发给了我,我新了一批分割点就发给数据员,数据员你就根据我,呃,银行告诉你这个分割点的话,在你的样本上进行切分就行了,然后这样就完成了这个。
95:04
整个的一个呃,参水的一个分享的一个过程。嗯,下面咱们看一下这个碳水模型更新的问题,就是你现在有这些有有这些真假样门在里面的话,呃,你这衙门会不。怎么能不影响我这个,呃。模型结果的正确性,我怎么能去,呃,更新数据源测的那个那个那个模型。呃,针对就是我们针对这几个问题的话,提出来三个小的trick啊,就是解决方案。嗯,第一个trick就是,呃,把假样本它那个。In bed丁向量,我把丢弃掉,在我们loss里面就不计算。咱们看具体看一下这个钱这个案例,这个例子啊,就是嗯,我们把闸夹门里面有134,然后呃数据源把那个134还有二五这样本的一般定都给过来了,然后在我们计算这个整个损失函数里面,损失函数的话,因为我知道哪个是这样的甲本,我说我记银行的话,就把那些呃甲本的in invent的话就不计算了,然后只计算这样本的,然后用它来计算这loss,然后再计算偏导。
96:34
呃嗯,第二个的话,实际上我要把这些导数的话,偏导的话给到数据源进行他那边的就是那那个那个权重更新,然后嗯。在这里的话就是我们把真样本的,呃,权重的话,用的真实值同的加密,是把假样本的,把假样本的梯度值的话,嗯置为零,然后也同的加密发给数据源。
97:02
嗯。有有人可能会问,这个这个都是零同,在加密完之后发给他,他是不是会知道他这个密文一样的都是零了,虽然不会像我们刚才说的就是同的加密性质一样,就是同一个数值,它不同的加密,它那个密文不一样,所以说它那里的话是不知道哪个是真正的样本,哪个是假样本的,通过这种方式的话,我们就可以完成。带着真假样本混合的一个呃,模型训练过程。嗯。大家看一下这个通过测试训练。嗯,这个是一个多少样本,这个大概是个三四万样本吧,好像,嗯,实际上他通过掺掺杂药甲苯的话,它没有带来任何的一个。模型的损失就是他AC开的话,呃,还是同一个值啊,一个小数点后几位的话,可能是因为就是每次有随机随机因子在里面的话,导致它有一点细微的这个差别,但是它的整个性能啊是无损的。
98:18
那参始训练,这是一个1:1的参与训练啊。大家可以看一下,它这个也带来很多的一个性能的一个损失啊,它的嗯,它的那个倍数的速度的话,比那个原来的倍数的话要要慢了一个四倍左右,它慢的过程的话,就是原因的话,是因为它样本量增加了嘛,因为参加了假样本。就是传输的数据量也也增加了。对,那个运算也增加了,导致它速度也慢了,就是带来安全性的同时的话,它的性能下降。咱们看一下这个交互效率的一个,交互效率的一个一个一个提升哈,嗯。
99:04
这个是那个in bedding是传出来的,就是我数据员把我inviding发给那个银行。就是业内的话,就是会有一种嗯方案的话,就是我把那个引入一个噪声像一个ACC,把把一个噪声像当当成它的权重。嗯,权重就分两部分啊,第一部分wa,呃,Wa的权重的话,B有一份,然后我一分A的话也有一份,然后。然后现在的话,导致他每次做那个in bedding的前要inding的时候都会呃交互三次,我算我算一顶传过去的话都要交互三次。嗯,它那个后项传播过程的话,也也要传播两次,就是我们这边的想法是说他这个礼白锭的话,能不能传一次呢?就是我们像铭文一样,我就传过传过一次,然后你那里就可以算这个损失呢。
100:09
下面就是我们提提提出的一种方案,然后这种方案的话,就可以实现我刚才说的想法,就是说我只要传一次的话,就可以实现这个班级的一个计算,这个具体方案是什什么样的哈,就是呃,我们来看一下啊,看一下这个这个。嗯。这个这个这个公式哈,Ha乘以一个乘WB,实际上ha的话是嗯,数据源要传的一个一个100顶,呃,WB的话是一个权重。对,然后你这个V的话要传给银行,但是这个数,呃,数据呢,又不想给他,然后。另外的话,你为了保护他这边,他这边的那个,呃,就是银行这一侧的那个梯度信息的话,你就不能把DZ暴露给给那个数据员,所以说我们如果说把这个WB双方都不知道。
101:12
这个东西的话,我们就可以实现这个目的。呃,怎么呃,怎么实现这个过程啊,就是我们现在就是在银行的话,生成供养饲养,然后把把。把公钥啊发给发给那个数据源,他两个都随意生成一个WB的一部分,然后各自都要同等加密,然后。后面银行把它这部分的WB呢给到数据源。这样就形成一个整个的WB,这个WB的话,实际上谁都不知道啊,就是第一的话,银行不知道,因为银行的话。这个W不在他这里,是在对方那里,完整WB这个数据源不知道是因为他没有私钥,私钥在银行这里的,他这里完全是一个秘密的方式。
102:03
他永远不知道这个值,嗯。我们有有这个ha的话。现在数据源就会安全的,就放心的把ha乘以WB发过来了。发到这个,呃,发发到这个这个这个呃,银行这一侧了,银行的话就可以把这个解密掉了,我现在有个公钥是要解密掉,解密掉他只知道DZ,但是他不知道ha,因为他不知道是ha,也不知道AWB,所以说他只知道DZ,但是不知道这两个,所以说这个通过我们这一顿操作的话,它现在强传播过程就三次交互变成了一次交互。嗯。我们看一下通过交互就钱要传播过去了,他要他后面要算那个算啥呢,就是说他要把呃。他要把呃,WB这边的权重要进行更新嘛,因为WB是在这里的嘛,他要更新这个WB,另一方的话,他要更新,呃呃,因为更新要算ha的这个偏导,因为ha的话它是有那个wa。
103:17
它生成的过程的话,还有个wa,它wa的话还要计算这边的wa的那个那个的权重要更新的话,它需要还要需要计算ha的这个这个梯度信息,我们看一下怎么去更新这两个值啊。就是先看这个WB怎么更新啊,WB实际上等于那个DZ乘以ha,我们的aha在它这一方,然后DZ的话是在。是在那个银行这一侧。他更新怎么更新呢?就是说他现在银行的话,只需要把DZ加密完之后发给呃数据源,他两个相乘就行了,因为WB是在密态的,它俩更新这个值的话也是在密态的,它直接去密态更新就行了,所以说现在全程更新的话有两次交互,原来业内的两次交互降低为一次交互,嗯,先看这个梯度回传啊,嗯,它这个ha的梯度等于WB乘DZ,这个WB是在这里,DZ是在这里。
104:19
它为了实现这两个相乘,也同时不泄露信息的话,就是数据源的话,乘以R乘以随机数,把这个RB呃发过来。然后它减B乘以DZ,然后把这个值发过去,它去掉那个RB的话,就可以知道WB和DZ,呃,因为它不知道WBWB的具体值,也不知道D的具体值,只知道它两个积,所以说每一项都做了一个很好的一个保留,保留。嗯,这个是我们把我们那个高效算法教育方案用到那个,用到那个,呃,深入。呃纵向,呃纵向深度学习算法里面,嗯纵联邦纵向深度学习算法的话,是一个这样的一个架构哈,它分三层,一个是包姆层,一个是交互层,一个top层,呃包层的话呃双方都有,然后可以接任何的包的母双方都有,可以接任何的这个网络架构,不管是RN还有还是这种CN的话都可以,然后呃包top层top层top,呃top层top model这个层的话是只有那个有带标签的。
105:29
一方拥有,中间是有一个嗯呃全全连接层,通过这一层的话来链接,呃,双方的就是embding,通过这一层来来来来来来链接哈,就是我们看一下,呃,我们把这一层的话,把权重信息分两块,第一块的话是。属于就是数据源这方的,放的那个就是embedding,用我们刚才介绍的这个。
106:00
嗯,把WWBWBA这个隐藏这种方式,呃,嗯,就是用那种方案来进行实现。呃,我们这一块的话就不动了,就是这块不动,就还是原来那一块儿,然后这一块的话,因为它涉及到交互,所以用我们刚才原来的方案来实现,通过这种这种方案的话,嗯,我们看一下在一个三维样本上的一个性能哈。实际上它那个呃,同样的它那个它那个呃精度的话是没有任何损失的,它的时它的时间的话提升了40%,在3万样本上提升40%,另外随着那个数据量越多的话,它那个呃性能越高,在白样本上它速度的话能提升75%。OK,好好,嗯,然后我们看一下最后一个通讯效率提升,通讯效率提升啊,就是呃呃,业界的话,对,因为我们要把自己的梯度信息传给那个数据源那里梯度信息它是上传的,都是一个加密的,同态加密的信息。
107:10
这个密文计算的话,这个密文它非常大的。我们可以算一下10万样本的梯度传输,比如说我们10万样本,它的传个梯度的话,它要它有。它有98兆要要传啊,你十兆带宽,十兆带宽它要传大概有十秒了,呃在腾讯云上面看一个两兆和十兆带宽,它那个费用情况,你带宽又大的话,它的比如十兆带宽,它占到整个的一个系统的费用的话,占到百分之九七十五了,就是你带宽费用,呃很多客户他是两兆带宽的,就是我们怎么把两兆带宽下面的话来实现一个,呃高效的一个速度,呃一个。一个一个命文的一个传输,这个是我们要解决的一个难题。呃,我们提出来一种就是,嗯,通讯报告压缩方案,就首先是把我们的浮点数转换成整形,就进整形进行进行传输,呃,因为。
108:13
嗯,怎么去转这个整形呢,就是。就是呃呃,我们一方,我们一方面的话就是呃,统一我的那个浮点数的一个范围,就是我通过一个最大最大值规划策略,把把这个范围的话压缩到一个一个一个一个负一到一的一个情况下,另外的话,我们又后面要通过一些补码,编源码,补码的位移的方式,呃为了保证它不溢出的话,我们给我们用一个公式来限定那个整数的阈值,比方说你现在要通过一个。呃,N比特位的一个一个一个一个一个一个N比特位的一个整数型来表示这个事情的话,表示这个数的话,我们要乘以个二的N减次方减一,来来来乘以那个我们刚才就是规划之后的值来做一个规,做一个取整,就可以转换成那个整形,比方我们现在嗯,对这个梯度做一个先加速因子,然后再做一个规划,变成负一对一,然后再按我们现在策略的话变成一个整形。
109:30
呃,我们现在变成整形之后的话,呃,很多个很多个整形的话,我们需要把很多个整数变成一个,呃,变成一个大整数进行传输,我们怎么去做这件事情呢?就是我们首先嗯算算这个整形的一个补码,呃。另外呃,下一步的话就是我们提出来一个补码拼接方案,我们通过乘以就是呃二的N2的N次方,然后呃,再加每一个一个批次里面所有的那个整数都经过一次相加,然后生成一个大整数,我们传输的话,只需要产生一个大整数,然后这个大整数到到那个数据源那一侧的话,再通过补码还原,再通过我刚才的那个浮点数,呃,刚才不成了吗?再除以刚才那个呃。
110:22
那个那个值的话变成浮点数,再规划再去我逆那个随因子就变成了那个,呃,我们就把我们这个原来的T数信息就很完整的就传到了,就是数据源这一侧。我们把我们现在这个算法,它用到了那个联邦叉GB算法里面,嗯,它这里面需要传一阶梯度,二阶梯度,我们就把我们的那个呃,把一批的就是一二阶梯度,然后通过通过一个大整数,然后另外传这个随心因子,还有那个呃规划的一个值传到对方,然后就可以实现这个梯度的一个压缩的一个传输,呃通过这种方案的话,我们的性能的话,在一般瓦样100万样本上的话,就提升了百分之,提升了1.6倍吧。
111:13
这个是我们呃,压缩前后的一个通讯的一个带宽监控图,你看压缩后的话,它带宽的话非常平稳了,原来的话它带宽的话是非常大的。OK,呃,不好意思,可能超时了几分钟哈。呃,我现在。大概讲完了,就是我们的三种方案。看大家有。有没有什么问题?你好,我想问一下,就是咱这个现在是产品吗?如果要是部署的话,对原有系统要进行怎样的改造?
112:00
嗯,麻烦主持人在传达一下问题,没听清,就是咱现在是一个成型的产品是。是销售呢,还是是要去到对我们的系统进行改造,改造的成本是有多高,就是对我们系统之间是怎么个衔接的方式。OK,你是说就是如果说把这个系统用到银行里面的话,会不会对原来系统做个做改造是吧,对对对。啊呃,不会的哈,就是第一的话,就是我们这边系统的话,有一个很好的一个,它因为它数据要建模嘛,就是我们现在提供了一些接口的话,直接可以接到原来的数据库里面,比如说你MySQL have的话就可以连接上面,然后另外的话,它在线服务的话,通过API的这种方式,就是和你调其他API的话是一样的,就是在模型那个服务阶段。那您的意思就是做任何侵入,也就是我们之前那个开发的,开发这个系统的厂家就直接就是用接口的方式就可以实现了,是吧?没有什么学有什么学习成本没。
113:10
嗯。就是原来的对于对于现有系统的承建单位,承建那个公司来说,他有没有什么学习的成本呢。哦,你说学习的成本是吧,对。OK,就是,呃,现在就联邦的话。呃,这个连端学习的话,就是我们在他看来的话,就是一个机器学习建模平台,然后他所有的操作的话,实际上和我们平常用的GP平台都一样,他面的他对客户的界面来说的话,它都是一样的,对他只是说他那个里面的算法复杂性更高一点,但是他学习成本的话是不高的。好,谢谢。好的,感谢这位嘉宾,我们请下一位向我们提问,好,我们为这位先生送一个话筒。
114:02
那个老师您好,这个咱这个掺水比例和计算的这个,呃,效率是怎么平衡的。掺水比例和计算的效率如何进行平衡?诶是问题是吧,啊对对对对对。嗯,再问一下,不好意思主持人。刚才说那个掺水嘛,就是这个现在的这个掺水比例和这个计算效率怎么做的平衡啊。我就是怎么说,就是你的水越多的话,你那个效率越低嘛,但是你安全性越高嘛,对吧,然后所以说嗯,这个东西的话,需要我们银行自己去判定,比方说我觉得我里面掺了90%的,呃,水的话就是安全的,我就掺百分90,然后如果说别人你觉得差50%就是安全的话,就是差50%。
115:14
哦,这个是需要这个客户自己决定是吧。对对,是的,哦,明白了。好的,感谢这位嘉宾,那我们现场的还有哪位朋友想和刘老师进行提问,可以举手向我们示意。好的,如果大家没有任何问题的话呢,也可以不要忘记加入我们的微信群,稍后有任何的问题都可以在群中和我们的几位专业的老师进行提问,那我们再次把掌声送给刘老师,感谢刘占奇老师的精彩分享,那接下来我们将邀请第四位演讲嘉宾,下面让我们有请腾讯云金融云移动金融产品副总监胡宏伟先生为我们进行主题分享,由他来给大家进行详细的介绍,移动渠道端智慧化开发运营一站式的解决方式,让我们有请。
116:09
有请胡老师啊,大家好,我是胡宏伟,今天呢和各位老师分享一下,就是腾讯在移动渠道端啊,尤其是比如说金融这个行业的移动渠道端,在数字化转型过程中啊,一些方法论的一些沉淀,和比如说我们的一些服务的一些经验啊,那这里这个渠道端呢,那主要是呃,比如说我们的APP小程序啊,那涉及到比如说开发运营呢,那就是说我们开发测试,上线发布啊,一直到后面的运营运维所需要的一系列的,比如说移动中台啊,还有后端的一些支撑的一些能力啊。这里面呢,其实主体的思路呢,还是在讲说我们怎么样用数字化或者用量化的方式啊,去智能化的方式啊,去去带动我们的这个业务的一个增长。
117:03
好,今天的议题呢,主要是有这样几部分啊,首先呢,我们看一下,就是说我们在这个数字化转型的过程中啊,就是遇到的主要的问题主要是有哪些啊。第二部分呢,我们看看比如说我们的同业啊,或者说我们的行业内的其他一些合作伙伴,是不是也遇到同样的问题啊,他们是怎么样解决的,然后整个行业的,比如说发展的一个趋势是什么样的。啊,第三一部分呢,那就是说,呃,刚才战旗啊讲了其实更很多的很多的干货啊,那我们接下来的片子里呢,实际上就是会更湿润一些,我会拿就是具体的一些案例啊,我们比如说其他的同业的伙伴,然后比如说通过怎么样通过腾讯的一些能力带来的一些提升啊,这方面通过一些案例的方式给大家做一些拆解和分析。第四部分呢,实际上是我们这次分享的一个核心啊,怎么就是怎么样用数据化,用智能化的方式啊,去驱动我们业务的一个增长啊,因为我们搭建一套业务,其实更多的还是面向着说我们能够比如说跟之前相比,带来比如说业务的提升,流量的提升,业务的增长啊,所以说我们看看这方面是怎么做的。
118:13
首先呢,我们看一张非常大的一个全景图啊,非常大的一个全景图啊,那为什么要讲这张图呢?实际上是要给我们大家看一下,说现在啊,那我们在整个金融的移动端,那比如说APP啊,我们每个人手机上都有各个银行的,比如说这个应用的APP,对吧?啊,那它在使用过程中呢?那比如说之前我们开发过程,是不是只需要比如说一堆开发人员去做一个APP,后面连一个后台就可以这样用了呢?啊。那这张图呢,实际上就是要告诉大家说现在互联网的方式,或者说现在整体的业务需求啊,原来的开发模式已经不能满足了。啊,那我们在整个比如说大前端的情况下,那我们需要比如说一系列的端上的一些能力组建开发框架。啊,那包括比如说一些低代码开发,主流的低代码开发小程序的一些能力的矩阵啊,我们在渠道端做一些用户行为分析的一些买点的一些能力啊,那这是端上的一些能力,那么后端呢,那我们有需要比如说各种流量引擎啊,各种服务编排啊,然后还有比如说数据的用户的增长分析啊,通过怎么样去串联,那中间呢,我们还考虑比如说数据的安全性啊,高性能呃,然后负载均衡,高可用等等一系列的能力啊,那这个只是前端连后端,那么我看左边和右边,实际上在开发态和管理态,我们还需要比如说对整个开发过程,对代码质量啊,对交付质量的一个保证。
119:41
啊,那还有比如说我们同样还会扩展到比如说我们的这个大前端的一个开发框架啊,还会涉及到比如说我们小程序啊,微信公众号等等一些相关的业务能力。那么右边呢,我们开发完上线以后呢,实际上还有就是说怎么样去发布,发布到比如说各个渠道发布到应用市场啊,那出了问题怎么样,比如说不发版,能够比如说把这个相关的问题修复掉啊,还有呢,就是说怎么样比如说通过客户端的一些设计去提升整体的这个业务的流畅性,提升这个用户的体验。
120:18
那么我们业务呢,现在也是一个动态的一个模式,那怎么样,比如说通过后台的这个后管的系统啊,能够比如说实时的和用户的这个业务进行一个交互啊,那所以说从这一张全景图来看呢,实际上我们现在开发一套APP。啊,那无论是比如说复杂的手机银行还也好,还是比如说我们普通的一个,呃,很小的一个业务,那目前需要的能力呢,实际上这张图里虽然看着很多,但它实际上。也只是包含了我们大部分的一个能力,所以说目前来看是一个非常复杂的一个事情啊,那么针对于这这么复杂的一个事情,我们现在遇到的问题和挑战有哪些啊,那我这里呢,实际上是根据我们比如说金融机构啊,呃,各个主要的部门所面临的一些挑战啊,进行了一个阐述,那首先呢,对于我们的这个业务部门来讲呢,他运他遇到的最大挑战其实是运营的问题啊,那我们上线了以后,那整个比如说。
121:18
这套业务啊,怎么样应用一个新的玩法啊,来带动比如说我的业务增长,那这里呢,实际上就是传统的方式呢,我是通过比如说线下呃,一些方式,或者说线下一些调研啊,或者说这个业务的最终的结果啊,结果以最终的结果来看这个业务的情况啊,但实际上呢,就会发现这个整个的运营的周期就会特别长,我想比如说,比如说上线一个营销的一个活动啊,我想过程中看一下营销的效果,或者说大家的参与度,那实际上之前呢,是很难有这个手段去做这个支撑的。啊,另外呢,就是说我们之前的一些产品设计的体验啊,呃,更多的其实是从我们的业务的视角进行出发的啊,也是说比如说银行我需开展一个信贷的业务,我是从我这个。
122:03
To B啊,就是业务的视角去做这个流程的设计啊,但是现在呢,大家最近也看到了一些比如说这个报道啊,呃,那个工行的,呃,工行的手机银行的这个7.0啊,包括招行的手机银行的10.0上线了以后啊,那大家其实在主推的这个主要的这个方向改变呢,其实是以用户的视角,或者说这个用户操作体验的流程去做这个业务流程的设计啊,那这个是一个截然不同的一个变化。另外呢,就是我们之前采集数据啊,可能是通过一些日志啊,或者其他方式进行抓取啊相关的信息,那么但是现在呢,我们可能需要比如说实时的去做一些分析,比如说做一些AB的一些对比,那这时候呢,就需要比如说我们在端上的数据采集啊,一定程度上就能达需要做一些比如说智能化或者说动态化的一个改进。啊,那对于科技部门呢,那其实他面临的就是说啊,那怎么样去运营刚才说的那一大套的一个底座或者中台这样一个能力啊,那他遇到的最大的问题呢,就是说之前那可能说我一套业务,一套框架要去集成很多的,比如说不同部门也好啊,或者说外部的第三方的能力也好啊,那就导导致一个什么问题呢?它的技术框架变得非常复杂。
123:21
啊,就是说每个,呃,比如说我们就拿第三方来讲啊,那每个第三方实际上他的技术人员的水平,他的开发框架,他使用的比如说技术管理规范是完全不一样的啊,那这就会导致说我集成到整个一个大的APP之中内,那我的技术框架就会变得越来越多,接入的越多,你你的技术复杂度越高,你带来问题的几率就会越大啊,那现在呢,其实有我们有很多的小伙伴们已经遇到这个问题了,就是说整个框架非常复杂啊,带来的后续的比如说维护升级,运维的成本就会非常高。那么最直接的,比如说对用户的反馈呢,那可能就比如说就是产品崩溃啊,那就说我们其实每个人都会都遇到过啊,就是说我们打开APP的时候,或者说手机只是做了一个操作系统的一个升级,可能在打开比如说手机银行的时候,他就崩溃,白屏退出了,没有响应了啊,甚至说比如说我们操作一个转账的一个业务啊,在外面可能时间很紧,网络也不太好啊,那我操作过程中呢,就是大部分信息都填了,到最后一步的时候一点退出了啊,前面的所有操作可能都浪费掉了啊,那这就是给我们科技部门带来的相关的一些挑战啊。
124:30
那对运维部门来说呢,他最担心的可能就比如说是安全啊,稳定性啊,那现在呢,比如说黑客,甚至比如说灰产啊,黄牛党,他的攻击的目标呢,实际上已经下沉到就是说我们具体的这个业务价值上了啊,他不会说再去做一些比如说基于好奇心的这种攻击啊,他更多的呢,可能是关注于。呃,我们的这个比如说资金啊,或用户的业务价值啊,那这会呃,一旦出现问题以后呢,可能就会给我们用户带来一些资损啊,那这个呢,就是说需要我们啊,尤其是比如说运维部门或者安全部门啊,去做一个改进,可以提升的一个点,那最后一个呢,对于合规部门呢,那其实担心的最大的问题就是怎么样去做风控啊,怎么样去做合规,尤其呢,比如说今年,呃,去年吧,去年网络安全法出台了以后,将包括今年啊,这个用户隐私合规的这个要求啊,国家提倡日程以后啊,那我们发现其实大部分的APP都在做这个整改啊,但是整改的难度呢,也是非常高的啊,尤其这块,比如说怎么样去做合规,怎么样去比如说过审啊,实际上都是非常大的一个挑战。
125:41
那么我们看看就是说呃,在整个金融行业,那我们这移动渠道端啊,整体的一个发展趋势是什么样的啊,我们之前呢,其实是有两个主流的方向啊,第一呢,就是说相当于是我们做业务的时候,呃,把所有的业务啊进行一个细分啊,垂类的一个细分,比如说手机银行是手机银行啊,比如说企业银行信用卡都分散在,比如说用不同的APP来实现,在这里面呢,会带来一个问题。
126:09
啊,就是说我的用户啊,其实我们比如说金融企业,金融行业的用户啊,我们一个银行啊,他可能。固定的用户是客,固定的一个客群,但是呢,我分到不同的业务里呢,就是给用户的使用带来一个比较繁琐的一个流程和一个体验,呃,另外呢,就是说本身流量就这么多,然后再通过不同的业务APP进行一个分散的话,实际上更不利于我业务的这个运营和一个增长啊。同时呢,比如说我们想做一个活动,那带来比如说这种推广啊的成运营的成本也会得到一个提升。那么另外一个思路呢,其实就是说我把所有的业务全部进行一个整合啊,整合到一个大的,比如说APP中啊,那目前呢这块呢,其实是整个行业的一个发展的一个大的方向啊,那在金融领域这块呢,就是大家其实提的一个就是主流的理念,就是叫超级APP,超级APP的一个框架啊,那我通过比如说不同的频道,不同的楼层啊,或者不同的页面啊,对所有的业务进行一个区分,我所有的用户体系啊,包括所有的流量是统一的。
127:15
那么对于我们整体的开发和运营两个阶段来讲呢,那际上带来的变化呢,主要是这一张图啊所展示的,那么在开发阶段呢,实际上我是需要,比如说因为是多个业务,我需要比如说区分权限,我需要做多法人啊,需要比如说一次开发业务能够比如说复用到不同的这个呃部门或者频道上去。另外呢,就是说通过超级BP这一套框架呢,实际上我们是实现了整体的这个技术架构的一个统一啊,我们就是所有的业务啊都使用,比如说同一套的开发模式啊,同一套的比如说业务的这个代码规范,设计规范,那这样的话呢,就是说对整体的质量的保证,对用户体验的啊,也是一个很好的一个保证。
128:00
啊,同时呢,基于比如说底层的呃,这两个能力的一个支撑啊,那我们上面呢,实际上就可以实现,比如说我们提的比如说组件化啊,插件化呀等等这种模式啊,同时呢,就是说我们其实就是搭一个平台啊,大家就是如果家里有孩子的就是就是很清楚啊,就是说实际上这个东西可以理解为就是乐高那个积木啊,实际上我就是我们搭了一个稳固的一个平台,然后上面呢,比如说像商城啊,权益啊,积分啊这种相关的这种能力可以作为组件啊,动态的插拔到我这个平台上来。我需要的话我就把它插上去啊,不需要的话我可以直接把它拿走啊。那这块是针对于开发阶段啊,那么呢,我们其实更强调的说在开发之后,呃,更重的还是在运营,那么在运营方面呢,那就是说我们其实实现的点就是要做到千人千面。啊,那针对不同的用户,实际上给他推荐,或者说他的体验流程,都是根据他的个人习惯做了一些相关的一些优化的啊,那这里面呢,其实有比如说很丰富的一些能力啊,包括比如说呃,怎么样去通过我们传统的买点数据去做这种智能的用户的行为啊,动线轨迹的一个洞察啊,然后比如说怎么样针对于不同的人,那比如说在做啊,我们这么多同学实际上可能都用着一个APP啊,但是实际上呢,就是通过比如说这种动态化运营的能力,实际上每个人看到的页面,看到的广告,或者说你的整体的操作流程体验完全是不一样的,而且可以做一个动态化的一个调整啊。
129:32
这都是呢,就是动态的运营的一个能力啊。呃,那我们看看就是说,那如果要做这个改变,我们需要做哪些工作啊,首先呢,我们先看看,就是说这里面我们。我们做的就是比较优秀的一些方向啊,那首先呢,我们看一下,比如说微信啊,大家都知道,就是每个人手机上都有微信,那么微信是一个什么样的体验?
130:00
那首先在性能上呢。啊,那微信就比如说十几亿人在用啊,那他没有出现过,比如说我们通常遇到的这种卡顿啊,白屏啊这种情况啊,那比如说再扫一扫啊,那比如说很远的地方有一个二维码,那我打开手机的微信,我打过去那屏,它实际上会实现一个自动的对焦的一个缩放啊,然后比如说即使这个二维码我们去去超市的时候扫描会发现啊,就说这个二维码出现了褶皱啊,污损啊,缺角啊,实际上微信还是能够很精准的扫出来的啊,那为什么呢?实际上这里面就是说和我们用的比如说开源的一些扫一扫的能力不同的地方,就是这里面沉淀着很多腾讯在扫一扫这个能力上的一些,比如说AI啊,一些智能化的一些算法上的一些优化改进。另外呢,就是兼容啊,我们发现比如说在微信里,你其实可以打开word Excel PDF啊,甚至一些视频啊,那这种呢,其实都是通过比如说内嵌的啊,一些比如说解析器实现了,比如说这种能力的一个兼容,这是第二方面。
131:03
第三方面呢,就是一些数据的智能啊,那我们可以发现我们的朋友圈其实是有一些广告的一些推广啊,或者说你和你的小伙伴们有一些比如说相同的爱好啊,他会把你比如说拉到一起啊,做一个传,一个局或怎么样,那实际上这里面呢,其实也是通过一些行为特征的一些分析啊,帮助我们去做这种智能的啊,这种业务行为的一个洞察啊,也辅助我们比如说去做一些业务的运营。第四呢,就是一个持续的改进啊,我们之前呃考虑说我们比如说更新一个版本啊,或者说升级APP啊,那可能说就完成了一个产品的一个迭代,但是现在对于整个互联网的运营的模式来讲呢,实际上这个过程是持续的。啊,持续的含义是什么呢?就是说刚才包括刚才讲的千人千面是一样啊,我在当前的这个业务环节,或者说当前这个场景之下啊,如果是有相关的需求的话,那我实际上是通过比如说前后台的交互能力,我是可以动态的实现这种业务能力的改变的啊,那包括比如说一些开关的一些配置,一些楼层展示广告的推荐啊,这个都是持续改进的这个方向。
132:14
最后一方面呢,实际上就是业务的生态啊,因为就是说。我们其实啊,靠自己去做,把这一个事情做大其实很难的啊,但是现在呢,比如说很外围的周边这些生态呢,是非常丰富了,所以说呢,我们需要比如说利用刚才说的这个,比如说动态插拔这个底座能力,能够让第三方的生态啊,能够生长在我们这个平台上。那这块呢,就实际上是搭建整个,比如超级APP,我们需要做改进和提升的一个方向。OK,呃,那我们看一下就是整个业界其实做的比较好的啊,我们就拿手机银行这个呃APP来举个例子。呃,我们每年呢,其实这个就是。
133:03
啊,中国金融认证中心CFC每年呢都会对,就是我们所有的,就是整个国内所有的手机银行进行一个标准的一个评测,啊,那这里面评测的维度呢,主要是四个方面,第一呢,就是用户体验。第二呢是功能,第三是安全,第四是创新啊四个方面,那我们先看一下一九年的数据啊。包括二零年我们可以看到就是招行啊,妥妥的是榜一大哥啊,就是两年都是持续的榜一啊。那么我们看看,就是说改进提升比较大的,那比如说这个交通银行,交通银行大家用交通银行呢,可以看一下啊,就是说他在一九年的时候,在全国的排名中是排第八啊。但是到了二零年呢,那我们可以看到他已经排到了行业的一个前二。而且呢,就是这这是一个综合综合的一个排名啊,招行呢,在这个安全啊,还有就是说性能方面啊,它实际上已经是单项已经排名第一了啊,已经超过了招行了。
134:09
啊,这整体带来一个提升啊,那他们就是说为什么能够做能够得到这么大一个提升啊,他后面会讲到啊,就是这里面他使用了就是腾讯这边的一些很关键很核心的一些能力啊,那包括你看我们看一下,就是二零年的这个第五啊是北京银行。啊,就是我们在北京啊,香港区域最大的一个城商行啊,那他在一九年的时候呢,实际上这里面没列啊,已经出去了,但是排第15吧,15还是13,反正是已经出前十了啊,但是同样它也是使用了就是说腾讯这边的一些能力,他在二零年的时候呢,他的排名已经进到了行业前五啊,所以说这个体验还是非常明显的,那么其他几家呢,就是说像中行啊,浦发啊,基本上比如说都用的是自建的一些能力啊。那我们再详细拆分一下看看,比如说交行为什么能够得到这么大的一个能力的一个提升啊。
135:04
呃,这块呢,也是说我们比如说想要做这个,比如说提升和改变,我们需要做的动作有哪些,首先呢,就是说我们需要一套啊,非常稳固的底座和一套比如说非常先进的一套技术的框架。那我们之前比如说我们新建一个业务,比如说我们需要比如说手机银行迭代一个新的版本啊,那我们是怎么做的呢?啊,我们基本上是从零到一去搭建一个这样一个业务,但是呢,就是现在主推的模式呢,其实不是从零到一了,因为我们知道就是说实际上这里面很多底层的能力,整个业界都有,比如说很成熟,然后很。呃,很基准的一个能力的一个基础啊,比如说是刚才上午讲到的这个数据库啊,比如说整个云的底座啊,这部分我们其实是完全没有必要去重复造这个轮子,或者说做这个从零到一的工作的。所以呢,这里面我们提了一个概念,就是说从0.5到一啊,比如说我们基于啊,比如说腾讯的啊,一些提供的一些能力的一些基础,在这个上面去搭建我们的业务能力的模型。
136:07
呃,所以呢,我们看一下啊,就是右边啊写的这些就是我们现在使用了这套TMFTMF呢是我们腾讯移动金融啊这样一个简称啊,使用这套平台以后呢,实际上我们就是从平台里面去选一些机械啊,选一些模板啊,或者说呢,我们之前已经搭建好的一些能力工程的这种,比如说DEMO或者说模型啊也好,那我们呢,只需要比如说把这些能力啊进行一些修改,把我们自己的一些业务啊融合进去。啊,那基本上这里面有一个数字啊,十分钟啊,我们之前可能说不可想象的,我们十分钟,比如说能跑起一套手机银行的基本的业务框架来说啊,这是不可能的啊,但是现在呢,就是说有了这一套平台能力的支撑以后呢,啊,我们基本上就是说很快的能让这个业务的流程跑起来。啊,那对于。我们具体的这个R具体的收益来讲啊,其实也是非常明确的啊,我们之前可能集成相关的能力,包括测试啊,能够比如说发布的上线啊,至少需要一个月啊,这个都可能是算的比较少的了,那所以说呢,就是使用了这一套平台能力以后呢,我们基本上比如说落地时间啊,马上可以减少一个月,我们的工期啊,就是直接减掉一个月啊。
137:21
那么最明显的呢,我们可以看一下啊,交行的这个能力提升啊,当然这里面也有他业务的一些改变啊,那整体的比如说用户的这种日活,他实际上上线了,就是大概一个多月以后啊,整体的日活上升了百百分之两百啊,不可想象的一个数字啊,因为他毕竟不是说我们互联网的那种TOC的业务啊,它实际上还是一个手机银行。那其他的呢,比如说在性能方面带来的基本上都是30%啊以上的一个能力的一个提升。呃,我们看一下他的第二方面的一个能力的一个改进啊,就是说呃,他用了腾讯的一个非常知名的一个产品啊,叫叉五浏览器内核。
138:02
啊,我们都知道,就是说实际上我们安卓的这个手机还是型号蛮复杂的,就是说尤其在国内来讲,它涉及到比如说不同的厂商啊,不同的比如说操对操作系统,安卓操作系统都做了一些定制化的一些修改,做了一些安全的一些限制,而且呢,这个屏幕的大小,分辨率实际上都是不一样的。啊,那这块呢,实际上对开发的影响是非常大的,因为我们做一个APP的话,它必须要适配你所有的这个手机型号,否则的话呢,它展示的最终的效果呢,就会带来一些差异啊,那这个适配的工作量我们要知道说我们先不说边边角角的一些手机型号啊,就是我们主流在用的实际上是有上千种的手机型号的。那可以想象说,我们的这个技术开发人员,如果要做这个上千种的手机型号的一个适配,那前期的投入工作量会有多大啊,那么这个X5浏览器呢,它其实主要是解决了这种兼容性适配的问题,就相当于呢,我们之前啊都要做这个兼容性适配,那腾讯呢,就是专门把这个东西抽象出来啊,腾讯做了一个适配,我们只需要使用这样一个浏览器的内核,我们就需要把前期的那些适配的工作量全部省掉,那这也是为什么说我们能够啊,刚才说能够,比如说把这个开发时间啊,降低一个月的啊这样一个基础。
139:24
那这里面呢,就是说呃,国内现在主流的其实呃有两家吧,一家是腾讯的叉五,另外一个是UC啊那腾讯的叉五呢,在整个安卓手机研发的市场占有率呢,实际上能够达到比如说80%以上。啊,这块也是为什么他比如说是我们的主流的一个技术的原因。那刚才讲的是开发阶段,那么开发完了以后呢,马上就面临的,比如说上线啊,上线了以后呢,就是说首先我们怎么样去发布,怎么样去做这个上线啊,那我们肯定说投,大家都觉得说,那我们投那个渠道,投应用市场就好了。
140:06
啊,但是呢,这里面会有一个问题,就是说上市场是有审核的啊,那整体的发布时间呢,基本上是按周来算啊,你想做一个变更,比如说啊,我们可能说出现了一个技术的bug,有可能会导致比如说止损或者用户信息的一个泄露,那怎么办呢?那我现在需要比如说马上去发版去修复,呃去修复,那么走移动市场呢,那实际上时间很长啊,那这里呢,比如说。Sorry。啊,比如说举了一个这个iOS的啊,那他可能说审核,而且还有审核不通过的一个情况,那这里的时间呢,是完全不可控的,那么我发布了以后呢,那比如说我修复完了以后,哪些用户修了,哪些没修,实际上我也不知道啊,那这里面呢,就是实际上那比如说这个风险呢,其实是完全不可控的。啊,但是呢,现在有了比如说这种动态化或者说智能化的这个发布模式以后啊,啊,其实我们是做的事情就很简单了啊,那比如说我们直接在我们自己的后台上去配置一个版本的一个修复包或者发布包啊,那实际上通过我们自己和用户的这种直通的通道啊,就可以比如说按天或者按小时级啊,进行一个这种呃,动态能力的一个修复,或者说一个发布啊,并且呢,这个过程中,比如说哪些用户修了没修,我们是完全可以看得到的啊。
141:28
另外呢,刚才讲了说我们要做千人千面,那这个千人千面呢,实际上那我们就需要精准的去识别用户。啊,那左边这些呢,实际上就是我们精准识别用户的一个手段啊,那比如说你在使用什么型号的手机啊,然后比如说你是哪个地区的,你使用的比如说是WiFi,你使用的是5G啊,你是中国移动的用户还是中国联通的用户。啊,然后比如说你之前的这个应用的版本啊,然后比如说在晚上去给你做这个能力的推送,还是什么样的时间做去做这个推送,所以说呢,通过这个一系列的啊,这种标签能力的一个组合啊,就可以实现精准的把我们的这个客群进行一个详细的一个区分。
142:12
啊,那比如说呃,我们现场肯定有大多有很多用呃中国移动手机号的这个客户啊,那比如说我们某个银行想跟移动去搞一个,比如说13已经上市了,就是比如说iPhone iPhone14啊上市的时候先搞一个联合促销的一个活动啊,那我们就可以通过这个能力啊,通过银行的APP精准的去给你做这个比如说营销活动的推送啊,就告诉你说啊,使用中国移动手机的,比如说原来是iPhone老型号的用户,你可以比如说通过这个活动拿到什么样特定的一个优惠啊,大幅的可以提高我们的营销的这个触达和这种最终的一个效果。呃,那么上线了以后呢,刚才说讲的是问题的修复啊,那可能是比如说偏后段,或者说后知后觉的一个东西,那么怎么样,比如说在用户的体验方面,我们能够通过数据,通过智能化的方式做一个先知先觉呢?啊,那这里面就是说在性能优化的方面啊,实际上这里面另外一个核心能力啊,就是我们的。
143:17
呃,我们叫QEPM啊,整体的性能监控。什么含义呢?就是说我们手机上呃,即使经过了比如说非常充分的一个测试啊,但是比如说也只能达到比说百分之九十九点几是不出问题的,那剩下的那个非常小的一个数,那一旦出问题了以后怎么办?啊,我们是等他出了问题以后,打我们的客服电话去处理这个客诉,还是说他一旦出现问题,或者说在没有出现问题,即将出现问题的时候,我们能够发现这个事情,而且能够比如说快速的有一个应对。啊,那这里面呢,实际上啊,就是这样一个核心的能力的手段。那我们遇到的问题有哪些啊,那比如说像崩溃,卡顿,耗电啊,大家也都看到,就是我们经常遇到的问题,对吧?啊,那实际上呢,就是通过这样一个相关的能力啊,我们能够比如说动态的去从手机用户那里去抓取相关的信息啊,这里有一什么什么故事呢,就是说好多之前的操作方式是什么样啊,就是说。
144:16
用户出了问题了以后,打我们的客服的电话啊,然后有的时候呢,可能会联系到我们的技术人员,再告诉用户说你按照我的指示你去点点点对吧,用户比如说本身操作这个东西已经很崩溃了啊,你还让他去点点点啊,结果会变得更加崩溃,整体就会导致用户的体验大幅的一个下滑,但现在呢,就是完全自动化的方式啊,客户的业务一旦出了问题以后,这个日志,或者说相关的这个技术对战信息啊,会直接。会直接传到我们,比如说业务的一个后台啊,研发人员呢,就会有相关的一个应对和一个手段啊,我们之前呢,在其中的一个,呃,外资的一个银行就遇到了相关的一个case啊,就是说呃,上线前期上线的时候也经过了非常完备的这个能力的测试啊,但上线了以后呢。
145:07
大部分人都没问题,只在行里的,比如说三个,就是超级VIP用户的手机上出现了一系列的问题啊。然后呃,这个问题发生了以后呢,就是马上就会上报到,就是我们研发人员的手里面,研发人员呢,就是马上做了一个应对啊,发现这个问题很严重啊,做了一个应对,做了一个改善。呃。就刚才讲了,说我们是有那个动态发布的能力,对吧?啊,那刚准备比如说做发版的时候,那三个超级VIP的这个投诉电话已经打到了他们富航的这个手机上了啊,所以说呢,就是说趁这个时机马上做了一个修复,给用户或者说给领导的体验呢,就是说哎,出了问题以后我马上能够解决啊,体验还是非常好的。啊,另外呢,就是说这里面还有补齐的一部分能力,就是对安全能力的一个提升啊,那我们知道说啊,这里有一句话,就是你在一个比如说被root了或者被破解的手机里,然后你敢转账吗?啊但实际上我们大部分用户其实都不知道这个事情的,在做这个转账的这个工作。
146:09
啊,那实际上呢,就是说,呃,刚才我们讲了也有很多安全的能力啊,那这里的安全呢,实际上就是强化了对这样一个能力的防护,比如说对于我们国密算法的一个支持啊,这种金融的安全键盘防截屏,防录屏啊等等相关的能力。好,那这个呢,就是第四部分,今天我们讲的一个核心啊,就是说我们怎么样去通过数据的方式,智能化的方式去带动我们的一个业务的一个增长啊,那我们先看一个对比啊,就这里面我们通用的这个数据平台,和我们比如说现在主流的这种智能化的这个业务增长平台的一个能力的区别。首先呢,我们之前呢,也有数据分析啊,也有大数据,也有数数仓啊,但是我们能做的事情呢,那可能是基于比如说这种跑批啊或什么样的方式啊去做,比如说小时级甚至T加一的啊,这个能这个模型的一个计算。
147:05
但现在呢,比如说有了我们这个整体的业务增长平台呢,我们可以实现秒级,那比如说我们运营一个活动,我想马上看到它的效果啊,那实际上呢,就通过这种,比如说。呃,实时的分析,那我就可以看马上看到比如说这种AB啊,实验的一个效果啊,或者说我的用户的一个增长啊等等相关的一些信息啊,那另外呢,就是围绕着用户和业务增长呢,其实我们可以自己定义很多我们自己的业务模型啊,那通过一个平台的能力,然后加上辅助我们的这个行业业务的这个no号啊,整体带来比如说业务的一个能力的一个变化。OK,那这里呢,实际上是我们整个业务增长平台的,呃,一个业务流程模型。啊,那首先呢,比如说我们的渠道端啊,IOS安卓小程序等等一些能力啊,那通过比如说我们的这个。数据的采集,然后形成比如说用户的画像,然后采包采集,包括刚才的这个用户的行为轨迹啊,动线轨迹啊,进行比如说用户的分群啊,最终呢,通过比如说我们的这个分流实验,然后我们的用户的分群啊,形成这AB客群的一个对比啊,最后呢,帮助我们比如说完成产品能力的这个优化迭代,运营效果的一个能力的一个提升啊,最终呢,比如说增加获客的效率啊等等。
148:30
呃,这里呢,是我们实际的一个运营效果啊,就是这里可能看不太清啊,但这是我们实际的一个业务运行的一个情况啊,那就是说所有的用户的行为轨迹,那最左边呢,肯定是入口啊,那下面呢,就是逐级下沉,一直到比如说最后。啊,业务的一个终结啊,这里呢,其实也有一个小故事,那就是说我们怎么样去通过这种用户的行为动线轨迹去发现一个业务的问题啊,还是拿具体的这个案例来讲啊,就是说我们前段时间啊,也给一个金融客户啊去部署,去上线了这样一套系统。
149:05
刚上线的时候呢,大家其实没想说用这套平台去解决问题,只是说我啊通过分析啊,看看比如说后模型啊,然后看看怎么样去再来增长啊,但是呢,我们确实通过这个东西发现了一个问题,那这个问题是什么呢?呃,他有一个权益兑换电商的类似的一个业务啊,正常进来以后呢,发现说正常的用户登录啊,一直到比如说前面的营销引流都是对的,但是呢,他会到这种节点啊,像比如说这种这种。这种绿色的节点啊,甚至说比如这种节点,这种节点大家能看出来是什么吗?就是说前面进的流量很多啊,但是出去的流量很少。啊,也就是说你把用户的浏览,或者用户的这个引流已经到你当前的这个业务页面了啊,但是呢,它没有形成下一步的一个动作。啊,那为什么呢?就是我们当时针对于这个业务做了一个分析啊。它是一个商品详情的一个页面啊,是一个手机啊,兑换一个手机啊,前面呢,其实是一系列的营销活动啊,用户已经到这里了。
150:07
但是呢,我们发现说没有形成购买,或者没有形成兑换啊,最后做了一个分析啊,就是这个前面的营销活动力度是够的,但是呢,这个商品的选品出了问题,呃,也是说他的这个型号颜色,还有前面给的优惠券幅度不够,那最终呢,没有形成用户再往下一步的一个流动。啊,后面呢,就是说我们发现这个问题以后呢,和他们运营团队做了一个反馈,他们马上呢就对这个运营活动做了一个调整啊调整了以后呢,那就把这个活动整体的进行打通了,然后变成了一个像上面这样啊,一个特别核心特别大的一个业务,整体的兑换量非常高啊,因为这点呢,就是说。呃,也得到了他们领导的一个表扬啊,效果还是非常明显的啊,这个对我们来说,其实又包括客户的初衷,其实也不是这点,我们也搂套打肚子啊,通过这个核心的能力,确实发现了一些,并解决了一些问题。
151:03
呃,这里面呢,其实就是跟刚才比如说用户的行为的排查是相关的了啊,那我们就说可以知道用户在我们的一个业务中啊,具体是怎么操作的,比如说他打开了哪些页面啊,做了哪些,比如说点击啊,或者说滑动啊,什么样相关的操作停留了多长时间啊等等一些相关的能力啊,帮助我们进一步就是精准的,比如说定位问题,或分析用户的这个使用习惯。呃,我们看一下整体的这个运营的大屏啊,就是通过刚才的系统能力呢,实际上我们是可以动态生成啊这样一个比如说运营大屏的能力的啊,那这个能力呢,实际上腾讯内部很多的关键业务也都在用啊,比如说QQ音乐啊,比如说王者荣耀啊,它实际上每个业务都是有这样一块大屏的啊,那比如说我们可以同样我们自己也可以有这样一个大屏。啊,那比如说整体的这个用户的活跃度啊,整体的在线人数啊,整体的比如说这种啊,这种曲线图等等一些相关的一些分布的一些能力,我们可以清晰的一目了然,就是知道我们整体业务的运行情况啊,之前呢,我们可能说呃,对业务的运行情况可能是一塌糊涂吧,啊但现在比如说无论是去做汇报也好,还是比如说做监控也好啊,实际上我们对这个业务的运行是非常清晰的。
152:25
啊OK,那这里面依赖的就是核心能力呢,我们可以看到就是说无论是在开发阶段,然后比如说在体验提升啊,在这种场景化啊,在这种安全的能力啊,实际上是全方位的一个中台的这样一个能力的一个定位。啊,大家可以记一下,就是这套平台的名字,就是腾讯啊移动金融啊这样一套平台啊,后面大家如果有希望去做深入了解的话啊,可以在我们的官网或者说相关的渠道去索取相关的一些材料。啊,今天的分享就这么多,看看大家有没有有没有什么想问的。
153:08
平台是开源的吗?呃,是这样,就是说因为他是专注于服务于我们金融行业的,呃呃,他没有时间开源,它是一个私有化的一套平台,私有化的平台是吧?对。哦,那这个学习成本高吗?呃,门槛比较低,咱们还拿就是刚才交行的这个case来举例子啊,交行业务其实蛮复杂的,呃,但是他100多个人团队只用了30多天就完成了,比如说老版本到新版本的能力的迭代啊,花了比如三个月就实现了,就是4.0~5.0版本的一个上线,所以说效率是非常高的,那提供的这些功能的话,都是可插拔的吗?还是直接就是一套都在里边啊?呃,是可插拔的,可插拔的是吧?对,它有一个很小的一个内核,基于这个内核的基础之上,其他能力都是动态插拔上去,是基于那个插五内核吗?呃,不是,是基于整个一个大的开发框架,嗯。
154:03
叉五是一个单独的能力,它可以动态的加载。呃,我有个问题,就是前面那个讲到那个银行的时候,咱们都知道银行系统的那个实名制已经过了20年了,然后到现在为止呢,就是无论是个人还是企业,大家都知道分开了,是,但是事实操作的时候还有些问题。我的问题是什么呢?就是说呃,银行系统是这么长时间了,在你们在做这个金融这些工作的时候呢,呃,关于微信的这个。个人和企业,你们在后台的处理当中,呃,这个有没有办法,呃,给政府提供一个就是说。直接的技术性的一个资助,就是作为政府来讲,希望要了解到这个账户是个人还是企业的。呃,我不知道表述清楚了没有,因为现在呃,接到的这个信息,就是近几年来走微信的这个洗钱非常严重。
155:09
过去走走银行,现在是走微信或者是支付宝,所以我就想,因为今天正好你来了,呃,我就想问这个问题,我们能不能够有一个就是定性的,定时的。答复。OK啊呃,您这个问题呢,可能涉及的层面会会稍微多一点啊对,因为时间的关系,我就想先提出来,如果要是有可能的话,我们会有专人来跟你。OKOK,因为这个涉及到几个省的数据上来,就是这么个结果,现在是一个很难的难题,对,是的,因为这里面涉及到很多用户隐私,尤其今年对用户隐私监管还是比较严的,这个呃,咱们会后那个单独交流吧,可以可以OK。啊老师,我是想问一下哈,就是说今天呃,了解和认识对吧,我总感觉都是有限的,这个如果可能深入的了解的话,我们怎么个机会呢。
156:09
啊,你联系一下我们那个会务组,然后他有我们的比如直接的通道,后面比如说我们微信群啊,或者说其他方式,先下一个对接,这是一个问题,第二个问题就是说我们经常和政府对接啊,就是和政府对接,这个就是地方政府对接,如果他们要是希望就是你们给支持的话,呃,应该是通过哪个渠道来做了。呃,也是一样,就是因为我们是基本上是线下服务的方式,嗯,对,然后有相关的团队,比如说无论是销售啊,架构师啊,还是比如说我们产研团队,服务团队都有相关的资源。好,谢谢。
157:01
诶,我就是想问一下,咱们今天那个那个胡总监讲的都是那个咱们金融的,咱们其他行业,咱们现在有技术底座吗?呃,是这样,就是说因为我们在呃金融方面去专项做了一个能力的沉淀啊,包括一些合规的一些处理,包括一些安全,包括呃一些场景的一些匹配啊,所以说这套平台呢,就是目前还是以金融的客户需求为主啊,但是呢,我们也是通过比如说我们其他的一些横向的产品啊,比如说千帆啊,比如说V大一些产品,像其他的行业做一些渗透,比如说政府教育呃文旅等等行业啊,其实都可以复用这套平台能力的。嗯,就是现在就是只有这个金融的现要是其他的行业在复用,在在在在开发是吧?呃,是复用的意思就是说可以直接把这个东西拿过去用啊,因为呢,就说这里面金融行业的要求目前来看是最高的,因为它涉及到钱,涉及到安全啊,其他行业呢,会稍微好一点,所以说呢,就是说我们刚才讲了这套平台是解耦的,是组件化了啊,就是说其他行业可能用不到这么多的能力,他会直接比如说把一些能力拿过去直接用就好了。
158:14
嗯,好的,谢谢。哎,胡总你好,呃是这样的,刚才因为也在提到就是这个个人隐私的问题,呃,但是呢,在前面的话就是呃对于银行来讲的话,他又想知道这个用户的话,他的各种应用的这种习惯,刚才包括说在使用的就是进哪些页面啊,应用多少时长啊等等啊,然后这个隐私,然后和这个合规这边就是我不知道从我们这边技术呃解决这边是如何来做一个平衡的,包括上一讲的时候,其实也在提到说我必须要拿到当当什什么东西,然后到我们的供呃到我们的云上,然后进行认证才进行分解是什么样,就还提到说呃可能银行不愿意给,然后但是必须要拿到,我记得上一个奖是专门来提这个问题,我们对这块的话,咱们这边是如何考虑的和平衡的,嗯,多谢。
159:10
呃,这里呢,其实是一个红线啊,就是国家的这个规定我们是不能僭越的啊,就所以说用户的隐私,我们必须通过拿到用户的授权,在端上我们才能去获取相关的信息,而且这个信息的这个转发储存也是有严格的要求的啊,但是对于我们金融客户来讲,基本上好多很,呃,应该是全部吧,用户其实都是要经过实名认证的,而且在我们行内呢,实际上是掌握他很多这种核心的信息的。啊,那对于比如说行业的监管来讲呢,他比如说他是不出行的啊,那这个对我们这个流程是没有问题的,第二呢,就是刚才讲到的说这个数据的采集能力,因为它只是在我们银行自己的APP之内采集的,是你用户自己在自己业务中的这个行为啊,目前呢,还不太涉及到说用户的个人隐私的相关的信息啊,这是第二层面,第三层面呢,那相当于是这个采集的这个行为,这个动作同样也是经过用户的一个授权的啊,所以说三方面结合到一起呢,就是我们在整体的流程上,目前肯定是合规的,是没有问题的,那至于比如说如何展开隐私计算呢,那实际上就是呃,联邦隐私计算的方式呢,那就是说我们看双方的,比如说开放程度啊,能做到什么样程度,那我们通过比如说联邦一个中间的,呃,一个媒介的方式来实现这个能力的对接啊,那当然这个对接啊,肯定不是比如说单个用户的信息点对点的,那应该比如说是比如说群体对群体这样一个维度。
160:48
好的,感谢胡总的精彩分享,让我们再次把掌声送给胡宏伟老师好,各位来宾朋友,至此我们今天的活动已经全部结束了,很高兴能够和大家共同度过这样一个愉快而又美好的下午时光,能够和各位共同学习,共襄盛举,也非常感谢大家的支持,也很高兴看到各位都有了属于自己的学习和收获。现在呢,再提醒一下在场的所有来宾朋友,您可以凭借问卷的专属码到门外找到我们的工作人员去领取属于您的精美礼品,同样还没有填写问卷的伙伴们可以抓紧时间完成我们的问卷填写,再次感谢大家的参与,我们的Tao号技术巡回精彩活动将持续进行,期待各位的关注,也期待未来腾讯云能够和诸位来宾朋友们共同创造精彩,感谢各位的参与和支持,祝大家周末愉快,谢谢各位。
我来说两句