张浩:日调度万亿次,微服务框架TSF大规模应用

演讲者:张浩 腾讯云中间件产品负责人

背景:众多开发者中,一定经历类似的甜蜜烦恼,就是当线上业务规模越来越大,系统分支发展越来越多的时候,初期上线的成就感很快就会被系统间数据不兼容、不通畅,折磨得精疲力尽,每次模块更新都是牵一发而动全身。腾讯云微服务框架TSF就可以为大家解决数据孤岛以及重复造轮子的问题,提供了简洁易用的代码入口,将复杂的底层网络、服务器部署接口化,使开发者更易用。

本文整理自腾讯云中间件产品负责人张浩在腾讯云云+未来峰会上的分享内容。

张浩:大家下午好!我是来自腾讯云中间件产品负责人,我叫张浩。很高兴今天能来到广州这样一个工业、金融、制造等非常发达的城市,和大家分享腾讯云微服务的一些实践。

刚刚前一个主题的负责人邹辉是腾讯云 PaaS 产品总监,可能已经讲了很多DevOps和微服务结合的理论和落地的工具,我是接着详细讲讲腾讯云,除了容器、DevOps工具以外,在这以上我们抽象出来的一套叫做TSF的平台能够帮助开发者解决什么问题。

首先就微服务这个概念,我自己的理解,把它简单用一句话来讲,传统的冗余、耦合的IT架构,我通过一些互联网手段和工具,把它解耦成为单独的耦合的微服务,这样开发团队可以拥有独立的技术栈,快速迭代做一些小步快跑和升级,这样很好的应和互联网时代,做一些业务上的创新。但是往往运营总监下决心做微服务并不是最艰难的,往往是我们做了决定之后,可能团队整个公司的价值观还有很多领域跟不上,比如说我们采购了非常多的像传统的硬件和设备,买一些总线服务,比如说工业开发者尝试用完全开源的产品搭建自己的生态系统,发现有很多线上的问题解决不了。腾讯云推出了TFS的微服务平台,它的目标是类似于乐高积木式的工具和平台,去协助我们所有的开发者更加聚焦业务的开发,让大家的精力聚焦在做业务逻辑的开发和上线,而不是去造轮子开发工具。

TFS的能力介绍我分成两部分来讲,一部分是面向开发者的能力,一部分是面向运维。

先讲开发者的能力,腾讯是用一种非常开放包容的心态和社区结合,一起参与这个事情,腾讯目前在参与比较深入的是在spring Cloud的微服务框架里,在场的开发者我来之前看一下,有很多java的开发者,对这个社区应该是非常熟悉的,腾讯在spring cloud有非常深入的迭代和对这个技术的贡献,最大的一个特性就是一个spring cloud的商业版,解决了社区里面无法解决的问题。其次,在TFS这个平台上,像一些java的开发者,用spring做开发的话,在兼顾平台过程中也是非常的便利,非常方便,腾讯云这一块还整合了腾讯内部的一些中间件的产品,包括消息队列、API网关、等一些中间层服务,让开发者在微服务开发过程中不需要去选择复杂的云的API,直接在云服务器来的时候拉取运用,这是我们在这方面的实践。还有一个词很火叫Service mesh,可称为微服务的3.0时代。

腾讯将在6月份左右推出我们自己的Beta版本,Service mesh在一些异构系统,在多语言开发者的情况下,能让不同的开发者更加聚焦自己的业务逻辑,把服务之间互相访问、发现复测、覆盖均衡、降级服务等等都交给服务网格去处理,会更加聚焦。

第二部分的能力,我们讲微服务,我们讲服务框架,腾讯基于spring提出了新版本,在这个注册中心加入了自研算法,我们做到在深圳和广州的双城机房里可以做愈合,一旦一个机房中心挂掉了,我们可以跨机房做一个服务发现,注册和访问。我们的服务框架在协议的支持方面也有比较丰富的支持,有基于RPC的高性能框架,传统设备私有协议也会兼容。

面向开发者的第三部分的能力,腾讯云提供非常全面的从逻辑到物理上的资源隔离、生产测试、预发布能力。作为现场的开发者或者架构师,在做微服务设计过程中,第一部分是要怎么样划分基础资源的计算、网络、环境的资源问题,第一步要把我们购买的物理机、虚拟机等等服务器资源要利用起来,同时在构建DevOps的测试构建过程中,不能出现一些服务抢占、资源抢占甚至是更严重的事故。所以基于这个空间,我们提供了很好的生态环境和云测试环境的隔离能力。

TSF这个平台是和tencent hub是无缝连接的。接下来第四部分是我面向开发者要介绍的是分布式事务,这个事情在这几年会得到越来越大的关注,怎么理解呢?现在有非常多的互联网业务是跨公司的,我上周才刚见了客户中石化,我去加油站加油,四百块钱一箱油加了之后要买单,经常会出现四百块钱的结算是首先在加油站的支付网关有优惠券做减免,其次在微信支付的网关做一次结算,最后微信支付的背后,关联了农行的信用卡,我要做第二次的折后结算,大家就会发现,我作为开发者要满足这种前端运营团队给我提的复杂运营活动,我在IT层面要做非常复杂的一次性处理,怎么解决?特别是这种中石化,微信支付和农行的结算网关的数据库都不在一起,是跨公司,腾讯基于TCC的分布式事务的规范,推出了自主知识产权的分布式事务平台,去满足这种非常复杂的跨公司、跨部门的事务管理能力。

接下来的能力是讲讲微服务的网关服务。这个公安网关也非常重要,经常我们的微服务开发者会有几个常见的诉求,第一个我可能是一个大的央企,下面有各个子公司,A部门和B部门互相的业务调用,就会发现是跨机房的,可能是跨网络的,怎么样把我后端的服务安全可靠的暴露出去,让我的合作团队进行调用,这是第一个层次。第二个层次,我怎么样定义一个API的契约,从上至下的开发团队怎么定义好API的规范,微服务的网关是能做好这些事情,能让开发者在做服务调用过程中,无论是网络以内的还是跨网的都可以做到一致。

在公网关以外我们还做了提供服务总线的能力,在做微服务过程中,其实有好大一部分的客户群体是来自于传统客户,比如像政府、烟草、海关等等客户,他们会有这么一些特殊需求,他需要你的网关能力增加一层逻辑能力,比如说最近广东省政府省厅的项目,他需要一些敏感接口,在调用过程中可能要增加一些逻辑判断,增加一些线下审核、流程审核,通过之后才对外开放的能力。腾讯云在面向传统市场我们也做了非常多的努力,在网关这一块增加了逻辑判断。以及网关上调用的方式,我们是以消息队列的方式,一对一,一对多的消息发送方式,去满足服务调用的场景。

刚刚讲了很多面向开发者的能力,我们现在讲讲面向运维的能力。TSF有一个非常强大的,让我非常自豪的体系叫TSF的生命管理周期平台,第一是解决开发者把微服务的配置做一个集中管理,这个配置在微服务里非常重要,腾讯在每年也有像双十一游戏业务,会有大量的弹性伸缩的场景,业务波动性非常大,这样运维的同学经常要做预案,比如说我可能要做一些接入层、逻辑层,后台在遇到大流量的时候要做降级服务,避免具体的某个节点的热点访问,导致整个后端系统全线瘫痪,我会做这个预案,当触发的时候我可以做配置变更来达到这些效果。而且在一定程度上能做到不需要重启计算节点。第二部分能力,我们有能力在分钟级别里面快速启动上千个服务节点,来应对突发的流量。

面向运维的同学,我们有一套非常完善的全链路智能的平台,讲微服务最抗拒的可能是运维的负责人,为什么?你看我们的运维同学是怎么解决问题的,最简单的,出现问题登到一台机器上看端口,哪里有问题解决哪里的,一查就完事。微服务通常是一个中间经历了数十个环节,我可能看到前端的APP点一个按纽,到底哪里出现问题就非常痛苦,怎么定位非常痛苦,现在传统的做法是我在每个节点上抓一些日志下来来处理,这个时间是非常长的。腾讯TSF这个平台做了一个事情,我们参考了谷歌的分布式日志论文,我们会打入一个 trace id,我们会把服务节点上散乱的集合在一起,这样可以以事件的方式去看具体某一个事件,可以清晰的排查。这一块的能力是我们面向运维同学做的友好的能力。

我不再赘述里面的功能,接下来五分钟时间我跟大家讲讲微服务平台解决了哪些问题,落地了哪些案例,带来哪些价值。首先我讲讲公司财付通的案例,财付通有一个交易订单层,这东西是支撑腾讯包括手机QQ以及微信支付一些像红包等等热门应用的核心逻辑层,像风控、订单处理都在里面,TSF平台给它带来什么价值?

首先基于TSF平台做了一个微服务化,通过我们运维平台能力,协助财付通的负责人去梳理整个IT架构,比如说我可以把非关键的调用路径异步化,除夕那天晚上,A给B发红包,12点的时候会出现系统繁忙,钱是发出去了,但是余额的更新不是实时的,这里面做了一个逻辑,把余额更新这个点他认为是可以作为一个降级处理,你余额更新慢一点没关系,只要你的钱能发出去就好了,大家都很开心。所以通过这一点让非关键路径做了异步化,让财付通的吞吐性能得到很大提升。第二,财付通的弹性是非常大的,如何保证一些大型活动,比如双十一活动来临的时候,能够及时扩缩容,平时也能节省一些闲置的服务器呢?我们的生命周期管理平台就很好的管理。

第二个案例我想讲讲永辉超市,跟腾讯是深入合作伙伴。腾讯开始跟一些零售企业做新零售,新零售带来什么价值?无非是从人货场这三个地方来看。人的话,线上线下支付体验能不能得到提升,场地的话作为零售的商家,它的管理,门店效率能不能提升,还有货物,商家能不能做到智能选品,选择的商品能让消费者喜欢,怎么样降低库存,提升流转。在座所有开发者能感受到的是永辉超市推出了像人脸支付这种非常新颖的APP业务方式,或者是像一些生鲜,买肉买鱼可以给你送到家这种新颖的零售应用。但是做到这一点是非常非常不容易的,腾讯跟永辉超市在过去的半年时间,整合成了一个攻坚的云的建设团队,从底层的IaaS开始,一步一步搭建,中间这一层非常关键,叫做零售业务中台,这个中台承载了永辉超市在IT化里面最关键的逻辑,比如说它的一些对商品质量的管理、支付的管理,所有的这些大的核心平台都进行了微服务的改造。做微服务的最大价值就是让团队更加敏捷,为什么要敏捷?就是因为要支撑前端的项目,人脸识别、生鲜到家,所有的应用会给后端的中台提非常多IT的需求,现在能达到的点是两星期能发一个版本,在场可能互联网开发者可能会觉得15天还可以,不是很了不起,但是传统领域15天一个版本确实是惊人的速度,这是腾讯云给永辉超市带来的最大价值。

最后一个案例是银行,甲方不允许我把姓名透露出来,所以我没有贴LOGO,这是腾讯云技术团队跟金融团队以及这家银行做的网贷业务,有点像微信的微粒贷,通过智能手段快速审批个人信用情况,快速把钱给你放款的业务。这里我想强调,我不会讲网贷业务的具体情况,我会讲做微服务很多过程中会遇到的点,甲方会问我,你们干DevOps,干服务,是不是要把原来的都干掉,其实并不是这样,其实并不会有一个项目把老的彻底重构,常见的是新的业务或者是一些带互联网属性的业务,我们会尝试有微服务的平台去承载,去跑起来。老的业务系统怎么办呢?第一个问题要解决的是通信的问题,腾讯云这边的网关能力,我们会做非常多传统硬件兼容,我们去做这些协议的兼容,通过兼容之后会把原来的大的硬件作为大的微服务的子体系,把它可以访问到我们的服务框架,服务到注册中心,这样可以做非常轻力度的服务治理,至少保证你的业务是可以访问的。

当新的系统和老的系统有一个打通之后,可以互访之后,第二阶段就做更进一步的重构,协助做落地细颗粒度的服务治理,service mesh能力的点,我们把原来的能力通过service mesh的方式做重构,这样从老到新有一个非常好的过渡过程。最后这些是我们平台在面向一些传统行业,比如像工业、零售、能源、交通领域有非常多的落地实践,我也希望今天在场的合作伙伴能一起跟我们把微服务这件事做好,谢谢大家。

日调度万亿次,腾讯TSF微服务平台最佳实践.pptx

请点击下方获取PPT文档

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏罗超频道

自媒体后台哪家强?最好不过一键分发

前几天在科技媒体记者群“山寨发布会”看到有道云笔记在宣传其刚上线的“语音速记”功能,受到群里记者小伙伴的欢迎。有人说再也不需要录音笔了,有人说以后再也不用在现场...

63170
来自专栏杨建荣的学习笔记

对待运维平台,要有「疯狗」一样的执行效率

从去年发起里程碑来做自动化平台的事情到现在,已经几个月过去了。在这段时间里,其实我的心态是很焦灼的。 其实从很多维度来说,做运维平台的事情,从不明朗的需求和定位...

37050
来自专栏Debian社区

运维的未来:云服务兴起,运维人员会“下岗”吗?

本文作者 Tyler Treat 是一名软件工程师,他认为运维的未来从很多方面来说都跟质量保证(QA)的未来走向相似。未来,运维要使开发者能够通过工具、自动化和...

19440
来自专栏云市场·精选汇

小程序运营干货分享,如何推广微信小程序?

小程序以 “无需下载安装,用完即走”的独一无二优势就引起了业界无数关注,腾讯对小程序的重视,未来小程序价值将会增几倍,微信中蕴藏着丰富的流量机会,包括微信搜索、...

16000
来自专栏腾讯云数据库(TencentDB)

一篇文章了解腾讯云数据库TencentDB

注:本文摘自2018年11月22日腾讯云数据库CynosDB新品发布会的演讲实录。随着互联网信息的发展,大家也对云这个词汇也不是特别陌生了,作为全球首选的云服务...

39460
来自专栏安智客

从苹果手机安全设计聊一聊安全手机

安全手机从功能上讲是指对手机特定资源进行加密保护,具体说就是比如通话加密、短信加密、文件加密等。 从软件的系统层次上讲安全手机的实现需依赖于从底层到上层的各个层...

30780
来自专栏智能计算时代

11个物联网消息传递的神话

由于实时数据处理和交付的问题,许多应用开发神话涌现在企业物联网市场。 这篇文章看起来流行那些神话气球。 每个人都喜欢一个好的神话。这使娱乐餐桌谈话。但是有时神话...

38240
来自专栏ytkah

微信即将支持App直接打开小程序

51470
来自专栏BestSDK

系统剖析“夺宝类”产品设计方案,他们都有一个重要共同点

一、夺宝产品形态 夺宝产品和其他产品一样,有H5站、PC站、APP应用三种形态,三种形态的应用情景不尽相同。 ? 夺宝H5站主要应用于以下情况中: 1)最小成本...

38970
来自专栏腾讯数据中心

腾讯内容的非主流运营商覆盖(1)

腾讯CDN平台 中小运营商节点建设 导语:腾讯提供多种多样的互联网内容服务,比如大家熟知的QQ、微信、新闻、游戏、社区、视频、地图等,如何让这些优质的内容直达最...

32450

扫码关注云+社区

领取腾讯云代金券