首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

国产金融分布式数据库金融核心场景的探索与实践

作者 | 贾瓅园 金融行业作为国民经济的命脉和枢纽,对数据库有着极为严苛的要求。近年来,国产金融分布式数据库迈上了发展的快车道,在多个领域不断取得新突破。...今天为大家带来腾讯云金融行业架构专家贾瓅园老师在金融架构方面的分享,主题为“国产金融分布式数据库金融核心场景的探索实践”。...3 金融分布式数据库架构探索 根据上述分析与要求,结合分布式数据库金融领域的挑战与痛点,我们在金融分布式架构体系方面进行了探索。...完善金融整体解决方案,我们必须要在满足金融监管要求的同时,满足金融客户各类建设特点,以抽象思路和通用化的设计回归到统一的数据库产品。 深入金融业务场景探索。 打磨高可用和稳定性。...创新金融 DB SaaS 服务。以前述提及的数据迁移体系、运维模式、建设模式为例,它能否对未来的金融厂商、客户提供专业的数据库金融场景服务,这些都需要我们不断地去创新和探索。

1.3K30

金融分布式数据库架构设计要点

行业背景 银行业从最初的手工记账到会计电算化,到金融电子化,再到现在的金融科技,可以看到金融与科技的结合越来越紧密,人工智能、大数据、物联网、区块链等新兴技术改变了金融的交易方式,为金融行业的创新前行提供了源源不断的动力...同时互联网金融的兴起是一把双刃剑,带来了机遇的同时也带来了挑战。普惠金融使得金融的门槛降低,更多的普通大众参与到金融活动中,这让金融信息系统承受了越来越大的压力。...随着数据库瓶颈的凸显,进行分布式改造迫在眉睫。 数据库分布式改造的途径 数据库进行分布式改造主要有三种途径:分布式访问客户端、分布式访问中间件、分布式数据库。...分布式数据库总体架构 其实当前市面上的分布式数据库总体架构都是类似的,由必不可缺的三个组件组成:接入节点、数据节点、全局事务管理器。...分布式数据库如何实现PITR 数据库的PITR一般都是通过一个基础备份加上持续不间断的wal归档来做到的,这个基础备份可以是在线的,因为它并不需要数据库当时处于一致性状态,一致性可以通过replay redo

2.2K61
您找到你想要的搜索结果了吗?
是的
没有找到

Kube-OVN:大型银行技术团队推荐金融云原生网络方案

近日,由TWT社区主办的2021容器云职业技能大赛团队赛的冠军作品:《适用于大中型银行的云原生技术体系建设方案》中,Kube-OVN成为银行技术团队推荐金融云原生网络最佳实践。...本文部分节选自获奖作品中的网络方案叙述,从打造金融容器云基建的出发点,为广大金融技术团队提供网络部分改造的路径参考。...兴业数金 系统运维工程师、林鑫 兴业数金 容器云工程师、王嵩阳 兴业银行 质量中心工程 转载来源:本文部分节选自“twt企业IT社区”公众号《适用于大中型银行的云原生技术体系建设方案》 大中型银行需要打造金融容器云基建...总结 作为一款金融云原生网络方案,Kube-OVN以成熟的OVS用作容器网络底座,通过将OpenStack领域成熟的网络功能平移到Kubernetes,融合了安全强化、智能运维、硬件加速等多方面的特性...在性能层面,Kube-OVN也具备金融优异表现。通过Kube-OVN调优,可以实现和现有容器网络有同等流量性能。

1.1K30

金融科技&大数据产品推荐金融魔方 ---专业的金融SaaS服务平台

金融牌照合规的基础上,链接银行、保险等金融机构核心业务系统,将合规的金融账户、金融产品、交易支付系统、风控、清结算系统等复杂功能集成为一套成熟、合规、可一键接入的金融SDK 官网 | www.datayuan.cn...第二,简化的账户结算 应用银行接口批量完成分账清算,实现系统账户间复杂的资金流转,账户分层管理、立体架构,账户资金独立运转,安全可靠。...第三,高效的对接方式 企业钱包以SDK嵌入移动端,并提供所有接口形式对接,通过业务层整合银行端接口,提高对接服务效率,秒响应,相比之银企直联、银企互联,人工成本、资金成本低。...第三,增值的企业服务,依托银行账户链接金融产品服务,提供企业理财、贷款、投融资服务和个人理财、贷款等服务。...核心价值点如下: 1) 即插即用的工具价值:链接合规金融机构,提升资金处理效率 以银行存管作为账户构建基础,为企业提供完善的账户服务体系,从交易支付入金到银行存管户,以银行鉴权安全为前提,按业务指令,

5.3K60

浅谈工业推荐系统

浅谈工业推荐系统 我于2020年8月受“第一届工业推荐系统研讨会”的邀请,做了题为“工业推荐系统最新的挑战和发展”的主题演讲。...工业推荐系统及其生态系统 ---- 工业推荐系统和学术研究中的推荐系统最大的一个区别,也是最容易忽视的一个区别在于,前者往往是某个产品中的一个环节,甚至有时候是一个很小的环节。...工业推荐系统和产品长期目标的关系 ---- 我们前面提到了工业推荐系统往往是庞大产品体系中的一个环节。而整个产品体系又是为公司的产品以及商业策略服务而最终获得商业和社会价值。...工业推荐系统作为复杂的软件系统 ---- 这里要提到的最后一个工业推荐系统的特性,也是推荐系统的学术研究往往会完全忽视的,那就是工业推荐系统往往是一个复杂的软件系统。...从软件系统的角度来看,工业推荐系统和推荐系统研究有着比较大的差别。

64930

2022 深圳国际金融科技大赛(FinTechathon)正式启航:打造世界顶尖赛事,全面推动金融科技创新!| Q推荐

金融科技(FinTech)是金融与科技的融合产物,目前已成为全球金融行业创新和竞争的制高点与主战场。业界一致认为,金融科技将在未来数年迎来战略发展机遇期,行业可能出现颠覆的科技创新改变金融生态。...为此,深圳市地方金融监督管理局在今年发布的《深圳市扶持金融科技发展若干措施》中明确表示,"从 2022 年起,深圳市人民政府将每年举办金融科技节,期间将举办金融科技大赛、金融科技论坛和金融科技展。"...这是一场面向金融科技前沿领域,专为学生团队打造的世界竞赛。...基于深圳市当下完整良好的金融科技生态,大赛倾力打造人工智能、区块链、金融产品经理三大赛道,多维挖掘高校学生的优秀金融科技创新成果,启思高校学生输出贴近金融科技企业需求的技术及产品解决方案。...值得一提的是,为贯彻落实深圳市金融科技节指导方针、营造深圳市良好的金融科技生态环境,在大赛决赛及颁奖环节还将举办“金融科技高校论坛”活动,特邀各位专家将围绕“金融科技”展开深度话题分享、圆桌对话,为金融科技领域的发展提供方法论与新思路

32910

亿客户和PB级数据规模的金融数据库实战历程

当时,腾讯有一款金融的分布式数据库产品TDSQL,其业务场景和对数据库的可靠性要求,和银行场景非常类似。...微众银行和腾讯TDSQL团队合作,共同将TDSQL打造为适合银行核心场景使用的金融分布式数据库产品,并将TDSQL用于微众银行的核心系统数据库。本文是对整个实践历程的总结。...从过往经验来看,当时除了oracle等少数传统的商业数据库,能满足金融银行场景的数据库产品并不多。...1.TDSQL架构介绍 TDSQL是基于MySQL/Mariadb社区版本打造的一款金融分布式数据库集群方案。...微众银行通过实践证明,TDSQL作为金融的核心数据库,是完全胜任的。

2.1K20

分布式数据库金融核心场景的落地实践 | Q推荐

金融行业作为国民经济的命脉和枢纽,对底层数据库的能力要求在不断提高。具有高性能、可扩展、高可用等特性的分布式数据库金融行业数字化转型的重要支撑。...2 《金融分布式数据库探索架构》 贾瓅园,腾讯云数据库行业架构专家 分布式数据库是基于业务与技术的需求和发展以及监管要求下,解决当下以及未来趋势发展等问题,更优更稳定地满足金融银行业发展的选择。...面对此背景和发展的时代,我们首先要满足高可用及双中心以上容灾,这是银行或金融业对技术架构最基本的要求,在此基础之上要满足交易高频高效、低延迟的金融场景处理要求,再衍生到高吞吐能力。...基于多年的行业架构经验,贾瓅园从金融数据库实施角度出发,重点介绍了工作评估中的几个重要维度供参考。在实际应用过程中,应结合自身业务特点来评估维度的优先。...结合银行业的特点,孙亮为大家分享了几点在金融应用中常见诉求。金融行业的应用软件最高优先关注点就是稳定性,孙亮认为很多不太优雅甚至是不太合理的基础转型,其实都是考虑到优先稳定性的要求。

39120

数据库安全之金融

金融行业正常业务范围概括起来主要有以下四大部分,分别是银行业,证券业,保险业及其他金融服务。其中银行业包括中央银行,商业银行,其他银行。证券业主要有股票、债券、期货及其他有价证券的投资交易活动。...其他金融业务是上述三种业务之外的业务,主要有金融信托、金融管理、金融租赁、财务公司、邮政储蓄、典当以及其他未列明的金融活动。...在这样的信息化背景下,金融行业紧跟潮流,在信息化设备采购上一直保持着国际先进水平,但仅保持硬件及软件系统的先进性还是不够的。...数据库作为金融行业信息系统的核心和基础,承载着越来越多的关键业务系统,整个业务流程过程中的操作、数据的变更、新增、删除都存储在数据库中,保存着客户的个人资料以及资金等各类信息。...针对网络中的威胁,金融行业也采取了很多防御措施,比如在金融信息系统最外层部署了网络防火墙,在应用层部署了IDS、IPS、WAF、堡垒机等一系列安全产品,在客户终端上也部署了相应的防病毒软件,但在数据库层面安全措施做得不够

1.7K20

金融科技&大数据产品推荐:达观数据—金融平台产品及资讯个性化推荐引擎

达观数据个性化推荐引擎是为金融行业量身定做个性化推荐服务,随时调整客户标签并“千人千面”推荐最适合的金融产品资讯和服务,帮助客户实现收益最大化。...的产品投递 1、产品名称 达观数据个性化推荐引擎 2、所属分类 金融科技·数据运营、个性化推荐系统、文本挖掘、用户画像、智慧金融 3、产品介绍 达观数据个性化推荐引擎是为金融行业量身定做个性化推荐服务...,随时调整客户标签并“千人千面”推荐最适合的金融产品资讯和服务,帮助客户实现收益最大化。...第二,采用多种策略改善冷启动用户推荐质量,有效提升新用户留存率:基于高性能计算框架,秒生成新用户画像,快速完成冷热转换,确保留存;基于海量用户行为历史数据,挖掘多样性的高质量个性化推荐结果;不断吸收引进前沿的预测算法...8、市场价值 达观数据个性化推荐引擎让互联网和传统金融企业借助最新AI技术,提升金融平台产品体验与运营指标,推动中国金融行业的技术转型升级,主要表现在以下几方面: (1) 在金融平台产品同质化和资讯泛滥现状下

3.1K50

面向金融应用的GreatSQL正式开源

GreatSQL由万里数据库发起、主导、维护,也欢迎广大MySQL使用者、爱好者下载使用,或者提交代码、issue等。 1....而GreatSQL已经有效解决了绝大多数较严重的问题,可以更放心地在金融应用场景使用MGR架构。 2....GreatSQL的优势及展望 在金融应用场景中,对数据的可靠性和架构的容错性要求都更高,对多数据中心甚至多活都有较高需求。为此,GreatSQL未来会在以下几方面着重发力。...2.1 增加更多金融场景需求特性 增加地理标签功能。当在多机房部署MGR时,可以保证每个机房中至少有一个节点都参与事务认证,确保该节点总有最新事务,这可用于解决多机房数据同步的问题。...其他更多企业特性展望 未来我们还计划将一部分企业特性也开放出来,包括且不仅限于国产化硬件适配、等保合规、安全加密、Oracle兼容等众多特性。 3.

67310

金融科技&大数据产品推荐:享宇金服-智能金融

智能金融云以“通信+数据+金融”的深度跨界模式,牵手国内三大电信运营商,为平台内风控数据提供底层数据支持,通过在中国银行、兴业银行、花旗银行、广发银行、中国民生银行,招联消费金融、中银消费金融、中邮消费金融...,将整个社交网络和个人信息数据的交叉验证,建立出一个征信模型,围绕“金融+通信+数据”,提供智能、批量授信、用户行为分析服务、秒监控服务以及网络安全服务等,推动金融机构构建新型业务模式、产品与流程,同时助力场景公司及数据源公司开辟...,将整个社交网络和个人信息数据的交叉验证,建立出一个征信模型,围绕“金融+通信+数据”,提供智能、批量授信、用户行为分析服务、秒监控服务以及网络安全服务等,推动金融机构构建新型业务模式、产品与流程,同时助力场景公司及数据源公司开辟...在高可用性上,可通过网络负载均衡服务构建应用池,将流量分发到不同虚拟计算机上,在业务高峰期,弹性拓展和升级应用池,并对应用、数据库、系统、网络安全护航。...银行等金融机构就是“租户”,每家银行的数据及金融业务都放在金融云上自己独有的“仓库”,保障数据的高度安全和高效的金融服务。

2.9K30

金融高可用!天翼云TeleDB数据库如何实现容灾双活?

例如:金融机构对安全性要求最高,在数据库灾备建设的各项要求上非常严格,一般核心业务系统会采用热备模式,通过三地五中心的异地多活方案来保证高可用,给予业务系统多重保障;而中小型企业主要保护业务、办公、管理文档数据...一方面,天翼云借鉴国际国内灾备标准,进一步细化灾备指标,添加库读写分离、表双写双读、行双写双读等能力,让数据库灾备标准更加优化,有法可依。...这一要求也达到了金融领域分布式数据库灾难恢复的能力标准。...正是基于金融高可用能力,天翼云TeleDB从层层选拔中脱颖而出,成功实现了健康码系统主中心和双活中心的切换:当新增资源池间互联电路中断或出现双活中心整体故障时,主中心业务完全不受影响,数据库集群将自动感知到双活中心发生故障...天翼云TeleDB作为云服务“国家队”,不断加快关键核心技术自主攻关,走出了一条引领国产化数据库高速发展之路,其历经十年打磨出的天翼云TeleDB系列产品,核心技术完全自主可控,其容灾方案展现出的金融高可用标准

2.8K10

腾讯分布式数据库TDSQL金融能力的架构原理解读

hrd7lij4yf.jpg] 第一章,产品简介以及适用场景 第二章,TDSQL架构分析及模块介绍 第三章,数据一致性保障 第四章,分布式TDSQL实践 第五章,数据同步与备份 一、TDSQL是什么:腾讯如何打造一款金融分布式数据库...我们开始把这个高可用的数据库产品化。到2012年,TDSQL的雏形就已经出来了,作为一款内部产品,开始在公司内部提供金融的数据强一致性、可靠性服务。...在金融场景,你没有办法去估量——假如错一条数据,到底这条数据是1分钱还是1个亿,所以数据强一致是我们最根本的一个特性。不允许丢,不允许错,这是对数据库起码的要求。 第二是金融高可用。...第五点是企业安全。金融数据是敏感的,一些敏感的金融数据需要在当前数据基础上再做一层更高级别的企业安全防护,比如数据库防火墙,以及透明加密,等等。...三、TDSQL金融特性之:数据强一致性保障 前面我们了解了TDSQL的整体架构和核心特性。接下来我们要重点聊一聊它最重要的特性——作为金融场景下不可或缺的数据强一致性的保障。

6K43

百亿通用推荐系统实践

我们每个人每天都会使用到不同的推荐系统,无论是听歌,购物,看视频,还是阅读新闻,推荐系统都可以根据你的喜好给你推荐你可能感兴趣的内容。不知不觉之间,推荐系统已经融入到我们的生活当中。...用户A是一个年轻男性用户,平时可能喜欢玩手机游戏和看小说,所以应用宝的推荐系统会给他推荐游戏的应用。而用户B是一个年轻女性用户,平时喜欢购物和轻游戏,所以应用的推荐系统就会给她推荐购物的应用。...那么,这个日均百亿请求的推荐系统是怎么打造而成的呢?主要需要解决两个问题: 支持众多业务和场景。 支持海量用户请求。 1.通用化推荐算法库 首先要解决的问题是如何支持众多业务和场景。...毕竟常用的推荐算法就是那么几种,有没有一种方法使得同一个推荐算法可以复用到不同的推荐场景呢?那就需要对推荐算法库进行通用化设计。 下面举一个例子来说明推荐系统是什么,又是怎么工作的。...更多有关腾讯云推荐引擎的信息请点击查看 4.总结 综上所述,要打造一个百亿通用推荐系统,需要考虑下面几点: 1.为了能够支持尽可能多的业务和场景,推荐算法库需要做通用化设计。

7.6K00

腾讯TDSQL:带你认识真正的金融自主可控分布式数据库

实际上,腾讯推出的 TDSQL(TencentDistributed SQL) 金融分布式数据库,在对内支撑微信红包业务的同时,对外也正在为中国金融行业技术自主可控分布式数据库解决方案 作为国内首家互联网银行...目前 TDSQL 已正式通过腾讯金融云对外输出金融分布式数据库产品服务,除了微众银行,腾讯分布式数据库 TDSQL 还支撑着华通银行、华夏银行、潍坊银行、内蒙金谷农商银行、北京人寿、爱心人寿等众多银行和保险公司的互联网核心生产系统...并已经为超过 500+ 的政企和金融机构提供数据库的公有云及私有云服务,客户覆盖银行、保险、证券、互联网金融、计费、第三方支付、物联网、互联网 +、政务等领域,得到了客户及行业的一致认可。...,分析语法树中表的连接方式和连接字段,然后遍历语法树中的过滤,排序等关键字段,再次分析各字段的区分度,对于区分度较高的字段会提供推荐优化方案,综合字段区分度,过滤规则,表连接顺序等多个因素推提供优化建议...金融业务的数据库发展及展望 金融业务涉及国计民生的重点业务,一个小小的 BUG,一个操作失误,就可能影响到数以万计的百姓资产准确性。正因为这样的责任,腾讯云 TDSQL 团队始终坚守则“本心”。

4.1K30

哪来的TB推荐模型

记忆-归纳模型图片  推荐系统中常见的深度学习模型由Embedding表和神经网络两部分组成,其中Embedding部分起记忆表征作用,神经网络起到分析和归纳作用。...可以推算1TB左右大小的模型大概有130-250亿项Embedding,而每一项Embedding背后是一个离散特征,换言之TB模型约等于常说到的百亿特征千亿参数模型。...推荐模型如此庞大根源就出在这百亿特征上。...哪来的百亿特征  推荐场景中最为庞大的特征组就是User和Item的ID,哪怕对于头部业务而言两者加起来无非也就10亿的量级,靠原始数据要凑出百亿特征几乎不可能。...可以用Item的ID和User的性别、年龄进行三联交叉派生,特征空间能达到Item量级的百倍,有亿Item的场景光这一项就能产出百亿特征。

64051

金融科技&大数据产品推荐:BeyondContainer——基于Docker的企业应用智能化管理系统

—数据驱动金融商业裂变”大型主题策划活动第一部分的文章/案例/产品征集部分;感谢 BoCloud博云 的产品投递 1、产品名称 BeyondContainer容器云平台解决方案 2、所属分类 金融科技•...平台已经在金融、能源等行业得到了广泛应用,帮助企业实现基于容器的应用持续集成和快速部署、秒弹性伸缩、业务可用性保障等关键特性,帮助企业搭建基于容器的PaaS平台,以应对互联网时代业务快速发展的需要。...8、市场价值 加快金融机构产品上线周期,大大减少金融机构在IT产品上的投入成本,帮助金融机构快速实现互联网化转型。.../www.bocloud.com.cn/product_container.html 10、所属企业 苏州博纳讯动软件有限公司 - 企业介绍 - BoCloud博云(苏州博纳讯动软件有限公司),为企业客户提供专业的云计算服务...公司自主研发的多项软件产品,包括私有云产品BeyondSphere、企业容器管理平台BeyondContainer、数据中心自动化运维产品BeyondBSM等,已在金融、电力、政务、IDC等行业领域的生产系统中落地实施

1.7K40
领券