2014年:基于分布式的基础架构 微众银行在2014年成立之时,就非常有前瞻性的确立了微众银行的IT基础架构的方向:摒弃传统的基于商业IT产品的集中架构模式,走互联网模式的分布式架构。众所周知,传统银行IT架构体系非常依赖于传统的商业数据库,商业存储以及大中型服务器设备,每年也需要巨大的IT费用去维护和升级,同时这种集中式的架构,也不便于进行高效的实现水平扩展。从过往经验来看,当时除了oracle等少数传统的商业数据库,能满足金融级银行场景的数据库产品并不多。当时腾讯有一款金融级的分布式数据库产品TD
点击▲关注 腾讯云数据库 | 导语 微众银行在2014年成立之时,就非常有前瞻性的确立了分布式架构的基础架构。当时,腾讯有一款金融级的分布式数据库产品TDSQL,其业务场景和对数据库的可靠性要求,和银行场景非常类似。微众银行和腾讯TDSQL团队合作,共同将TDSQL打造为适合银行核心场景使用的金融级分布式数据库产品,并将TDSQL用于微众银行的核心系统数据库。本文是对整个实践历程的总结。 一、背景介绍 微众银行在2014年成立之时,就非常有前瞻性的确立了微众银行的IT基础架构的方向:摒弃传统的基于商业IT
在本文中将介绍InfluxDB常用的基础操作,帮助读者建立对InfluxDB的感性认识,快速的动手玩起来,持续查询(Continuous Queies)、Group by、Series、行协议(Line Protocol)、InfluxQL等高级特性和细节,将会在后续文章中逐步介绍。
如果您负责管理数据库服务器,则可能需要不时运行查询并仔细检查它。 虽然您可以从MySQL/MariaDB Shell执行此操作,但此技巧将使您可以直接使用Linux命令行执行MySQL/MariaDB查询,并将输出保存到文件中以供以后检查(这在查询返回时特别有用。 很多记录)。
导语 | 在金融行业IT系统国产化的大背景下,国内金融行业开始推动IT基础设施国产化,逐渐摆脱对于传统IOE架构的依赖。微众银行自成立之初,就放弃了传统IOE架构路红,结合腾讯金融级分布式数据库TDSQL,建立了基于DCN单元化架构模式的分布式基础平台。如今这套架构承载了微众银行数亿级别的用户规模,数百套银行核心系统,和每天数亿次的金融交易。本文由微众银行数据库平台室室经理、腾讯云TVP 胡盼盼在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《分布式数据
风险无处不在,包括自然灾害以及突发事件等,有时候我们无法预测到一些风险,比如天津港爆炸事件。IT领域也一样,总是有意想不到的事情,风险具有不可预测性,万全之策就是做好灾难应对的各种准备。
之前都是单主的主从复制架构,主从复制有个明显缺点:只有一个主节点,而所有写都必须通过它1。万一和主节点之间的网络中断而导致无法连接到主节点,主从复制方案就影响所有DB写入操作。
在安装并配置好MySQL的Linux系统上,先用以下两条命令打开 MySQL 服务并使用 root 登录:
下文以腾讯云数据库 MySQL为例,介绍如何充分利用腾讯云的优势,减轻DBA的负担,轻松来搭建数据库。
本文由微众银行数据库负责人胡盼盼撰写,介绍了微众银行自 2014 年以来从传统 RDBMS 到 NewSQL 的架构演进,以及 TiDB 在微众银行核心批量场景的应用。
越来越多的企业在数字化转型和上云进程中选择混合云的形态(云+自建 IDC 或云+其他厂商云)来进行容灾建设,一方面不会过度依赖单一云厂商,另一方面还能充分利用已有的线下 IDC 资源。
随着互联网业务快速发展,多IDC的业务支撑能力和要求也逐步提升,行业内的“两地三中心”方案较为流行。
这里不知道会不会有人是真的新手 新新手 不知道怎么 如何建立一个MFC 工程 应该不会吧? 就是 打开VS 新建项目-MFC -MFC工程-点基于对话框 -和在静态库中使用 然后点击完成 注意啦 命名 都用英文 源码在这https://pan.baidu.com/s/1chRMPK 工具:vs2013,mysql5.7.6 操作系统:win64位 注意啦 我这里是VS2013 你们要是拷贝我的工程在其他版本上可能不能用 这时候只要点击项目 - 属性-配置属性 -右边的工具集 改成你们自
“ 2017 年微众银行将每个账户的运营成本降 至平均只有 6 元 人民币,仅为内地传统银行的 1/10 ,相比国际银行则更低,只有其成本的 2% 至 5% 。”
收到客户反馈:云上CVM通过专线访问云下IDC-A Redis数据库时存在偶发性延时超过1S现象,需要配合客户定位处理。
随着数据存储需求的不断增加,分布式数据库成为了处理大规模数据的一种重要方式。分布式数据库可以将数据分散到多个计算节点上,并利用分布式计算的能力来提高数据处理的效率和可用性。然而,在使用分布式数据库的过程中,是否需要进行分库分表呢?
这个特性InfluxDB支持的,写入时序数据时,在行协议前加上保留策略名,以influx命令行操作为例,insert语句的语法如下。
随着新冠病毒疫情的缓解和控制,全球旅游业逐渐开始重新复苏。尤其在一些度假胜地,游客数量已经恢复到疫情前的水平。
当检测到物理线路1发生故障,系统自动将流量切换至物理线路2,保证业务正常运行。故障修复后,流量自动切回。
这里不知道会不会有人是真的新手 新新手 不知道怎么 如何建立一个MFC 工程 应该不会吧? 就是 打开VS 新建项目-MFC -MFC工程-点基于对话框 -和在静态库中使用 然后下一页将关于对话框
7月4日,国际权威机构IDC发布的《2021年下半年中国关系型数据库软件市场跟踪报告》显示,腾讯云数据库在关系型数据库软件市场(公有云模式)中,位列第二。 IDC报告显示,2021下半年中国关系型数据库软件市场规模为15.8亿美元,同比增长34.9%。其中,公有云关系型数据库规模8.7亿美元,同比增长48.7%。IDC预测,到2026年,中国关系型数据库软件市场规模将达到95.5亿美元,未来5年市场年复合增长率(CAGR)为28.1%。 这表明,中国公有云关系型数据库前景广阔,数据库行业正加速向云端迁移。
整体说来ida的批量模式并不能算是真正的批量模式,只是可以通过各种手段来执行多个ida进行分析。众所周知ida是不支持多线程的,并且按照官方的说明看来在将来也不准备支持多线程。那么要想进行批量处理就只能使用自己的一些办法,自己去写个程序用命令来调用ida进行处理。
Gartner 的魔力象限,聚焦在 "Cloud Database",不再进行本地部署视角的评估;IDC 则是关注到中国市场的独特性,仍然评估“本地部署”份额。
本文将介绍微众银行的数据库架构演进过程,并分享 TiDB 在微众银行实践经验和部分业务案例。
全球领先的IT研究和咨询公司IDC近日发布的《IDC MarketScape:中国分布式关系型数据库 2023年厂商评估》报告(以下称“报告”)显示,腾讯云位居中国分布式关系型数据库“领导者”类别,并在市场份额上取得国内领先成绩。
导语 | 随着数字化转型的深入、移动互联网的蓬勃发展,产生了大量以语音、图像、视频为代表的非结构化数据,这些数据越来越得到人们的利用,使得越来越多的 NoSQL 产品不断涌现,助力企业创新业务落地,赋能业务快速发展。今天,我们特邀微众银行数据库平台负责人、腾讯云 TVP 胡盼盼老师为我们带来《金融场景下的 NoSQL 实践:微众银行 Redis 应用实践》的主题演讲,他将带我们了解微众银行在 Redis 上的开发和运维实践。
首先说下我们为什么需要分布式 ID,以及分布式 ID 是用来解决什么问题的。当我们的项目还处于单体架构的时候,我们使用数据库的自增 ID 就可以解决很多数据标识问题。但是随着我们的业务发展我们的架构就会逐渐演变成分布式架构,那么这个时候再使用数据的自增 ID 就不行了,因为一个业务的数据可能会放在好几个数据库里面,此时我们就需要一个分布式 ID 用来标识一条数据,因此我们需要一个分布式 ID 的生成服务。那么分布式 ID 的服务有什么要求和挑战呢?
MTU:Maximum Transmission Unit 最大传输单元,是网络传输中数据包的最大传输长度,一般使用字节为单位,以太网常用MTU=1500
在大部分互联网公司中业务和技术是这样的关系,公司是业务驱动型的,技术是服务于业务的,在不同阶段技术承担着业务背后的守门员角色。
6月5日,全球领先的IT市场研究和咨询公司IDC发布的《2022年下半年中国关系型数据库软件市场跟踪报告》显示,在Top 5厂商中,腾讯云数据库整体收入同比增速、本地部署模式收入同比增速均位列第一。
在当今互联网行业,大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。而数据同步是异地多活的基础,所有具备数据存储能力的组件如:数据库、缓存、MQ等,数据都可以进行同步,形成一个庞大而复杂的数据同步拓扑。
日前,微众银行顺利完成了首场断电演练。这是一场模拟单个数据中心完全不可用的灾难恢复演练,通过模拟城市级灾难事故,切断其中一个IDC中心来检验提升系统恢复服务、数据安全保障能力而进行的运维活动。 在腾讯云企业级分布式数据库TDSQL的技术支撑下,IDC中心失联后,微众银行的全量业务“秒级切换”到其他数据中心,真正实现了业务“零感知”,在金融行业内尚属首次。 为了模拟单个中心故障的场景,运维人员关闭一个数据中心的所有内外网出口,用户流量立刻自动切换到正常的数据中心,全行所有业务和渠道正常提供服务,真正做到用
目前线上的环境早已经过百了,备份就是一个重复性的工作,之前做了一版数据库备份任务的自动化调度,可以根据备份时间来重新评估备份时间,算是一个有些技术难度的小技巧。
IDC DataSphere数据显示,到2027年,全球非结构化数据将占到数据总量的86.8%,达到246.9ZB。未来非结构化数据仍是数据产生和存储的主要形式,如何更好地管理非结构化数据、挖掘其背后的价值,则更加重要,这也是区分与其他公司竞争力的关键。图数据管理分析平台作为其中的关键一环,被越来越多的厂商关注,从开源到采购商业化版本,市场规模仍保持乐观增长。
为帮助开发者更好地了解和学习分布式数据库技术,2020年3月,腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密,都在这!》,邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。三月为TDSQL专题月,本文将带来直播回顾第二篇《破解分布式数据库的高可用难题:TDSQL高可用方案实现》。
郜德光,携程技术保障中心高级数据库经理,负责数据库相关的运维工作,参与了SQL Server和MySQL的高可用以及数据库容灾建设。喜欢钻研技术,对数据相关的技术一直保持着浓厚的兴趣。
近日,IDC发布了一部关于人工智能的白皮书。IDC在白皮书中预测了2019年中国人工智能市场的十大发展趋势,并表示到2022年,中国人工智能市场规模将达到98.4亿美元。
FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有兴趣,欢迎来github社区找我们玩~
日前,《中国金融科技发展报告(2023)》由社会科学文献出版社正式出版发行,在《报告》的“数据库在金融领域的发展与应用”章节中,整体介绍了中国农业银行基于TDSQL数据库构建新一代分布式信用卡核心系统的实践案例,为金融核心系统应用国产分布式数据库提供参考借鉴。
一 背景 金融行业的数据库市场,尤其是银行的核心交易系统,一直是Oracle、DB2这类传统商业数据库的天下,但是: 2014年,微众银行选用TDSQL作为其核心交易系统的数据库解决方案; 2015年,腾讯金融云正式推出TDSQL数据库解决方案,在公有云以及私有云上投入商用,覆盖包括银行、保险、互联网金融、物联网等多个行业领域。 这标志着TDSQL已经开始进入这个领域,虽然目前,金融、传统行业的核心数据库依然是Oracle、DB2们占主导,但是TDSQL对外开放仅两年,已经为40个金融政企机构提供数
其实,TencentDB已经和珍爱网“隐婚”数年了,请允许我正式向大家介绍我的“另一半”:
参考:https://docs.pingcap.com/zh/tidb/stable/three-data-centers-in-two-cities-deployment
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中,3月12日张文的分享已经结束,没来得及参与的小伙伴不用担心,以下就是直播的视频和文字回顾。
TDSQL是腾讯提供的一套完整的MySQL数据库集群化管理解决方案,作为私有云TStack平台重要的数据库产品能力,旨在解决高可用、高性能、分布式、配套设施等方面问题。 TDSQL除了在腾讯内部有大量的使用场景,在外部市场中也有诸多应用场景;2014年被WeBank选中,作为其核心交易系统的数据库解决方案,以私有云方式交付;2015年,在腾讯云上正式推出。目前已经为500+机构提供数据库的公有云及专有云服务,客户覆盖计费、第三方支付、银行、保险、互联网金融、物联网、互联网+、政务等领域。 TDSQL私有云版
自 2008 年双 11 以来,在每年双 11 超大规模流量的冲击上,蚂蚁金服都会不断突破现有技术的极限。2010 年双 11 的支付峰值为 2 万笔/分钟,到 2017 年双 11 时这个数字变为了 25.6 万笔/秒。
领取专属 10元无门槛券
手把手带您无忧上云