大家好,我是陆金所数据库团队的负责人王英杰。这次的分享主要集中在陆金所去O在线换库的技术特点上,之后详细给大家剖析陆金所设计的在线换库方案以及方案如何在一个庞大的金融系统里通过多个团队的紧密配合稳妥落地。
转转二手交易网 —— 把家里不用的东西卖了变成钱,一个帮你赚钱的网站。由腾讯与 58 集团共同投资。为海量用户提供一个有担保、便捷的二手交易平台。转转是 2015 年 11 月 12 日正式推出的 APP,遵循“用户第一”的核心价值观,以“让资源重新配置,让人与人更信任”为企业愿景,提倡真实个人交易。
如今,MySQL已经是非常普及的数据库,开源社区的支持也是非常活跃。谈到官方运维工具,大家都会用到mysqldump,其实除了这个之外还有一些实用的工具,今天帮大家梳理一下。
【迪B课堂】为腾讯云数据库产品经理迪B哥开设的面向数据库开发者、数据库运维人员、云端运维人员的系列培训课程,旨在为开发者解决数据库选择和使用过程中遇到的问题。《我说》为迪B课堂的答疑系列,3分钟帮您解决数据库日常运维过程中的小难题。
在云网融合大数据时代,数据已经成为重要的生产要素。特别是棱镜门、永恒之蓝、汶川大地震这类造成大规模数据丢失和泄漏的人为或自然灾害事件发生后,中国相继出台了一系列的法律法规,对各组织机构的数据安全保护条件进行限定,如 2016 年颁布的《中华人民共和国网络安全法》、 2021 年全国人民代表大会通过的《数据安全法》等。
在2023年11月12日,刚经过双11的购物节大压力的阿里,却从17:44起发生了服务宕机,旗下的淘宝、闲鱼、饿了么等服务出现服务中断,甚至让高校学生宿舍的洗衣机都“宕机”了。从阿里云健康看板公布的数据可以看出,阿里云的几乎所有的云产品等服务都受到了影响,影响了全球范围内多个地域。阿里云这次故障,放在整个云厂商界都是炸裂般的存在。阿里云历时3个多小时,服务才陆续恢复。
点上方蓝字每天学习数据库! 【迪B课堂】为腾讯云数据库产品经理迪B哥开设的面向数据库开发者、数据库运维人员、云端运维人员的系列培训课程,旨在为开发者解决数据库选择和使用过程中遇到的问题。《我说》为迪B课堂的答疑系列,3分钟帮您解决数据库日常运维过程中的小难题。 本期解答的问题是:MySQL的show proceslist中存在大量sleep的隐患如何处理? 视频核心信息: 解决方案: 规范业务使用。请求大量的运维同学,这一点的效果是最好的,体现技术和实际业务结合的能力。 通过调整MySQL内
👆点击“博文视点Broadview”,获取更多书讯 《云数据库架构》一书全面介绍了主流数据库的技术特点,结合业务场景讲解了数据库技术选型和数据库架构的最佳实践。下面我们摘取本书第1章中对阿里云RDS MySQL三节点企业版的重点内容,让读者先睹为快。 数据库的高可用是个悠久的话题,目前以最常见的主备模式为例, 它主要有异步和半同步两种方式,但这两种方式都有各自的缺陷。 异步在主库宕机后,最后更新的记录有可能没有推送到从库,从而引发数据丢失。 半同步虽然会保证最少有一个从库接收到binlog,但同样有丢
云数据库-腾讯云数据库主要分为:云数据库MySQL,云数据库Redis,云数据库MongoDB以及SQL Server
点击上方蓝字关注每天学习数据库 【迪B课堂】为腾讯云数据库产品经理迪B哥开设的面向数据库开发者、数据库运维人员、云端运维人员的系列培训课程,旨在为开发者解决数据库选择和使用过程中遇到的问题。《我说》为迪B课堂的答疑系列,3分钟帮您解决数据库日常运维过程中的小难题。搜索关注腾讯云数据库官方微信,立得10元云代金券,可移动端一键管理数据库。 本期解答的问题是:关于MySQL的性能监控 视频核心信息: 业务关注MySQL的性能监控分为两种: 第一种是通过业务性能指标,或者说超时机制来判定,MySQL是否出现了瓶
作为互联网的幕后英雄,Linux运维工程师长期隐匿在大众认知范围之外,关于运维的讨论仍旧是一片无人涉足的荒漠。在某知名行业研究调查结果中,非互联网从业者对于运维相关问题的回复有三个高频词汇是:不知道、没听过、网管。当调查人员告诉他们科幻电影中展示黑客高超技巧时的命令行界面正是大多数运维工程师每日工作环境时,他们发出极其一致的惊叹。
得物 App 从创立之初,关系型数据库一直使用的开源数据库产品 MySQL。和绝大部分互联网公司一样,随着业务高速增长、数据量逐步增多,单实例、单库、单表出现性能瓶颈和存储瓶颈。从选型和架构设计角度来看这很符合发展规律,一开始没必要引入过于复杂的架构导致资源成本和开发成本过高,而是逐步随着业务发展速度去迭代架构。为了应对这些问题,我们采取了诸多措施如单库按业务逻辑拆分成多个库的垂直拆分,分库分表的水平拆分、一主多从读写分离等。这些技改同时也使得整个业务层架构更加复杂,且无法做到透明的弹性,因此我们逐步把目光转向了已经趋于成熟的分布式关系型数据库 TiDB。
这是悟空的第 112 篇原创文章 你好,我是悟空。 一、背景 不用想象一种异常场景了,这就真实发生了:B 站昨天晚上 11 点突然挂了,网站主页直接报 404。 手机 APP 端数据加载不出来。 23:30 分,B 站做了降级页面,将 404 页面跳转到了比较友好的异常页面。 但是刷新下页面,又会跳转到 404 页面。 22:35 主页可以加载出数据了,但是点击动态还是会报 502 点击某个视频,直接报 404。 2021-07-14 02:00 之后 B 站开始逐渐恢复。 二、什么原因 今日凌晨
Shopee(https://shopee.com/)是东南亚和台湾地区领先的电子商务平台,覆盖新加坡、马来西亚、菲律宾、印度尼西亚、泰国、越南和台湾等七个市场。Shopee 母公司 Sea(https://seagroup.com/)为首家在纽约证券交易所上市的东南亚互联网企业。2015 年底上线以来,Shopee 业务规模迅速扩张,逐步成长为区域内发展最为迅猛的电商平台之一:
从大学开始自学各类数据库的资料,偶然间在学习 Linux 操作系统当中接触了 MySQL ,当时这个轻量级的数据库作为 Linux 操作系统中的服务存在,顿时让人觉得神奇。
曾几何时,“并发高就分库,数据大就分表”已经成了处理 MySQL 数据增长问题的圣经。
“金三银四”指的是在3月、4月,尤其是3月是应届生求职、也是在职人员跳槽到更满意职位的黄金时期。求职、跳槽,说到底,本质上就是职场人员和工作职位匹配的过程,一个萝卜一个坑,此坑不适合,自有留爷处。
中移信息平台能力中心数据库团队成员,主要负责 MySQL、TiDB、Redis、clickhouse 等开源数据库的维护工作。
曾经有个研发想转运维,问是否要值夜班,如果是夜班的话,我就不转了。其实还真说明了一个事实,你做得好研发,还真不一定能做好运维哈。
墨墨导读:MySQL如何实现高性能?以下内容是结合其他技术同仁的总结和自我实践整理的20个开源数据库设计原则,分享至此,希望对大家有帮助。
首先啰嗦下学习MySQL的一些背景:MySQL作为目前最为活跃热门的开源数据库之一,以低成本和简易操作的组合方案在互联网企业中被广泛采用而大放异彩。在炙手可热的BAT中,MySQL正被大量使用。显然,对于想在互联网行业大展手脚的数据库工程师和DBA们,熟练的MySQL技术无疑是一块很好的敲门砖。
零氪科技作为全球领先的人工智能与医疗大数据平台,拥有国内最大规模、体量的医疗大数据资源库和最具优势的技术支撑服务体系。多年来,零氪科技凭借在医疗大数据整合、处理和分析上的核心技术优势,依托先进的人工智能技术,致力于为社会及行业、政府部门、各级医疗机构、国内外医疗器械厂商、药企等提供高质量医疗大数据整体解决方案,以及人工智能辅助决策系统(辅助管理决策、助力临床科研、AI 智能诊疗)、患者全流程管理、医院舆情监控及品牌建设、药械研发、保险控费等一体化服务。
点击上方蓝字关注每天学习数据库 【迪B课堂】为腾讯云数据库产品经理迪B哥开设的面向数据库开发者、数据库运维人员、云端运维人员的系列培训课程,旨在帮助大家从入门到精通学习和使用数据库。《我说》为迪B课堂的答疑系列,3分钟帮您解决数据库日常运维过程中的小难题。搜索关注腾讯云数据库官方微信,立得10元云代金券,可移动端一键管理数据库。 本期解答的问题是:导致MySQL主从复制延迟的原因 视频核心信息: 我们在进行主备切换时,使用主从复制来进行从库部署。主从复制延迟过大会导致业务信息不一致。造成复制延迟的原因见下
☆ 点击▲关注 腾讯云数据库 ☆ 实现信息技术的自主可控,可以说是金融行业最紧迫、最重要的推进战略了。 人民银行、银保监会等主管部门密集出台文件,指导金融行业核心领域自主可控技术应用。 拿数据库来说,自主可控这事儿业内也没少探索。 在腾讯云多项技术能力的支持下,微众银行 就打造出国内首个基于分布式数据库的互联网银行分布式核心系统架构。该系统架构现已可支撑单日处理最大金融交易笔数达3.46亿笔。 最近,我们和张家港行 又联手搞了件大事。张家港行新一代核心系统采用腾讯云TDSQL来承载核心
资深数据库专家,专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生,为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。
数据(data)是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的的原始素材。 数据可以是连续的值,比如声音、图像,称为模拟数据。也可以是离散的,如符号、文字,称为数字数据。 在计算机系统中,数据以二进制信息单元0,1的形式表示。
前言:在chinaunix上总是有很多同学咨询想学习数据库,或者是为入行DBA做些准备。几年来作为一个MySQL DBA的成长过程有一些积累和感悟,特此拿出来和大家分享。 SQL 入门 在准备成为MySQL DBA之前,能熟练的编写SQL是一个必要条件。exists 和 join之间的等价转换;基本的行列转换;SQL 循环等的熟练掌握对之后的运维和调优工作都有很大的帮助。 推荐书籍: 1. SQL Cookbook [原版下载] [中文版下载] 一本循序渐进的SQL指导手册。每一种业务需求,书中都用
保障生产MySQL、Redis、MongoDB等集群稳定高效运营,及数据库自动化运维平台建设
2021 Gdevops全球敏捷运维峰会 - 广州站,将在5月28日盛大举办。Gdevops经过创办6年成功举行近20场大会的经验积淀,本次峰会结合行业趋势与技术热点,精选出最能破解当下运维、数据库、金融科技领域核心痛难点的干货议题,不容错过的精彩看点本文带大家先睹为快!
时序数据库厂商「格睿云Greptime」已于近期完成天使轮融资。据介绍,本轮融资金额在数百万美金级别,由耀途资本领投,九合创投跟投。Greptime成立于2022年4月,是一家时序数据库厂商。公司CEO 庄晓丹曾在蚂蚁集团带领智能监控团队自研超大规模时序数据平台并实践 AIOps 智能运维,CTO 孙宁及技术 VP 冯家纯分别来自滴滴与蚂蚁集团。
技术选型是由技术方向和业务场景 trade-off 决定的,脱离业务场景来说技术选型是没有任何意义的,所以本文只是阐述了伴鱼技术团队数据库选型的过程,这并不是 MySQL、MongoDB 和 TiDB 之间直接的比较,只能说明 TiDB 更适合伴鱼的业务场景和技术规划,另外由于 TiDB 是非常新的数据库技术,所以这也能体现出伴鱼技术团队对新技术的态度、技术后发优势的理解、成本与效率的衡权和技术生态与红利的思考。
1、SQL入门 在准备成为MySQL DBA之前,能熟练的编写SQL是一个必要条件。exists 和 join之间的等价转换;基本的行列转换;SQL 循环等的熟练掌握对之后的运维和调优工作都有很大的帮助。 推荐书籍: SQL Cookbook 一本循序渐进的SQL指导手册。每一种业务需求,书中都用MySQL,SQL Server,Oracle三种语法进行解析。可以顺序的作为学习书籍,也可以之后作为工具书籍查阅。 The Art of SQL 将SQL调优模拟成一场战役,进行战术分析。更多的是传授SQL架构设
一、一个时代的崛起 1. 腾讯新闻:资讯行业擎旗者的突破超越 2012年9月,腾讯新闻客户端安卓版正式发布。彼时,几大传统门户衍生的移动端资讯类APP早已上线推广,新闻客户端领域的用户争夺战,一触即发。2014年底,腾讯新闻在移动端的日活跃用户已达2.5亿,仅在第三方应用商店,腾讯新闻的下载量就达5亿次,是第二名的两倍。不久后,腾讯新闻客户端日活跃用户量已超过行业第二名的两倍,牢固确立领军者地位。 通过和微信进行合作,形成立体联动效应,腾讯新闻一路崛起。微信和手Q双插件渠道成为腾讯新闻客户端独有,其他
在准备成为MySQL DBA之前,能熟练的编写SQL是一个必要条件。exists 和 join之间的等价转换;基本的行列转换;SQL 循环等的熟练掌握对之后的运维和调优工作都有很大的帮助。
点击上方蓝色“程序猿DD”,选择“设为星标” 回复“资源”获取独家整理的学习资料! 后台服务可以划分为两类,有状态和无状态。高可用对于无状态的应用来说是比较简单的,无状态的应用,只需要通过F5或者任何代理的方式就可以很好的解决。后文描述的主要是针对有状态的服务进行分析。服务端进行状态维护主要是通过磁盘或内存进行保存,比如MySQL数据库,redis等内存数据库。除了这两种类型的维护方式,还有jvm的内存的状态维持,但jvm的状态生命周期通常很短。 高可用的一些解决方案 高可用,从发展来看,大致经过了这几个
1.自己打包,给领导一说就直接发布了。领导说什么时候上就什么时候发布。2.告诉运维人员项目git的位置,通知运维上线运维拉取,运维人员发布到生产环境。(如果项目几百,几十个,告诉运维,运维需要多大体积的团队啊) 3.每天都有小更新,每天都在发布。4.项目发布用了jenkins工具,通过它进行自动化的构建发布。
作者:卢钧轶 出处:CENALULU’S TECH BLOG 本文罗列了一些适用于MySQL及运维入门和进阶使用的书籍。 背景:各大论坛上总是有很多同学咨询想学习数据库,或者是为入行DBA做些准备。几年来作为一个MySQL DBA的成长过程有一些积累和感悟,特此拿出来和大家分享。 ---- SQL 入门 在准备成为MySQL DBA之前,能熟练的编写SQL是一个必要条件。exists 和 join之间的等价转换;基本的行列转换;SQL 循环等的熟练掌握对之后的运维和调优工作都有很大的帮助。 推荐书籍: 《S
本文会分享陆金所在线换库的全过程,详细剖析陆金所设计的在线换数据库方案,整套方案又是如何在一个复杂庞大的金融系统里,通过多团队紧密配合稳妥落地。希望阅读本文之后,能够让大家深入了解金融核心系统去 Oracle 的难点和风险,并给想去 Oracle 但是不敢落地实施的同学提供真正的实战案例解决思路。
腾讯关系型数据库-企业级MySQL(原CDB,腾讯云TencentDB for MySQL)达成了 百万核 和 百PB 的“双百”里程碑!存储规模同比增速高达 80% ,连续两年在全球 TOP5 公有云厂商中增速位列第一!作为腾讯云规模最大的数据库产品,在11月携手腾讯云数据库入选Gartner云数据库管理系统魔力象限,意味着腾讯云数据库进入全球顶级序列!截止目前,已经为Bilibili、水滴筹、小红书、微盟、富途证券、云集、畅游等多家大客户提供服务,支撑了618、双11等大型活动的突发保障,实现了1
Tech 导读 VOP作为京东企业业务对外的API对接采购供应链解决方案平台,一直致力于从企业采购数字化领域出发,发挥京东数智化供应链能力,通过产业链上下游耦合与链接,有效助力企业客户的成本优化与资产效能提升。本文将介绍VOP如何通过亿级消息仓库系统来保障上千家企业KA客户与京东的数据交互。
内容来源:2018 年 10 月 20 日,源数据库论坛(ODF)发起人周彦伟在“ODF走进名企之贝壳技术沙龙-数据库存储技术的多元应用”进行《使用ArkControl实现MySQL运维体系建设》的演讲分享。IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。
以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率。旅行是一项综合性的需求,用户往往需要不止一个产品。作为一站式的旅游服务平台,跨业务线的推荐,特别是实时推荐,能实际满足用户的需求,因此在上游提供打通各业务线之间的用户行为数据有很大的必要性。
携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统)、动态广告、用户画像、浏览历史等等。 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率。旅行是一项综合性的需求,用户往往需要不止一个产品。作为一站式的旅游服务平台,跨业务线的推荐,特别是实时推荐,能实际满足用户的需求,因此在上游提供打通各业务线之间的用户行为数据有很大的必要性。 携程原有的实时用户行为系统存在一些问题,包括:1)数据覆盖不全;2)数据输出没有统一格式,对众多使用方提高了接入成本;3)日志处
作者简介 陈清渠,毕业于武汉大学,多年软件及互联网行业开发经验。14年加入携程,先后负责了订单查询服务重构,实时用户行为服务搭建等项目的架构和研发工作,目前负责携程技术中心基础业务研发部订单中心团队。 携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统),动态广告,用户画像,浏览历史等等。 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率。旅行是一项综合性的需求,用户往往需要不止一个产品。作为一站式的旅游服务平台,跨业务线的推荐,特别是实时推荐,能实际满足
大型国有银行,整体核心的系统都是大机+DB2这样的传统架构;针对现在的互联网金融业务快速扩张的需求,传统的架构面临着比较大的挑战,主要集中在四个方面:
【迪B课堂】为腾讯云数据库产品经理迪B哥开设的面向数据库开发者、数据库运维人员、云端运维人员的系列培训课程,旨在为开发者解决数据库选择和使用过程中遇到的问题。《我说》为迪B课堂的答疑系列,3分钟帮您解决数据库日常运维过程中的小难题。搜索关注腾讯云数据库官方微信,立得10元云代金券,可移动端一键管理数据库。
大型国有银行,整体核心的系统都是大机+DB2 这样的传统架构;针对现在的互联网金融业务快速扩张的需求,传统的架构面临着比较大的挑战。
MySQL 主备切换(Master-Slave Switching)是指在 MySQL 主从复制架构中,将从库(Slave)提升为主库(Master),原主库降为从库的过程。这种切换通常用于故障恢复、负载均衡、系统升级等场景。腾讯云混沌演练平台可对云 MySQL 进行主备切换故障注入,通过混沌实验帮助构建高韧性的系统。
领取专属 10元无门槛券
手把手带您无忧上云