作者介绍:雷云飞(simonlei),腾讯云数据库专家工程师,负责腾讯云KV存储研发工作。
提示:公众号展示代码会自动折行,建议横屏阅读 ---- 一、引言 CKV是腾讯自主研发的分布式内存KV存储系统,具备高性能、高可用,低成本等特性。从2009年上线至今,先后服务了空间、游戏、QQ、视频、音乐、微信、支付等诸多业务,与此同时,也为云上的用户提供高效、稳定的服务。 CKV在近一段时间,进行了一次较大规模的重构优化,本文将从新老系统以及自研与开源等角度进行对比,呈现系统的一些设计理念与解决方案。 二、背景 在当前互联网发展迅速,新技术层出不穷的时代,任何一款产品想要保持用户亲和度,且更具
多年数据库、网络安全研发经验,对云计算平台的网络、计算、存储、安全有深入的研究和产品化经验。
▲点击上方 腾讯云数据库 关注 传统的数据库+云的模式没有给用户带来很多惊喜,云原生成为新的大方向。 IT产业正在经历新的周期,离散的私有IT基础设施转向集中式,这在产业发展史上已经不甚新鲜,主机时代、PC时代我们都曾经历过不同的转变,从主机的集中到个人计算机的分散再到云计算,IT的发展似乎也在遵循着“否定之否定”的钟摆定理。 数据库作为计算机架构的核心底层软件,同样处于变化之中,其历史可以追溯到1970年,50年来数据库领域厂商进进出出,但传统数据库厂商的地位从未动摇,直到云计算的出现。 Gart
今天分享的主题分三个部分。第一部分,跟大家介绍一下腾讯课堂和企鹅辅导这两款产品。第二,讲一下课堂直播系统,和腾讯云这边的具体实践案例。第三,谈一下在线教育的房间系统设计方案和这几年过程中的优化效果。
这次过来主要是和大家分享一下,腾讯云上个月正式上线的Redis4.0集群版的相关内容,跟大家分享我们在做集群版的时候有哪些思考,我们怎么去设计整个系统架构,最终我们做了哪些东西。大概会有三个点,第一个点是说Redis的使命,我们看Redis是什么产品,为什么这么火,第二块就是腾讯云Redis4.0集群设计经历了哪些思考,最终做成什么样子,最后是2018年年初,登录到腾讯云的自研兼容Redis协议的CKV引擎,他是怎么样的一个架构设计。
邹鹏,腾讯高级工程师,腾讯云数据库Redis负责人,多年数据库、网络安全研发经验。在网络、计算、存储、安全等领域有深入的研究和丰富的产品化经验。 在Redis、MySQL等数据库的高可用、高可靠和中间件方面有丰富的实践经验。
终端单连接 消息推送已经成为APP的标配,要推送就要有长连接,而长连接要靠后台服务来维持。传统的推送实现中,每个APP使用一条长连接,启动一个后台服务,你一个我一个,android的悲剧就发生了。如果所有的app都集成了信鸽推送,那么装1000个app,手机上会有多少后台服务和长连接?不是998,也不是98,只有1个后台服务,1条长连接!所有终端、后台之间的通讯都会汇聚在这一条连接上传输,配合精心设计的交互协议和逻辑,信鸽把电量、流量、系统资源的消耗降到最低,并且不随app数量增加而明显增长。 海量终端接入
redis实例如果要跨区热迁移,实例需支持多可用区。2.8及以下版本不支持升级支持多可用区,故2.8及以下版本需升级到4.0及以上版本(数据切换过程中,实例将存在1分钟以内的只读状态(等待数据同步完成),以及连接闪断(秒级)的影响,需要业务具备自动重连的机制)。
当前内存数据库发展迅速,用户对于存储系统的要求也越来越高,为了满足各类业务场景的需要,腾讯云设计了新一代的内存数据库,不但保留了原来系统的高性能,高可用等特性,同时还兼容了当前流行的Redis原生协议及使用方式。我们试图在解决原生方案短板的基础上,不断创新,使得新系统同时具备易懂、易用、易维护、高可靠、低成本等特点。主要体现在以下几个方面:
CMONGO CMONGO是TEG基础架构部在开源MongoDB源码的基础上进行了一系列优化的内核版本,目前包括腾讯云MongoDB和公司内部很多业务的MongoDB服务(如:ckv冷数据,微信账单等
全新的全局流控实现方案,既解决了目前流控的实现难点,同时保证运行稳定且流控准确的前提下,实现更简单,部署成本更低,容灾能力更强。 该方案组件化之后,可以推广到别的有需要的部门使用,只需简单的接入和部署即可获得全局流控的能力。
电影《头脑特工队》的封面上,有五个颜色各异的小精灵。他们在主人公小女孩的脑海里上班儿,专门负责整理她的记忆。 小女孩儿的每段新经历,都会被涂上“喜怒忧恐厌”这五种颜色之一,然后封装成水晶球,存入记忆库房。不过故事里的小女孩有点丧,当时她刚刚转学,每天都生活在被陌生环境支配的恐惧中。为了让她的记忆里多一些欢乐,这几个小精灵每天上班996,差点累进ICU。 当年,中哥看完整部电影热泪盈眶——这简直是一部绝好的。。。。数据库科普电影啊!! 啥是数据库?能吃吗好吃吗? 其实数据库并不神秘,就是把怕丢的
今天跟大家分享的题目为《CKV+异地容灾探索和实践》。CKV+是一个兼容redis协议的内存数据库,现在大部分用户对内存数据库的要求越来越高,对一致性、异地容灾等方面也提出更高的要求。下面从过往经验教训、可用性&一致性、CKV+架构演进、CKV+单活多可用区和CKV+多活架构探索等方面跟分享一些关于容灾的实践和思考。
都说腾讯福利待遇好,不过要想加入鹅厂,坚持学习是必须的。只有通过坚持不懈的学习和奋斗,才能给自己加分,加入大厂不再是奢望。 如何保持学习,不断进步呢?其实不难,主要有几个方面:第一,保持行业好奇心,关
Checkov是一款针对基础设施即代码(IaC)的静态代码安全分析工具,在该工具的帮助下,广大研究人员可以在在Terraform、CloudFormation、Kubernetes、Serverless Framework和其他基础设施的构建期间,轻松检测出云端代码安全问题。
1996年,“云计算”概念问世。2006年,亚马逊正式推出AWS,随后越来越多的企业开始逐步接受“云计算”,并将应用逐步迁移到云端,享受这一新型计算方式带来的技术红利。 在云原生概念、技术发展和普及之前,对于“云计算”的普遍理解是将旧的本地部署应用程序直接迁移到云端。但正如Splunk首席技术咨询Andi Mann所说:“你应该以新的方式开展新事物,或者将新的云原生应用程序放入新的云基础架构中,或者通过拆分现有的单块应用来从头开始使用云原生原则重构它们。” 云原生根本目的就是利用云上的便利,以及各种容器技术
点击上方蓝字关注每天学习数据库 All in 云+时代,数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。腾讯发布的自研数据库CynosDB作为国内首款同时兼容MySQL和PG的云原生数据库在业内引发热议,还不够了解TA?那么本期分享你一定不能错过! 本期云+社区技术沙龙将全方位解读CynosDB,揭秘技术内幕,解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。 长按识别下方长图二维码,即可报名到现场与鹅厂技术大牛零距离交流!来不了现场的朋友,可以预
QQ 音乐自诞生以来,已有多个版本的评论业务系统。最新版本是19年再次全新迭代,基于 tlist 存储,按照发表时间顺序展示。后续为了更好的用户体验,产品形态调整为评论盖楼模式,为了实现该功能,存储迁移到 mongo。
| 导语ACM SIGMOD/PODS 2019 数据管理国际会议于6月30日到7月5日在荷兰首都阿姆斯特丹召开。腾讯技术团队直击现场第一时间带回大会盛况。 SIGMOD第一天大会Keynote主题为“Responsible Data Science”;第二天的Keynote主题是区块链,更偏应用一些,由IBM Almaden研究中心的著名数据库研究员C. Mohan报告。他自从2016年以来重点研究和推广区块链技术,据统计已经在全世界十几个国家做过相关的报告。区块链技术经过了十年的发展,至今还存在一些争
下方视频为邵宗文在未来大会演讲实录。每个行业对数据库有不一样的要求,云上数据库通过智能化运维,数据会越来越多,准确度也越来越高,模型也会越来越精准。腾讯云上数据库如何满足用户多样化的诉求?一起来听听吧。
点击上方蓝字关注我们吧 ---- “就市场份额来说,腾讯云在国内还不是第一名,但是,从国内上云企业比例看,剩余的还有很多,因此,大家都还有机会,就看谁能真正解决用户的痛点。” —腾讯云数据库负责人-丁奇 ▲腾讯云数据库负责人-丁奇在DTCC大会分享现场 Gartner预测,到2023年,世界上四分之三的数据库都会跑在云上。根据国外市场研究机构数据,2017年全球云数据库市场规模为61.2亿美元,预计到2026年将达到4952.6亿美元。 数据库也因此成为了云计算厂商的必争之地,亚马逊AWS、微软Az
随着《数据安全法》、《个人信息保护法》等相继出台,数据安全上升到国家安全层面和国家战略层面,数据分类分级已经成为了企业数据安全治理的必选题。然而数据分类分级的实现在行业内有很多痛点,主要体现在如下几点:
CynosDB产品简介 CynosDB,又称NewCDB,是由腾讯云和TEG基础架构部数据库技术团队联合打造的面向云计算2.0时代的新一代企业级分布式云数据库。在兼容开源数据库MySQL的生态体系下,它重新定义了MySQL分布式架构,从而在单实例极致性能、事务响应延时、存储扩展性以及可用性等关键技术指标上,达到商用级数据库级别;与此同时,它是面向通用硬件进行的软件极致优化,相比商用级数据库,它的性价比非常高,能把云计算共享经济普惠给万千腾讯云用户。 CynosDB名称来源 Cynos源于拉丁语中的Cy
根据运维同学反馈,数据库是不定期出现慢查询的现象,怀疑数据库可能存在死锁问题。由于问题复现的不确定性,因此在线上实例写脚本抓现场:当问题出现时,记录下innodb引擎状态(show innodb status)、用户线程状态,innodb引擎状态信息中存在死锁信息。
CynosDB产品简介。CynosDB,又称NewCDB,是由腾讯云和TEG基础架构部数据库技术团队联合打造的面向云计算2.0时代的新一代企业级分布式云数据库。在兼容开源数据库MySQL的生态体系下,它重新定义了MySQL分布式架构,从而在单实例极致性能、事务响应延时、存储扩展性以及可用性等关键技术指标上,达到商用级数据库级别;与此同时,它是面向通用硬件进行的软件极致优化,相比商用级数据库,它的性价比非常高,能把云计算共享经济普惠给万千腾讯云用户。 CynosDB名称来源。Cynos源于拉丁
NewCDB是在CDB十年技术和产品沉淀的基础上诞生的,腾讯云数据库产品在继承中不断完成突破。
从17年开始,结合公司业务上云专项,在线教育从一开始的云IaaS层迁移,到更开放的开源中间件选型,再到思考云原生的研发模式,做了很多实践和思考,推动后台架构演进。这里把这些实践思考做下分享,欢迎沟通交流
我分享的主题是腾讯信鸽海量移动推送服务的构建,在加入腾讯TEG数据平台部后,我主要从事大数据相关的一些系统和应用开发。最近一两年主要是构建腾讯云推送,也就是信鸽这个系统。对于消息推送来说,它是触达移动用户的一个很重要的方式,基本上是每个应用必备的能力。然而受限于整体的终端环境、网络环境和后台的服务能力,如果想要做到百亿级别的消息推送以及推送后的效果跟踪,还是有不小的技术挑战。再进一步来说,如果只给用户提供感兴趣的内容,做到精细化的运营,又需要在数据和机器学习平台上有深度的积累,引入BI的能力。
传统企业在建设数据库初期,不仅建设服务器,还要保证数据库能够稳定和可靠的运行。当业务数据增长到一定大小的时候,就需要增加服务器CPU及内存以及磁盘相关资源。为了保证服务器的稳定性,还需要制定相关制度及体系,定制数据库的架构,防止数据库被攻击,确保数据库安全稳定。搜索关注“腾讯云数据库”官方微信立得10元腾讯云无门槛代金券,体验移动端一键管理数据库,学习更多数据库技术实战教程。
传统企业在建设数据库初期,不仅建设服务器,还要保证数据库能够稳定和可靠的运行。当业务数据增长到一定大小的时候,就需要增加服务器CPU及内存以及磁盘相关资源。为了保证服务器的稳定性,还需要制定相关制度及体系,定制数据库的架构,防止数据库被攻击,确保数据库安全稳定。
在上一篇中我们讲了通用优惠券系统的设计,这篇主要是以优惠券重构后,我们现有系统接入到该通用优惠券系统过程中遇到的数据迁移与一致性问题相关的思考与实践。我们早期的优惠券系统使用的是ckv的存储,后来为了统一,全部改为使用redis储存了,这里首先一个数据迁移点是 ckv----->redis的迁移,另一个数据迁移点是上海redis----->深圳redis。之所以会有redis --->redis的迁移,主要是刚开始我们redis是和别人混部,选择了一个上海的机房,由于整个服务几乎都部署在广深地区,所以需要迁回来,并且单独一个redis集群存储,不在混部。
万字长文,详细讲述PCG功能开发一组如何优化改造QQ小世界Feed云系统及腾讯MongoDB团队如何对小世界MongoDB集群进行性能优化,对比看看您的小世界是否面临同样的问题呢,建议收藏学习! 本文结构速览奉上: 一、业务背景 二、小世界Feed云系统面临的问题及挑战 2.1 老Feed系统主要问题 2.2 新场景下Feed云的问题 三、数据库存储选型 四、小世界Feed云系统改造及优化过程 4.1 Feed云优化改造及成果收益 4.1.1 Feed云优化改造-UFO 4.1.2 Fee
【摘要】当前内存数据库发展迅速,用户对于存储系统的要求也越来越高,为了满足各类业务场景的需要,腾讯云设计了新一代的内存数据库,不但保留了原来系统的高性能、高可用等特性,同时还兼容了当前流行的Redis原生协议及使用方式.我们试图在解决原生方案短板的基础上,不断创新,使得新系统同时具备易懂、易用、易维护、高可靠、低成本等特点.主要体现在以下几个方面:
点击上方蓝字每天学习数据库 现在经常会有各式各样的“删库到跑路”事件发生。不管是传统数据库还是云数据库,总会遇到一些问题,与数据迁移、数据风险安全、数据订阅等相关。今天,我们来谈谈云数据库的优势和腾讯云在这方面的努力。看看腾讯云怎么通过技术手段来确保数据库安全稳定,和快捷迁移,以及推动数据商业分析的。 传统数据库与云数据库 传统数据库 传统企业在建设数据库初期,不仅建设服务器,还要保证数据库能够稳定和可靠的运行。当业务数据增长到一定大小的时候,就需要增加服务器CPU及内存以及磁盘相关资源。为了保证服务器
陈守志 腾讯公司平台运营开发组 一、关于容灾 关于容灾主题,这里罗列对比了几种常见的容灾案例: 相对接入层、应用层容灾而言,数据层的容灾相对比较复杂,实现起来难度大一些,下面主要针对公司
随着互联网信息的发展,大家也对云这个词汇也不是特别陌生了,作为全球首选的云服务厂商之一的腾讯云,依托腾讯多年的业务积累和技术沉淀,我们推出了高性能、低成本、安全可靠的整体数据服务解决方案。并且随着客户数据日益增长,也做了相关的调研和分析,推出了腾讯云新一代自研数据库。首先,欢迎我们的数据库产品总监祝百万给大家分享腾讯云数据库的前世今生和产品布局。
注:本文摘自2018年11月22日腾讯云数据库CynosDB新品发布会的演讲实录。随着互联网信息的发展,大家也对云这个词汇也不是特别陌生了,作为全球首选的云服务厂商之一的腾讯云,依托腾讯多年的业务积累和技术沉淀,我们推出了高性能、低成本、安全可靠的整体数据服务解决方案。并且随着客户数据日益增长,也做了相关的调研和分析,推出了腾讯云新一代自研数据库。首先,欢迎我们的数据库产品总监祝百万给大家分享腾讯云数据库的前世今生和产品布局。
http://blog.csdn.net/cyblueboy83/article/details/44037487
导语 | 成为架构师是程序员进阶不可或缺的一条路径,尤其在当今愈加智能化的社会,对每位程序员的架构能力都提出了新的要求。本文是对腾讯云块存储与虚拟化总监马文霜、贝壳找房基础平台总经理&腾讯云最具价值专家「TVP」王超、同程艺龙机票事业群CTO&腾讯云最具价值专家「TVP」王晓波在云+社区沙龙online的分享整理,希望与大家一同交流。
提示:公众号展示代码会自动折行,建议横屏阅读 ---- 大家好,今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中,分片恢复并发数调整过大导致集群 hang 住的问题。 一、场景描述 废话不多说,先来描述场景。某日,腾讯云某 ES 集群,15个节点,2700+ 索引,15000+ 分片,数十 TB 数据。由于机器故障,某个节点被重启,此时集群有大量的 unassigned 分片,集群处于 yellow 状态。为了加快集群恢复的速度,调整分片恢复并发数,将默认值为2的 node_concur
"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 网络平台部以构建敏捷、弹性、低成本的业界领先海量互联网云计算服务平台,为支撑腾讯公司业务持续发展,为业务建立竞争优势、构建行业健康生态而持续贡献价值! 前 言 2015年5月1号,来自QQ相册和微信相册的当天统计,分别上传照片7亿张和5亿张。如此海量的规模需要多大的存储
"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 网络平台部以构建敏捷、弹性、低成本的业界领先海量互联网云计算服务平台,为支撑腾讯公司业务持续发展,为业务建立竞争优势、构建行业健康生态而持续贡献价值! 前言 2015年5月1号,来自QQ相册和微信相册的当天统计,分别上传照片7亿张和5亿张。如此海量的规模需要多大的存储空间
提示:公众号展示代码会自动折行,建议横屏阅读。 第一部分:SKIP LOCKED/NOWAIT订座功能实现 订座在现实生活中是一种很常见的场景,比较常见的有火车票席位选择,电影院席位选择等等。那么如何实现订座功能呢?应用程序可能有很多种不同的实现方式,当然,肯定离不开数据库。这里将介绍一种纯数据库的实现方式。 设想我们有一张座位表如下: CREATE TABLE seats ( seat_no INT PRIMARY KEY, booked ENUM('YES', 'NO') DEFAULT 'NO
提示:公众号展示代码会自动折行,建议横屏阅读 问题描述 前几天进行测试,发现一个神奇的现象:不加任何优化的版本与加了-O2参数的版本测试结果不一致! 主要代码类似以下例子: #include <stdio.h> #include <stdint.h> class Foo { public: Foo() { printf("%s\n", "ctor"); } ~Foo() { printf("%s\n", "dtor"); } struct tm { unsigned int s
记一次Java线上服务器CPU过载问题的排查过程,详解排查过程中用到的Java性能监测工具:jvisualvm、jstack、jstat、jmap。
领取专属 10元无门槛券
手把手带您无忧上云