首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

3306π嘉宾专访-Dmall数据库负责人冯光

冯光 新零售电商Dmall数据库负责人 保障生产MySQL、Redis、MongoDB等集群稳定高效运营,及数据库自动化运平台建设 分享时间:14:00-14:50 分享议题:《MGR(MySQL...冯光:大家好,我是冯光,之前在阿里数据库团队做MySQL内核开发,目前是多点Dmall(新零售电商)数据库负责人,保障MySQL、Redis、MongoDB等集群高效稳定运行,并负责数据库自动化运平台建设...冯光:个人对分布式数据库集群非常感兴趣,其实在研究MGR之前,也深度接触过MariaDB Galera Cluster,多节点写,节点间『准同步』复制,故障快速自动切换,这些特性可以解决很多痛点,非常适合数据一致性及高可用要求都比较严格的业务场景...冯光:哈哈,过奖了,如果以后想从事运DBA的工作,我推荐『MySQL Manual』及《MySQL运内参》,如果想未来从事MySQL内核研发,推荐『MySQL Internals Manual』、...DBA + 运平台开发,相对以前磕MySQL内核代码,深度有所降低,但是对于存储业务场景理解更加深刻,视野其实是扩大了,而且有了内核代码的基础,场景分析,存储选型,性能优化,问题分析等更加容易,个人对数据库技术兴趣浓厚

1.1K10

数据库 | 携程分布式图数据库NebulaGraph运治理实践

经过调研,我们选择分布式图数据库 NebulaGraph 作为管理的对象,主要基于以下几个因素考虑: NebulaGraph 开源版本即拥有横向扩展能力,为大规模部署提供了基本条件; 使用自研的原生存储层...,相比 JanusGraph 这类构建在第三方存储系统上的图数据库,性能和资源使用效率上具有优势; 支持两种语言,尤其是兼容主流的图技术语言 openCypher,有助于用户从其他使用 Cypher 语言的图数据库...考虑到使用图数据库的业务大多数据来自离线系统,通过离线作业将数据导入到图数据库中,数据一致的要求并不高,在这种条件下使用蓝绿部署能够在灾备和性能上得到很好的满足。...生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及运管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和运管理页面...NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个运相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

3.3K40

数据库监控是运之本

前一段时间用户的系统进行应用发布和系统运,准备了很久,结果我们最为担心的数据库维护环节没有出现问题,却在应用发布的阶段出现麻烦,因为程序未设置正确的字符集,导致插入了乱码数据,结果又不得不重来。...移动的朋友总结了一句话,非常有道理:运保障总是从最高风险点开始逐步推进,悖论是如果这样推进的执行力有保障,出的问题总是之前觉得低风险的地方。...这也给我们一个警示:数据库或系统运,每一个环节都要细致入微,唯有如此才能保障长治久安。...、数据库,监控是根本,及时发现、分析和解决出现的问题,是运保障系统稳定的关键,任何一个简单的错误都不容轻忽。 加强监控,收集和分析足够多的数据,是系统的最佳保障! 图:对客户系统错误的分析。

3.4K60

MySQL 数据库优化(运角度)

2、数据库部署 该运工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...在这样数据库集群架构中,大大增加数据库高并发能力,解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS,那么5台就能处理1w QPS,数据库横向扩展性也很容易。...如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。...5、数据库维护 数据库维护是运工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与运相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。

4.4K20

随机三图像中可以找到多少动物和阿尔物形?

文章标题中的阿尔物形(Arp-nimal)指的是法国雕塑家让·阿尔(Jean Arp)雕塑风格的对象,是一种平滑、圆形、随机卷曲的生物形态。...阿尔物形相当普遍,任何种子都可以生成它们。我们从一个相对较小的图像开始。图像越大,包含的阿尔物形越多。 随机三图像的形状 乍一看很难相信,上面三形状的蓝图存在于最后一个3D方块中。...这里是从三图像中找到的区域,在原始位置分别着色。 为了平滑外边界,使形状更像动物、阿尔物形或外星人,自定义函数 smooth3D 是循环细分算法的快速粗糙应用。...而只要不到320美元,就可以获得这款阿尔风格的纯铜雕塑。 一个完美、独特、令人惊叹的后情人节礼物。下面有数百个可供打印的形状。我们使用 ShellRegion 制作中空区域从而节省材料降低造价。...(有关在阿尔年轻时代使用阴影进行艺术创作的概述,请参阅 Forgione1999, http://caa.tandfonline.com/doi/abs/10.1080/00043079.1999.10786899

98960

【数据分享】历次人口普查数据(一到七

第七次人口普查已经结束,那么,为了方便大家把七数据与之前的数据做对比,地理遥感生态网整理了从一到七人口数据,并且把第七次人口普查的数据也一并分享给大家。 ​...其中,一、二、三、七是pdf文件不能直接编辑,其它数据皆为excel表格,可以直接复制编辑。...六部分城市男女人数及性别比(男/女) 通过每一次普查数据的性别比我们可以发现: 一时,内蒙古性别比最高为1.286,山东最低为0.989, 二时,内蒙古性别比最高为1.119,西藏最低为0.913..., 三时,内蒙古性别比最高为1.090,西藏最低为0.978, 四时,广西性别比最高为1.103,西藏最低为1.002, 五时,广西性别比最高为1.128,山东最低为1.025, 六时,天津性别比最高为...此外,小编还制作了一份四、五、六的动态图表,用以表现不同地区,不同学历随时间变化的人口数量变化关系(动图已放入分享文件中)。 ​ 不同地区不同学历随时间变化的人口数量变化关系 还看什么呢?

2.3K20

数据库从二世界,走到三宇宙

,SQL ,NO SQL, NEW SQL ,这个图数据库属于哪个阵营,三体里面有一个名词叫,降打击,如果说SQL , NO SQL, NEW SQL 解决的是二世界的问题,图数据库就属于升为,并且他要处理的问题...,就如同虫洞一样,在二世界的人们,怎样都要从者一端走到另一端, 而将一张纸折叠起来,你和另一端的距离可能就是0。...图数据库或许就是这个非二世界的使者,让你千万次的问,变成1次。 故事的开始首先就的从笛卡尔积开始,因为这是传统数据库的二起源。...NO SQL 的mongodb ,redis, 对于数据库的关系,key value ,以及 JSON 数据库的嵌套和数组。这些数据库基本上都是在 二上玩耍的。...图数据库,就类似于下面这张图上的,点和点之间的关系,求某点和某点最近的距离的问题,这对上面的数据库,来说是很难通过简单的方式来做的,本着一贯的使用数据库来降低开发成本的思路,使用对应的数据库必然是要走的路径

44400

数据库场景中的连接

这是学习笔记的第 1827篇文章 在数据库中对运场景建立连接是一种很不错的方式,通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。 以下是近期的一些实践和思路。...业务和运团队之间工作的一个纽带就是工单,当然目前还没有明确的工单结算方式,但是可以很明确的说,工单是我们输出给业务方的业务价值体现。 ? 在业务价值体现的过程中,我们可以把技术价值也打包进去。...当然业务巡检的情况和SQL审核类似,页面开发出来了,但是还没有完全推广用起来,我觉得这个地方的一大改进就是把监控和报警结合起来,监控数据能够推送出报警,报警信息可以间接调用巡检接口,这样对于运同学来说

2.4K20

数据库智能运探索与实践

从自动化到智能化运过渡时,美团DBA团队进行了哪些思考、探索与实践?本文根据赵应钢在“第九届中国数据库技术大会”上的演讲内容整理而成,部分内容有更新。...背景 近些年,传统的数据库方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大,各种NewSQL系统上线使用,运逐渐跟不上业务发展,各种矛盾暴露的更加明显。...在业务的驱动下,美团点评DBA团队经历了从“人肉”运到工具化、产品化、自助化、自动化的转型之旅,也开始了智能运数据库领域的思考和实践。...本文将介绍美团点评整个数据库平台的演进历史,以及我们当前的情况和面临的一些挑战,最后分享一下我们从自动化到智能化运过渡时,所进行的思考、探索与实践。...作者简介 应钢,美团点评研究员,数据库专家。曾就职于百度、新浪、去哪儿网等,10年数据库自动化运开发、数据库性能优化、大规模数据库集群技术保障和架构优化经验。

4K10

数据库到底是不是运

我们来看看某些领导对于数据库本身的看法 1 放数据的地方,只要数据库不出问题,系统就很少出问题,数据库怎么老出问题 2 数据库和大数据比,没有什么意思,大数据能衍生出很多的项目,数据库就是一个运的...3 数据库无非就是ORACLE ,硬件配置提高点,问题就解决了,没有那么难 4 数据库就是运的事情,找点运的,开发的管管算了,没有必要投入太大 估计有些同学看完上面的一些上层对DB的本质工作的看法...从事这个行业有些年头了,实际上运管理好的,开发管理好的,相对于数据库本身来说,数据库管理到位的单位相对上面两种管理好的单位,要少。...如果换成其他类型的CTO 那么可想而知,数据库就是运这样的思路估计是根深蒂固的。 那么现代的数据库到底应该是什么样子的,在项目中承担了什么。...3 数据库与业务是紧密结合,与运不同,属于静态,数据库与业务是息息相关的,业务量大,数据量就变大,数据的存储时间数据的处理模式,数据与程序之间的交互等等都会随着量变变成质变,而不是与运中的静态产品

2.2K30

角度浅谈MySQL数据库优化

2、数据库部署 该运工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...在这样数据库集群架构中,大大增加数据库高并发能力,解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS,那么5台就能处理1w QPS,数据库横向扩展性也很容易。...如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。...5、数据库维护 数据库维护是运工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与运相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。 ?

4.3K100

如何运多集群数据库?58 同城 NebulaGraph Database 运实践

大量需求使用多模数据库来实现,开发成本和管理成本相对较高。 随着图数据库的发展,相关系统应用越来越成熟,于是引入专业图数据库来满足这部分业务需求的事务也提上日程。...另外,目前 NebulaGraph 在 DB-Engines 在图数据库领域排名 14,而且增长势头强劲。排名靠前的图数据库,部分不开源或者单机版开源,场景受限。...资源申请和集群管理方式 为了更好的管理和维护,图数据库在运部门集中运管理。用户按需在工单平台中提交申请即可,工单中填写详细的资源需求数据和性能需求指标,由运同学统一审核交付集群资源。...为了高效管理和运规模化的集群,需要提前规划和制定规范。...较少服务绑定 Meta 节点 ip 带来的运代价。

3.7K20
领券