首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

如何多集群数据库?58 同城 NebulaGraph Database 实践

资源申请和集群管理方式 为了更好的管理和维护,图数据库在运部门集中管理。用户按需在工单平台中提交申请即可,工单中填写详细的资源需求数据和性能需求指标,由同学统一审核交付集群资源。...为了高效管理和规模化的集群,需要提前规划和制定规范。...61000 meta 端口;51000 ws_http_port;41000 ws_h2_port 62000 storage 端口;52000 ws_http_port;42000 ws_h2_port 规范...端口 路径打包生成 rpm,作为标准安装包 图片 服务请求直接通过 DNS 和网关服务到 Graph,方便计算和存储服务直接交互,由于是通过 DNS 访问,不对外暴露 Meta 节点信息,可以更灵活的...,较少服务绑定 Meta 节点 ip 带来的代价。

3.7K20

数据库 | 携程分布式图数据库NebulaGraph治理实践

经过调研,我们选择分布式图数据库 NebulaGraph 作为管理的对象,主要基于以下几个因素考虑: NebulaGraph 开源版本即拥有横向扩展能力,为大规模部署提供了基本条件; 使用自研的原生存储层...,相比 JanusGraph 这类构建在第三方存储系统上的图数据库,性能和资源使用效率上具有优势; 支持两种语言,尤其是兼容主流的图技术语言 openCypher,有助于用户从其他使用 Cypher 语言的图数据库...考虑到使用图数据库的业务大多数据来自离线系统,通过离线作业将数据导入到图数据库中,数据一致的要求并不高,在这种条件下使用蓝绿部署能够在灾备和性能上得到很好的满足。...生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和管理页面...NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

3.3K40

数据库监控是之本

前一段时间用户的系统进行应用发布和系统,准备了很久,结果我们最为担心的数据库维护环节没有出现问题,却在应用发布的阶段出现麻烦,因为程序未设置正确的字符集,导致插入了乱码数据,结果又不得不重来。...移动的朋友总结了一句话,非常有道理:保障总是从最高风险点开始逐步推进,悖论是如果这样推进的执行力有保障,出的问题总是之前觉得低风险的地方。...这也给我们一个警示:数据库或系统,每一个环节都要细致入微,唯有如此才能保障长治久安。...、数据库,监控是根本,及时发现、分析和解决出现的问题,是保障系统稳定的关键,任何一个简单的错误都不容轻忽。 加强监控,收集和分析足够多的数据,是系统的最佳保障! 图:对客户系统错误的分析。

3.4K60

MySQL 数据库优化(角度)

2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...在这样数据库集群架构中,大大增加数据库高并发能力,解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS,那么5台就能处理1w QPS,数据库横向扩展性也很容易。...如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。...5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。

4.4K20

数据库rds怎么用?云数据库rds的优势是什么?

数据库rds属于关系型数据库,是比较稳定可靠,可弹性伸缩的在线数据库服务,支持多种引擎,可以提供备份,恢复,迁徙等方面的服务,所以在现在的很多场景中都有很好的应用。那么云数据库rds怎么用?...云数据库RDS的优势是什么? 云数据库RDS使用步骤 云数据库rds怎么用?...在创建完了云数据库之后才能进行使用,首先是点击云数据库RDS,进入RDS数据库的基本信息,就可以看到数据库的地域,可用区,还有一些基本配置信息。...当我们拥有了数据库数据库账号之后,就可以通过这个账号去连接云数据库RDS了。 云数据库RDS的优势 了解了云数据库rds怎么用,接下来再来了解一下云数据库RDS的优势。...云数据库RDS的优势主要有三大优势,分别是可轻松部署,具备高可靠性和低成本。所谓的轻松部署,是用户可以通过控制台轻松地完成数据库的申请和创建,几分钟之内就可以投入使用数据库,所以相当得轻松。

9.9K30

的感悟(做需要考虑事,组织结构,学习地图....)

数据库 数据库负责数据存储方案设计、数据库表设计、索引设计和SQL优化,对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。...(4)数据库监控 完善数据库存活和性能监控,及时了解数据库运行状态及故障。...(7)自动化系统建设 设计开发数据库自动化维系统,包括数据库部署、自动扩容、分库分表、权限管理、备份恢复、SQL审核和上线、故障切换等功能。...研发 研发负责通用的平台设计和研发工作,如:资产管理、监控系统、平台、数据权限管理系统等。提供各种API供或研发人员使用,封装更高层的自动化维系统。详细的工作职责如下所述。...要做DBA,就要专门研究数据库,搞清楚数据库的原理结构,每个详细点。 每一门往后都有大量的东西要学习的,专精才能钱多,并且有成长。 不过当前都在往开发方向靠拢,未来的都要会一些开发才行。

5.8K96

数据库场景中的连接

这是学习笔记的第 1827篇文章 在数据库中对场景建立连接是一种很不错的方式,通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。 以下是近期的一些实践和思路。...业务和团队之间工作的一个纽带就是工单,当然目前还没有明确的工单结算方式,但是可以很明确的说,工单是我们输出给业务方的业务价值体现。 ? 在业务价值体现的过程中,我们可以把技术价值也打包进去。...当然业务巡检的情况和SQL审核类似,页面开发出来了,但是还没有完全推广用起来,我觉得这个地方的一大改进就是把监控和报警结合起来,监控数据能够推送出报警,报警信息可以间接调用巡检接口,这样对于同学来说

2.4K20

数据库智能探索与实践

背景 近些年,传统的数据库方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大,各种NewSQL系统上线使用,逐渐跟不上业务发展,各种矛盾暴露的更加明显。...在业务的驱动下,美团点评DBA团队经历了从“人肉”到工具化、产品化、自助化、自动化的转型之旅,也开始了智能数据库领域的思考和实践。...现状和面临的挑战 下图是我们平台的现状,以关系数据库RDS平台为例,其中集成了很多管理的功能,例如主从的高可用、MGW的管理、DNS的变更、备份系统、升级流程、流量分配和切换系统、账号管理、数据归档、服务与资产的流转系统等等...w=1354&h=866&f=png&s=251049] 而且我们按照逻辑对平台设计进行了划分,例如以用户维度划分的RDS自助平台,DBA管理平台和测试环境管理平台;以功能维度划分的、运营和监控;以存储类型为维度划分的关系型数据库...作者简介 应钢,美团点评研究员,数据库专家。曾就职于百度、新浪、去哪儿网等,10年数据库自动化开发、数据库性能优化、大规模数据库集群技术保障和架构优化经验。

4K10

数据库到底是不是

我们来看看某些领导对于数据库本身的看法 1 放数据的地方,只要数据库不出问题,系统就很少出问题,数据库怎么老出问题 2 数据库和大数据比,没有什么意思,大数据能衍生出很多的项目,数据库就是一个的...3 数据库无非就是ORACLE ,硬件配置提高点,问题就解决了,没有那么难 4 数据库就是的事情,找点的,开发的管管算了,没有必要投入太大 估计有些同学看完上面的一些上层对DB的本质工作的看法...从事这个行业有些年头了,实际上管理好的,开发管理好的,相对于数据库本身来说,数据库管理到位的单位相对上面两种管理好的单位,要少。...如果换成其他类型的CTO 那么可想而知,数据库就是这样的思路估计是根深蒂固的。 那么现代的数据库到底应该是什么样子的,在项目中承担了什么。...3 数据库与业务是紧密结合,与不同,属于静态,数据库与业务是息息相关的,业务量大,数据量就变大,数据的存储时间数据的处理模式,数据与程序之间的交互等等都会随着量变变成质变,而不是与中的静态产品

2.2K30

角度浅谈MySQL数据库优化

2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...在这样数据库集群架构中,大大增加数据库高并发能力,解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS,那么5台就能处理1w QPS,数据库横向扩展性也很容易。...如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。...5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。 ?

4.3K100

数据库容器化|未来已来

借着回顾DBA工作中的几个时期,跟大家分享我们对下一代数据库架构的理解和目前正在做的工作。...工作的重点不再是学习数据库内核和SQL Review, 而是转而将大量的日常工作脚本化,自动化(其实是人肉+半自动)。...从精细化到集群化,从关注个别库的性能到关注集群的可用性,从依靠个人的能力到借助监控平台和大量的脚本。 这是一个转型期,对DBA的要求更综合,更全面,不会当厨子的裁缝做不了好司机。...同时,用户对于数据库自动化的要求越来越高,数据库即服务(DBaaS or RDS)的需求越来越强烈,AWS RDS 有个很精炼的总结: ?...分库分表集群:滚动升级功能 集群带来了强大功能的同时提升了工作的复杂度。比如,修改数据库配置, 替换新的数据库版本,常见的做法就是DBA 人肉的一个节点一个节点的完成变更工作。

2.3K60

容器化RDS|未来已来

借着回顾 DBA 工作中的几个时期, 跟大家分享我们对下一代数据库架构的理解和目前正在做的工作....DBA 的转型期 后来有机会去了百度, 作为一名 DBA, 给我的冲击很大, 总结下来有几个不同: ●数据库以 MySQL 为绝对多数, 并且大多数都是由开发自己....从精细化到集群化, 从关注个别库的性能到关注集群的可用性, 从依靠个人的能力到借助监控平台和大量的脚本. 这是一个转型期, 对 DBA 的要求更综合, 更全面....同时, 用户对于数据库自动化的要求越来越高, 数据库即服务(DBaaS or RDS)的需求越来越强烈, AWS RDS 有个很精炼的总结: 总结一下 : ●所有的日常工作自动化 ●高性能,数据零丢失...分库分表集群 : 滚动升级功能 集群带来了强大功能的同时提升了工作的复杂度. 比如, 修改数据库配置, 替换新的数据库版本, 常见的做法就是DBA 人肉的一个节点一个节点的完成变更工作.

5.6K60

数据库容器化|未来已来

借着回顾DBA工作中的几个时期,跟大家分享我们对下一代数据库架构的理解和目前正在做的工作。...工作的重点不再是学习数据库内核和SQL Review, 而是转而将大量的日常工作脚本化,自动化(其实是人肉+半自动)。...从精细化到集群化,从关注个别库的性能到关注集群的可用性,从依靠个人的能力到借助监控平台和大量的脚本。 这是一个转型期,对DBA的要求更综合,更全面,不会当厨子的裁缝做不了好司机。...同时,用户对于数据库自动化的要求越来越高,数据库即服务(DBaaS or RDS)的需求越来越强烈,AWS RDS 有个很精炼的总结: ?...分库分表集群:滚动升级功能 集群带来了强大功能的同时提升了工作的复杂度。比如,修改数据库配置, 替换新的数据库版本,常见的做法就是DBA 人肉的一个节点一个节点的完成变更工作。

1.2K70
领券