首页
学习
活动
专区
工具
TVP
发布

如何多集群数据库?58 同城 NebulaGraph Database 实践

资源申请和集群管理方式 为了更好的管理和维护,图数据库在运部门集中管理。用户按需在工单平台中提交申请即可,工单中填写详细的资源需求数据和性能需求指标,由同学统一审核交付集群资源。...为了高效管理和规模化的集群,需要提前规划和制定规范。...61000 meta 端口;51000 ws_http_port;41000 ws_h2_port 62000 storage 端口;52000 ws_http_port;42000 ws_h2_port 规范...端口 路径打包生成 rpm,作为标准安装包 图片 服务请求直接通过 DNS 和网关服务到 Graph,方便计算和存储服务直接交互,由于是通过 DNS 访问,不对外暴露 Meta 节点信息,可以更灵活的...,较少服务绑定 Meta 节点 ip 带来的代价。

3.7K20
您找到你想要的搜索结果了吗?
是的
没有找到

数据库 | 携程分布式图数据库NebulaGraph治理实践

经过调研,我们选择分布式图数据库 NebulaGraph 作为管理的对象,主要基于以下几个因素考虑: NebulaGraph 开源版本即拥有横向扩展能力,为大规模部署提供了基本条件; 使用自研的原生存储层...,相比 JanusGraph 这类构建在第三方存储系统上的图数据库,性能和资源使用效率上具有优势; 支持两种语言,尤其是兼容主流的图技术语言 openCypher,有助于用户从其他使用 Cypher 语言的图数据库...考虑到使用图数据库的业务大多数据来自离线系统,通过离线作业将数据导入到图数据库中,数据一致的要求并不高,在这种条件下使用蓝绿部署能够在灾备和性能上得到很好的满足。...生产上的一个例子: 图片 上图为三机房情况,下图为蓝绿部署情况: 图片 中间件及管理 我们基于 K8s CRD 和 Operator 来进行 NebulaGraph 的部署,同时通过服务集成到现有的部署配置页面和管理页面...NebulaGraph 二次开发 当前我们对 NebulaGraph 的修改主要集中的几个相关的环节上,比如新增了命令来指定迁移 storaged 中的分片,以及将 leader 迁移到指定的实例上

3.2K40

数据库监控是之本

前一段时间用户的系统进行应用发布和系统,准备了很久,结果我们最为担心的数据库维护环节没有出现问题,却在应用发布的阶段出现麻烦,因为程序未设置正确的字符集,导致插入了乱码数据,结果又不得不重来。...移动的朋友总结了一句话,非常有道理:保障总是从最高风险点开始逐步推进,悖论是如果这样推进的执行力有保障,出的问题总是之前觉得低风险的地方。...这也给我们一个警示:数据库或系统,每一个环节都要细致入微,唯有如此才能保障长治久安。...、数据库,监控是根本,及时发现、分析和解决出现的问题,是保障系统稳定的关键,任何一个简单的错误都不容轻忽。 加强监控,收集和分析足够多的数据,是系统的最佳保障! 图:对客户系统错误的分析。

3.4K60

MySQL 数据库优化(角度)

2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...在这样数据库集群架构中,大大增加数据库高并发能力,解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS,那么5台就能处理1w QPS,数据库横向扩展性也很容易。...如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。...5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。

4.4K20

的感悟(做需要考虑事,组织结构,学习地图....)

数据库 数据库负责数据存储方案设计、数据库表设计、索引设计和SQL优化,对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。...(4)数据库监控 完善数据库存活和性能监控,及时了解数据库运行状态及故障。...(7)自动化系统建设 设计开发数据库自动化维系统,包括数据库部署、自动扩容、分库分表、权限管理、备份恢复、SQL审核和上线、故障切换等功能。...研发 研发负责通用的平台设计和研发工作,如:资产管理、监控系统、平台、数据权限管理系统等。提供各种API供或研发人员使用,封装更高层的自动化维系统。详细的工作职责如下所述。...要做DBA,就要专门研究数据库,搞清楚数据库的原理结构,每个详细点。 每一门往后都有大量的东西要学习的,专精才能钱多,并且有成长。 不过当前都在往开发方向靠拢,未来的都要会一些开发才行。

5.8K96

数据库智能探索与实践

从自动化到智能化过渡时,美团DBA团队进行了哪些思考、探索与实践?本文根据赵应钢在“第九届中国数据库技术大会”上的演讲内容整理而成,部分内容有更新。...背景 近些年,传统的数据库方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大,各种NewSQL系统上线使用,逐渐跟不上业务发展,各种矛盾暴露的更加明显。...在业务的驱动下,美团点评DBA团队经历了从“人肉”到工具化、产品化、自助化、自动化的转型之旅,也开始了智能数据库领域的思考和实践。...w=1340&h=672&f=png&s=274797] 上图是传统维和智能的特点分析,左边属于传统,右边属于智能。...作者简介 应钢,美团点评研究员,数据库专家。曾就职于百度、新浪、去哪儿网等,10年数据库自动化开发、数据库性能优化、大规模数据库集群技术保障和架构优化经验。

3.9K10

数据库场景中的连接

这是学习笔记的第 1827篇文章 在数据库中对场景建立连接是一种很不错的方式,通过建立连接使得我们可以把原本单一的问题通过流程化的方式衔接起来。 以下是近期的一些实践和思路。...业务和团队之间工作的一个纽带就是工单,当然目前还没有明确的工单结算方式,但是可以很明确的说,工单是我们输出给业务方的业务价值体现。 ? 在业务价值体现的过程中,我们可以把技术价值也打包进去。...当然业务巡检的情况和SQL审核类似,页面开发出来了,但是还没有完全推广用起来,我觉得这个地方的一大改进就是把监控和报警结合起来,监控数据能够推送出报警,报警信息可以间接调用巡检接口,这样对于同学来说

2.3K20

数据库到底是不是

我们来看看某些领导对于数据库本身的看法 1 放数据的地方,只要数据库不出问题,系统就很少出问题,数据库怎么老出问题 2 数据库和大数据比,没有什么意思,大数据能衍生出很多的项目,数据库就是一个的...3 数据库无非就是ORACLE ,硬件配置提高点,问题就解决了,没有那么难 4 数据库就是的事情,找点的,开发的管管算了,没有必要投入太大 估计有些同学看完上面的一些上层对DB的本质工作的看法...从事这个行业有些年头了,实际上管理好的,开发管理好的,相对于数据库本身来说,数据库管理到位的单位相对上面两种管理好的单位,要少。...如果换成其他类型的CTO 那么可想而知,数据库就是这样的思路估计是根深蒂固的。 那么现代的数据库到底应该是什么样子的,在项目中承担了什么。...3 数据库与业务是紧密结合,与不同,属于静态,数据库与业务是息息相关的,业务量大,数据量就变大,数据的存储时间数据的处理模式,数据与程序之间的交互等等都会随着量变变成质变,而不是与中的静态产品

2.2K30

角度浅谈MySQL数据库优化

2、数据库部署 该工程师出场了,项目初期访问量不会很大,所以单台部署足以应对在1500左右的QPS(每秒查询率)。...在这样数据库集群架构中,大大增加数据库高并发能力,解决单台性能瓶颈问题。如果从数据库一台从库能处理2000 QPS,那么5台就能处理1w QPS,数据库横向扩展性也很容易。...如果做双主,就会遇到数据库数据不一致现象,产生这个原因是在应用程序不同的用户会有可能操作两台数据库,同时的更新操作造成两台数据库数据库数据发生冲突或者不一致。...5、数据库维护 数据库维护是工程师或者DBA主要工作,包括性能监控、性能分析、性能调优、数据库备份和恢复等。...这些都是与相关的前沿技术,也是在存储方面主要学习对象,小伙伴们共同加油吧!哪位博友有更好的优化方案,欢迎交流哦。 ?

4.3K100

必备的免费在线画图工具,真的很好用!

都说一图胜千言,一个IT工程师如果能画的一手好图,无论是在方案选项、还是技术交流,都能快速表达自己的想法,让你的思路更加的直观明了;市面上的制图工具有很多,下面就推荐几款好用且免费的工具,绝对让你分分钟就爱上...在线白板:Zen Flowchart提供免费在线白板。让你快速实时协作和头脑风暴。 在线任务管理:使用待办事项管理软件Zen Task管理个人和工作任务。与团队成员和客户轻松协作。...免费翻页电子书工具:为你的受众提供一个无缝的在线图书阅读体验,用一个强大的书架来组织你的目录。 统计图表工具:用免费的图表制作工具在线制作漂亮的图表。在几分钟内创建具有自定义风格的图表。

38140

故事】小白黑化记

来源:人那些事儿 ID:jzjytd2016 【01】换工作 2017年8月份的某一个晴朗慵懒的下午,我在望京中环南路7号西家大院E楼5层最角落且紧靠大落地窗的工位上掐指一算,我在研究院竟然已经工作...顶着小伙伴和家人都觉得你脑子进水的诧异目光,我开始了我的换工作大业,从实习开始就在研究院工作,突然开始可以选择了竟然有些茫然,种种纠结波折暂且不表,总之,在2017年12月18号,我走进了东四157号,正式成为了银河信息化集中交易团队的一份子...每每想到这些,我除了自责、懊恼、自我怀疑之外,也深深体会到了团队成员的团结和大家释放出来的善意,对于团队来讲,每天来自业务部门及客户的压力非常大,小心翼翼,如履薄冰,全部精力用来对抗外部还不够,对于团队内部制造麻烦消耗精力的人的态度...这次经历也让我对工作有了新的认识和更多的思考,在这里和大家分享一下: 操作层面 1....线上操作无小事”,坚持 “双人复核”,坚持“按照流程操作” 端正心态,受过去经历和个人性格的影响,我是一个有一点个人英雄主义倾向的人,来到新的团队,更是急于证明自己,心态出了问题自然会导致路线跑偏,生产系统线上是一个严谨度要求非常高的工作

2.1K30

管理与自动化

4.2 环境定义自动化环境自定义分两种情况:(1)中小公司,测试环境包含所有的系统,即系统间是不隔离的,数据库中包含各种系统对应的库;(2)大公司,每套系统需要单独一套隔离的测试环境,各系统间不能互相访问...另外,对于大中型自动化平台而言, CMDB和配置系统依然不可或缺。CMDB即配置管理数据库,一般用于统一管理IT数据、服务器数据资产等。...7.2 管理文章开头说管理主要目标是标准化/规范化,自动化,可视化/web化,从切身体验来看管理的目标也是随着自动化阶段的不同而变化的。...理由:(1)自动化的价值在于,将从繁琐的、例行、容易发生人为事故的工作中脱离出来,做更有价值的业务维和服务。所以,从这个角度来看,自动化既不是起点,也不是终点。...自动化不是万能的,我们需要看清楚它的位置。(2)的本质到底是服务,是服务于业务,因为是用技术解决业务问题,的价值要依托于业务才能体现。

47060

IT发展进程中不同时期的差异!传统、互联网、业务

作为IT运行的有力保障,在不同时期和不同类型的企业中正在发挥着越来越大的支撑和引领作用,今天就让我们聊聊信息化时代的传统、互联网时代的互联网维和数字化时代的业务有什么不同!...传统部门在制订IT设备和信息化系统管理目标时,关注的是一台台IT设备的故障率和一套套应用系统的可用性,在基础设施、数据库、中间件、灾备、存储等环节通常大量采用商业闭源的软硬件产品及其解决方案,设备的开放性差...因此,互联网在基础设施、数据库、中间件、分布式存储、自动化部署等环节通常大量采用开源或基于SaaS的自动化监控工具,如Zabbix、Nagios和云智慧监控宝等,这些产品的横向扩展能力很强,具有分布式...故障发生时,要求互联网能够第一时间发现问题,并快速进行根因分析,依靠人工巡检的传统管理方式严重落后,自动化逐渐流行。...未来,随着机器学习、深度学习等技术的不断成熟,AI技术将在业务体系中得到广泛的应用,共同推动IT市场的进步,而这就是业务在几年之后发展方向——智能AIOps。

3.1K200

杂谈

前几天和一个朋友聊天,谈到的方方面面。简要记录如下: 1、关于愿景 建立标准化的体系,打造透明化的综合服务平台。...3、关于团队和个人的价值 这个价值是随着的阶段变化而变化的,我之前在一篇文章中阐述了我的观点,我把分成几个阶段-----单机运、组件化、服务化、云化,在每一个阶段都有他各自的特点...在YY的团队划分是:一线、应用(业务)、平台(网络、系统数据库)、开发(监控和工具开发两个方向)、IT、应用、安全。...在腾讯部门团队:分成三个中心: 中心:前端、中间层、数据层、基础开发 运营分析中心:面向产品的运营分析和数据挖掘、面向技术的数据分析(没有挖掘) 基础架构中心:负责公共组件的开发...16、 关于金融维和互联网的区别 金融是规范式的,互联网是开放式、激情式的;金融的难点是对于商业产品的把控能力;互联网的难点是敏捷业务驱动下如何做出好吃的大杂烩。

6.4K11
领券