首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯ES】Elasticsearch 分布式架构剖析及扩展性优化

本文介绍 ES 分布式架构基础原理,剖析分布式元数据管理模型,并介绍腾讯 ES 在分布式扩展性层面相关的优化,解析代码基于 8.5 版本。2....腾讯 ES 内核团队实现了写入分组定向路由、主从分片物理复制能力,可以减少从分片的写入栈计算开销,写入性能提升50%+。...} } );}        代码中 applyCreateIndexRequest 主要负责索引创建过程中,分配分片产生新版本的元数据,里面涉及复杂的分片分配、均衡策略流程,腾讯...,对比业界主流的分布式元数据管理模式,之后剖析了 ES 核心元数据管理模型。...最后结合集群扩展性的瓶颈介绍了腾讯在 ES 扩展性方面所做的相关优化,现阶段重点解决了元数据的扩展性,节点的扩展性后续还需持续优化以支持更大规模,目前腾讯 ES 内核已能满足绝大部分用户的扩展性需求。

3.1K50

刘金明:腾讯 EB 级对象存储架构深度剖析及实践

演讲者:刘金明 腾讯存储业务中心副总监 背景:5月23-24日,以“焕启”为主题的腾讯+未来”峰会在广州召开,广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议计算与数字化产业创新发展...腾讯存储业务中心副总监-刘金明,在+未来峰会上做了主题为《腾讯 EB 级对象存储架构深度剖析及实践》的分享,以下内容整理自演讲。 1.png 刘金明:大家好。...我是来自腾讯存储业务中心的副总裁刘金明。...6.png 腾讯的cos对外提供的可用性是99.95%,其实也就是通过我们一些常规的架构层面,一些故障自动剔除,自动重置的服务等等,我们可以做到平台足够的可用性。...腾讯EB级对象存储架构剖析及实践.pptx

1.9K148
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    微信、QQ都在用的腾讯EB级对象存储架构剖析

    背景:5月23-24日,以“焕启”为主题的腾讯+未来”峰会在广州召开,广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议计算与数字化产业创新发展。...来自腾讯TEG技术工程事业群架构平台部的刘金明在腾讯+未来”峰会的「开发者专场」做了主题为“腾讯EB级对象存储架构剖析及实践”的技术内容分享。...关于对象存储,我们先从腾讯存储平台TFS开始说起,早在2016年腾讯推出了自研的存储平台TFS,几年间为相册、QQ、微信、微云、腾讯视频等腾讯内部产品提供了优质的存储服务。 ?...2013年,腾讯把存储能力包装之后开始对外开放。 2014年,腾讯存储突破500PB,数据量达到万亿级别。 2015年,引擎升级商用标准化,数据量达到EB级别。...未来腾讯COS会推出更多应用类的解决方案给广大客户。

    4.9K10

    腾讯TStack网络架构

    概述 TStack整体部署网络架构,采用接入+汇聚二层扁平网络组网架构,如下图所示: image2020-11-9_15-12-29.png 虚拟化计算,块存储,对象存储支持大二层扁平组网,支持交换机线性扩展...通用计算资源区指平台计算节点和存储节点,通常按照计算/存储节点类型分为不同的AZ;管理区服务器指平台的管理节点、网络节点,一般都是各大于3台构成, 随着平台的规模增多,管理资源也可以水平扩容,形成负载分担...网络分类 TStack平台网络分为管理网、存储接入网、存储内部复制网、业务网(虚拟机数据网)、外部网络和IPMI网,如下图: image2020-11-9_15-57-20.png 管理网:采用千兆网络接口...,确保管平台对各物理节点的远程访问与控制; 存储接入网:采用万兆网络接口,确保平台上承载的业务系统对存储的访问; 存储内部复制网:采用万兆网络接口,确保存储集群之间的访问 业务网(虚拟机数据网):采用万兆网络接口...,确保平台上承载的业务系统之间的互联互通; 外部网络:采用万兆网络接口,确保平台私有网络与物理网络的互访。

    5.7K83

    架构设计:腾讯架构在线制作

    Freedgo Design 提供工具在线绘制腾讯架构图,该工具为您提供一组符号、图标和工具,只需点击几下鼠标即可创建腾讯架构图 , 并且可以将腾讯架构设计导出成图像(JPG,PNG,SVG 和PDF...从计算,存储,网络,CDN,数据库,中间级,大数据套件,人工智能,物联网 以下是产品图标: [腾讯架构图] 计算 [腾讯架构图] 数据库 [腾讯架构图] 大数据及区块链 [腾讯架构图] 物联网...、金融、游戏 [腾讯架构图] 域名与网站 [腾讯架构图] 中间件、量子 [腾讯架构图] 安全与存储 [腾讯架构图] 如何制作腾讯架构图?...AI视觉应用架构设计 [腾讯架构图] 下面列出了如何使用Freedgo Design制作轻松创建腾讯架构图的步骤。...进入制图页面后 点击 文件 -> 从类型中新建 -> 架构 -> 腾讯 [在线制图 腾讯架构图] 或者点击图例,在图例中找到 网络架构 -> 网络图,选择一个类似的图例进行改动 [在线制图 腾讯架构

    12K42

    腾讯虚拟网络架构揭秘

    本次内容根据2017年11月5日腾讯网络技术沙龙北京站腾讯网络产品中心专家工程师王营的演讲内容整理而来,主要分享腾讯虚拟网络背后的技术架构,以及如何来实现虚拟网络技术架构中的高可用、高性能、可扩展性等...我是腾讯网络产品中心的工程师我叫王营。...今天主要介绍腾讯整个技术架构,将从虚拟网络数据平面、控制平面,包括VPC网络监控等各方面,来给大家做一个全面的介绍,让大家对腾讯网络整体的技术架构有一定了解。...首先我们先从宏观方面来看一看,腾讯网络的基本介绍,包括网络产品,以及我们在实现计算这种技术架构面临的一些问题。...把我们自己内部的一些技术积累,再结合开源的技术,最终形成了我们目前腾讯网络整体技术架构。 但是我们这个基础架构,也不是说一开始就达到现在的这种状态,而是中间有了不同阶段的演进。

    9.1K65

    腾讯 — LAMP 架构实践分享

    关于LAMP的环境部署文档随处可搜,腾讯官网环境部署介绍可参阅: 手动搭建LAMP环境:https://cloud.tencent.com/document/product/213/38402 镜像部署...,提供经济的软件成本 2:开源社区积累丰富,应用程序稳定,可以快速上手 3:兼容性好,LAMP架构由各自独立的程序架构在一起使用,拥有了很好的兼容度 跳过部署,我们今天交流的是“LAMP 架构实践”...,围绕如何在架构安全,弹性,高可用的LAMP Web应用架构进行一些实践分享。...2.2.IAAS+COS+RDS 部署模式 对于传统架构环境下可以更好的提出“化”方案,这里我们实践通常将CVM部署MYSQL 替换成 RDS for MySQL 数据库,增加COS存储类型存放静态...后端MySql服务器可以快速的实现多副本、容灾架构。依托读写分离、增加缓存数据库等方案可以快速优化数据库方案。

    3.2K10

    腾讯支付系统架构介绍

    腾讯支付是借力TEG多年沉淀的技术能力,由腾讯联合微信支付推出的移动收单SaaS服务,旨在为商户提供一个安全、稳定、高效、易用、低成本接入微信支付的解决方案,助力移动支付行业快速健康地发展。...1.3 支付在支付链路中的位置 ? 二、支付资金安全 对于支付类系统而言,安全性就是指资金安全,资金安全又可以分为数据权限和一致性两个层面。...支付系统所处的场景有其特殊性: 1. 支付系统跟支付渠道的上下游关系,导致天然分区,P一定要满足; 2. 支付类系统对数据一致性要求高,C也得满足; 3....BASE理论在支付系统的体现: ? 串行化:使用分布式锁(公众号文章:计算时代的数据库核弹头-Tencent MySQL (TXSQL) 锁系统扩展),将外部请求串行化,解决消息乱序的问题。...以支付为例,在用户关掉支付键盘的情况,如果只需还要继续,支付不得不使用原单数据,换单号,换支付授权码重试。

    7.5K41

    mycat架构剖析

    mycat架构剖析 1.1 MyCat总体架构介绍 1.1.1 源码下载及导入 1.1.2 总体架构 1.1.3 总体执行流程 1.2 MyCat网络I/O架构及实现 1.2.1 BIO、NIO...与AIO 1.2.2 通信架构 1.1 MyCat总体架构介绍 1.1.1 源码下载及导入 导入Idea 1.1.2 总体架构   MyCat在逻辑上由几个模块组成: 通信协议、路由解析、结果集处理...监控主要通过管理指令及监控服务展现一些监控数据; 管理则主要通过轮询事件来检测和释放不适用的资源; 1.1.3 总体执行流程 1.2 MyCat网络I/O架构及实现 1.2.1 BIO、NIO与AIO...1.2.2 通信架构   在MyCat中实现了NIO与AIO两种I/O模式, 可以通过配置文件server.xml进行指定 : 1 usingAIO为1代表使用AIO模型 , 为0表示使用NIO模型; MyCat的AIO架构 1).

    26040

    CRS : 腾讯 Redis 产品架构解析

    作者:邹建平 背景介绍 随着互联网业务的快速发展,基于传统关系数据库的数据存储方案暴露了系统架构可伸缩性差、海量数据下性能存在短板、数据模型过于复杂并难以调整等问题,而关系数据库所提供的强一致性、事务性...虽然Redis在数据结构和接口上简单易用,但在业务实践和运维过程中,还是存在不少的问题: 伸缩性不佳,业界普遍使用的原生Redis在架构上是一个单机存储系统,当单机容量出现瓶颈时,分库分表需要业务强参与...3 CRS 存储redis产品 3.1. CRS综述 CRS (cloud redis store)是腾讯推出的兼容开源Redis协议的分布式存储产品。...下面先从Grocery的业务现状、历史版本变化、技术特点再到redis引入的改造优化技术点来介绍CRS的架构特点。 3.3.1....集群化配额管理 在环境中,机器以分布式的方式进行工作。

    13.5K32

    基于腾讯的个人网站架构

    本文介绍如何基于腾讯的各种产品优雅地搭建个人网站,涉及的产品有服务器、SSL、企业邮箱、对象存储、CDN、函数、API网关、监控等。...下面以基于腾讯搭建的个人网站为例,对网站整体的架构进行介绍。 网站目前的主要功能是个人博客,后续可以扩展如个人网盘等其他应用。...当前架构图如下: [博客架构图] 一、基础设施 1.服务器CVM 服务器使用的是CVM,1核2G,下行带宽1Mbps,这个配置用来搭建起步阶段的个人博客是完全够用了,购买学生机或者在活动时购买价格也比较便宜...这种消息通知的功能是很适合单独拆分出来形成一个消息服务的,如果写在博客源码中则复用性差(网站下其他应用要发送消息时需要重写),而单独部署服务又会增加运维的成本(如果服务挂掉怎么办),这时候可以考虑serverless(无服务器)的架构...腾讯提供了函数SCF(Serverless Cloud Function),是一种FaaS技术。

    5.1K31

    腾讯— LAMP 架构个人实践分享

    关于LAMP的环境部署文档随处可搜,腾讯官网环境部署介绍可参阅: 手动搭建LAMP环境:https://cloud.tencent.com/document/product/213/38402 镜像部署...,提供经济的软件成本 2:开源社区积累丰富,应用程序稳定,可以快速上手 3:兼容性好,LAMP架构由各自独立的程序架构在一起使用,拥有了很好的兼容度 跳过部署,我们今天交流的是“LAMP 架构实践”...,围绕如何在架构安全,弹性,高可用的LAMP Web应用架构进行一些实践分享。...2.2.IAAS+COS+RDS 部署模式 对于传统架构环境下可以更好的提出“化”方案,这里我们实践通常将CVM部署MYSQL 替换成 RDS for MySQL 数据库,增加COS存储类型存放静态...后端MySql服务器可以快速的实现多副本、容灾架构。依托读写分离、增加缓存数据库等方案可以快速优化数据库方案。

    3.1K20

    腾讯单元化架构体系介绍

    在金融科技转型的关键时期,为增强腾讯在金融核心系统的"转型"、"上"、"单元化"等方面的解决方案,本文基于多个金融行业一线项目,经过总结、梳理、沉淀形成符合腾讯产品特征与交付体系的单元化架构体系。...单元化架构与微服务架构的差异?以及腾讯的单元化解决方案。 2.技术架构发展历程 2.1 单体架构 集中式单体架构,程序和数据库都在一台主机上面。...图4.5 腾讯单元化架构(TCUA) 腾讯单元化架构(TCUA)是一种针对金融分布式核心系统技术架构的分层次、分领域、体系化的架构思想: 接入单元(ADU):Access Deployment Unit...在案例的推广与传播方面也带来了很大干扰,因此,提出符合腾讯产品特征的单元化架构体系势在必行。...与此同时,腾讯在2024年5月联合长亮科技、神州信息、中电金科一同发布了《腾讯商业银行核心系统分布式转型白皮书》及《上核心转型最佳实践》,为整个行业科技转型做出贡献。

    87523

    腾讯认证架构工程师考试攻略

    腾讯架构工程师认证的考试经验分享来啦!腾讯架构工程师认证(TCA)是针对解决方案架构师基础技能的认证。...如何备考腾讯架构工程师认证 和从业者的学习方式类似,我们依旧建议先查阅好架构师认证的考试大纲,了解考试的知识点范围;然后再学习视频课程,通过课程可以系统性地了解认证考试的全部知识点;最后结合产品的实际体验和以及查阅腾讯产品文档...现行考试大纲共包括6个知识模块:腾讯产品基础知识、腾讯架构设计基础、设计高可用架构、设计分层解耦的架构、设计高性能的架构架构设计优化。...知识点整理如下: 图片 第一模块腾讯产品基础知识,主要是对腾讯基础产品的考察。架构工程师的能力是对腾讯上产品进行合理组合,那么在架构设计中常用的一些基础产品要能熟悉使用。...图片 第二模块腾讯架构设计基础,主要是介绍架构的主要设计原则和设计思路,为后面的模块展开做了基本的铺垫,包括架构的高可用、高扩展、高安全、低成本的设计原则。

    5.3K30

    Thanos的架构剖析

    最上面一层Prometheus是联邦节点,负责从下面的Prometheus中定时获取数据并汇总,部署多个联邦节点是为了实现高可用,下面一层的Prometheus负责不同区域的数据采集,在多机房的部署架构中...这种架构不仅降低了单个Promtheus的采集压力,而且通过联邦汇聚核心数据,降低了本地存储的压力,为了避免下层Prometheus的单点故障,可以部署多套Prometheus节点,但是效率上会差很多,...这种架构配置相对复杂,缺少统一的全局视图; 2. 对历史存储问题仍未得到解决,必须依赖第三方存储,并且缺少针对历史数据的降准采样能力; 3. Prometheus在设计之初就是一款实时的监控系统。...Thanos的实现 Thanos架构图如下图所示,主要由四个组件组成:Querier、Slidercar、Store和Compactor。 ?

    2.9K11
    领券