首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

首次揭秘1112背后的数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额, 11 已经开展了 12 年。如今,每年的 11 以及一个月后的 12,已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部 12 队长朱成、阿里巴巴业务平台 11 队长徐培德、阿里巴巴数据库 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了 11 12 背后的数据库技术...为了保证在这样的大促尖峰能够支撑逛的并发,阿里在数据库的选择上经历了从开源 MySQL 到 AliSQL 的迭代。...在 2021 年 11 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和并发 HTAP 访问的产品特性。...2021 年是阿里巴巴首个上 100% 上 11 的一年,也是阿里数据库全面原生化的一年,但是峰值计算成本相比 2020 年下降了 50%,数据库巨大的商业价值和潜力可见一斑。

31.7K50

翻过那座山,就能看见海|kubernetes让DBA更优雅地管理数据库

1.png 举个很简单的例子,某电商平台,11交易量是平时的100倍。那么问题来了,系统是按照平时的交易量来做规划,还是按照11的交易量来做规划?...如果按照平时的交易量来规划,那么11当天如何紧急扩容,过了11,硬件资源如何处理?如果按照11的交易量来规划,那就意味着平时要浪费99%的资源,这个成本从哪出?...,通过资源整合,提供了一个按需分配、灵活扩展的资源管理方法。在巨石架构中,一台服务器是最小的资源调度单元;但在上,一台服务器的资源可以被灵活拆分,多台服务器的资源可以被动态整合。...还是刚才提到的场景,电商企业大大小小的系统如果部署在上,在经历11时,除电商核心业务之外的系统完全可以出让一部分的计算资源甚至停摆一天,保障电商核心业务的使用体验。...数据库需要对数据进行存储、提取、计算,既属于计算密集负载,更属于IO密集负载。数据库容器化可以显著的提高数据库实例的性能、部署密度和计算资源利用率。

4.8K80
您找到你想要的搜索结果了吗?
是的
没有找到

腾讯100G服务器规模应用

腾讯首发 100G 服务器机型,提供标准 SA3、标准 S6、内存 M6、计算 C6 等多种机型选择,以及1核到232核的多种灵活算力配置,覆盖全行业客户使用场景;为典型的企业级软件、数据库...搭载 Intel 和 AMD 平台的最新一代处理器,结合腾讯深度的软硬件自研优化,计算性能提升最大220%、存储性能最大提升100%,为您的业务提供更强劲的单节点性能表现。...,最高云盘带宽达 64G;适用于客户业务的网络首发包、海量会话等场景,尤其是大流量、IO的网络应用场景。...星星海自研服务器具有兼容架构、支持多平台平滑切换,通过深度优化定制,使得服务器在安全性、散热性、计算能力及综合性能大幅提升。...推荐阅读 活动|分享你的故事,赢万元代金券好礼

2.9K31

腾讯服务器 标准S4配置性能及如何选择

image.png 腾讯独享服务器再出新活动。每年11腾讯都会提前半个月推出预热活动,这也是比友商提前了好处。可以吸引更多新用户关注。...让老魏带你去看看腾讯11期间推出的高性价比服务器。 一、标准 S4详情 1、是次新一代的标准实例,提供了平衡的计算、内存和网络资源,是很多应用程序的最佳选择。...更多参阅标准实例文档 二、活动特点 腾讯服务器都是独享服务器,可以独自享用百分百系统资源,无CPU限制。这点是比友商好的地方。而且这次活动的机型,1核2G才88元,真的是性价比很高的。...2核4G配置 998元/3年,平摊到每天不足 1元钱,可以拿到这么配置的服务器,确实是爆款。每天可以支持几万的访问量。不管你建站、个人博客、大中小型网站都毫无问题,毫无压力。...三、爆款提前享 1核2G带宽1M服务器 标准S4 北京 适用于个人建站及小程序需求 50G高性能硬盘 点我直达 2核4G带宽5M 服务器 标准S2/S4 上海/北京 适用于企业建站、小程序及轻量级

5.5K00

腾讯发布第三代服务器矩阵,开放更强计算力赋能产业智能化

面向存储业务场景,腾讯推出大数据机型和IO密集两款新的存储优化实例,大数据实例采用吞吐HDD本地盘,顺序读写带宽最高可达2.3GB/s,相比普通本地盘提升4.7倍,适合对磁盘吞吐要求的大数据业务...;IO密集实例则采用本地NVMe SSD硬盘,随机IOPS最高可达100w IOPS,相比SSD本地盘,随机读写IOPS提升13.3倍,适合给对IOPS性能要求的业务使用。...针对网络性能要求的业务场景,腾讯推出新型网络优化实例。...在技术上,腾讯的第一代服务器,采用第一代KVM虚拟化架构,搭配腾讯自研的管理平台Vstation,支持腾讯开服初期的Web网站服务;从第二代服务器开始,整体架构设计进化为“KVM+全万兆bonding...与过往采用至强系列处理器的服务器相比,使用定制化Skylake处理器的新一代服务器具有更高计算性能、更大内存带宽、更强存储IO性能、更低网络时延等优势。

4.2K50

并发网站服务常规应对方案和思路

一、并发量预估 作为后端的程序开发人员,经常听到并发,但是并发到底有多高?...其实是没有数值定义的 但是如果在面试的过程中,或者跟别人沟通的过程中,有人提到百万级并发那么可能三种情况 他在吹牛皮 他没有用对并发这个词 他真的很NB(例如:天猫11关联项目组的) 其实截至2019.../11/11,支付宝11订单峰值是 54.4W笔/秒,单个服务的集群的QPS破百万的恐怕也很少 要应对多少并发,我们要看一天有多少访问量/请求量,假如是一个每天有1亿请求的网站/服务 那么: 平均QPS...,预估好磁盘空间即可 3、负载均衡服务器&带宽 负载均衡服务器通常就NGINX,按照NGINX官方的介绍,志强CPU,18核36线程,请求<=1KB静态资源,只用1个核心,就可以支撑7W+连接 那么2台计算...4C8G服务器搭建两个NGINX服务器基本上也OK了,服务器带宽的话,46301KB8≈37MB,考虑到冗余,50M带宽也基本够用了 3、其他服务器 缓存服务器,阿里、腾讯有成熟服务,根据用量购买即可

1.4K10

李飞飞力荐:阿里巴巴可用数据库解决方案

因此,基于Leader/Follower/Logger的部署方式,三节点相比节点可用版,只额外增加很少的成本。...对于盘这类分布式存储,我们对接了底层的IO采样数据,定期来感知IO hang或者Slow IO的问题。探测失败次数达到某个阈值后,系统会第一时间断开协议层的网络监听端口,之后尝试重启实例。...阿里数据库产品事业部总裁、达摩院数据库与存储实验室负责人李飞飞力荐 “阿里数字新基建系列”包括5本书,涉及Kubernetes、混合架构、数据库、CDN原理与流媒体技术、服务器运维(Windows...数据库按引擎能力,可以分为关系数据库、非关系数据库、数据仓库和分布式新型数据库。...如果喜欢本文欢迎 在看丨留言丨分享至朋友圈 三连  热文推荐   用Python直观查看贵州茅台股票交易数据 书单 | 11月新书速递!

44530

ERP上实践

EAS系统到云端,并发在200人左右,其推荐的配置为: 功能 核心参数 数量 应用服务器 DELL PowerEdge R730 ,1*E5-2660 v3 处理器 2.6GHz, 10C,20M...: 功能 核心参数 数量 应用服务器 标准S3,4核心8GB系统盘50G数据盘高性能SSD盘100G带宽5M 1 数据库服务器 标准S3,4核心8GB系统盘50G数据盘高性能SSD盘100G带宽...5M 1 存储设备 高性能盘1000G,也可以省略 1 中间件 Apusic 9. 1 数据库 Oracle 11gR2 1 这样的性能可能在高峰时间略显不足,但是云端强大就强大在可以进行服务器的配置升级...,迁移到云端时,会有多种方式可供选择,一种是完全照搬线下配置,在云端进行对应的服务器等资源采购,这是一般企业通常的做法,而一些在刚开始部署就选择云端部署而非迁移的企业,如果一味按照线下的用户数推荐配置到云端采购就可能会出现一个冗余的情况...一般单点式,就是我们通常说的单个区域的ERP应用,拓扑如下: 单个区域 推荐给机器搭配监控,监控是个非常好用的东西,尤其是为了帮助客户大幅度缩减成本,而采用了临近点(指机器性能无法完全满足高峰时刻的并发操作

4.9K41

【犀牛鸟论道】揭秘腾讯网络优化实例N1:450w PPS网络转发性能如何实现?

腾讯正式发布第三代服务器矩阵,新推出网络优化N1等在内的多款实例。...相比标准IO、内存、计算和FPGA等实例类型,网络优化N1实例采用新型智能网卡,支持SR-IOV,并在智能网卡中实现vSwitch,用硬件实现网络路由分发功能,提供最高450w PPS的网络转发性能以及多达...那么,腾讯网络优化N1实例是如何实现这一极致性能的呢? 1 传统虚拟化技术在网络性能上存在瓶颈 在非网络优化服务器中,采用的是传统虚拟化网络的技术。...但是在面对数据流爆发式增长,如11电商抢购秒杀、春晚红包、超大型网络游戏应用中,传统虚拟化技术下实例的网络收发能力可能依旧存在瓶颈。 ?...在智能网卡上要实现vSwitch的复杂功能,同时充分利用智能网卡硬件提供的各种硬件加速功能,对开发者的要求非常

1.3K90

飞桨推出异构参数服务器架构,异构硬件高效组合,训练速度提升65%以上

机器之心发布 机器之心编辑部 飞桨框架 2.0 版本基于工业实践,创新性地推出了大规模稀疏异构参数服务器功能。 眼看着就要到「 11」就要到了,对于广大网购爱好者来说那绝对是不可错过的狂欢时刻!...在搜索推荐领域中,通常推荐模型的网络并不复杂,但是由于对应的特征空间大,所以通常会使用算力要求不高但是规模非常庞大的 Embedding 和 FC 层来将用户及商品的维稀疏特征向量转化为低维的稠密特征向量...T,而拥有这类特点的训练任务通常都被称为 IO 密集训练任务。...图 2:传统参数服务器架构 但是在应对 IO 密集任务时,传统参数服务器模式会出现以下问题: 如果使用的是 CPU 机器作 Trainer,通常 CPU 核心数较多,且购置价格便宜,训练中可以充分利用...这一特点也使异构参数服务器架构非常适合部署在上异构集群场景中。 ?

94231

两地三中心是什么意思「建议收藏」

银行,政府等越来越多的用户要求核心业务7*24不断网,不断电持续运行,进而出现了两地三中心的方案,是一些大型企业因为大自然的灾害而在同城选择两个机房异地选择一个机房而组成的称两地三中心,这样的方案具备可用和灾难备份能力...首先UCACHE灾备与本地服务中心建立的灾备中心,数据通过G口网络实时同步备份至灾备中心,可以实现实时备份,或是定时备份,当本地灾备中专心出现服务器故障或者数据丢失时,可快速从平台将数据恢复,同时平台也可将数属据恢复至本地服务中心...未来可平滑的升级成灾备中心与虚拟机之间的远程异地可用保护。...、存储层、数据库层全程加密的方式,保障数据全程处于加密状态;且加密密钥可由客户自主管理,并支持定期进行密钥更新 10、操作方式:一站式灾备数据管理WEB平台,一键管理 11、备份功能设置:定时备份、...14、硬件及基础设施架构:英特尔® 至强® 金牌系列IO服务器、灾备存储集群式架构。

2.3K30

奔涌吧,GPU! GPU选型全解密

为了让大家了解不同应用场景下的GPU服务器选型,我们邀请腾讯大茹姐姐创作了这篇深度好文。...在深入了解不同应用场景下的GPU服务器选型推荐之前,我们先来了解一下CPU和GPU、GPU和vGPU之间的差异。...CPU vs GPU 腾讯的CPU实例如SA2、IT5等已经被广泛运用到企业官网、I/O数据库、离散数据分析等场景,但是在需要处理海量数据的机器学习和深度学习等AI场景下,GPU相较于CPU可以提供更强的运算能力...CPU和GPU硬件结构对比 GPU vs vGPU GPU服务器提供了直通GPU和虚拟化的vGPU,可以满足计算密集场景和图形加速场景下的不同算力需求。...并发、低时延,满足当前网络视频流并发的实时转码场景。

19K2624

东数西算不止于“算”,更需“新存储”

基于此,移动存储系统能够“扛得住、存得下、用得好”:满足企业关键业务化对存储的性能要求,提供带宽、IOPS、低时延保障;满足高速增长的数据存储需求,提供易扩展、吞吐、海量文件高效索引保障;屏蔽复杂的存储系统层次操作细节...块存储产品:基于天权存储引擎,打造百万IOPS、百微秒时延、4GB/s吞吐的新一代硬盘产品,可有效支撑大型数据库、实时日志分析等IO密集以及AI训练、基因测序等高吞吐业务场景,满足现场及近场计算诉求...作为底层基础设施能力之一,移动云云存储产品的部署目前已覆盖移动所有资源池。其中,“天权”存储系列产品部署规模超3万台服务器,容量规模超2500 PB,服务80余万家客户。...且大云天权统一存储引擎技术自主可控,适配国产化服务器,实现“一多芯”,真正做到安全又高效。...响应“碳”政策 移动存储实现“节能减排” 算力服务过程中,海量数据处理带来的“能耗和碳排放”问题也备受关注。就此,移动响应国家“碳”政策,在打造新一代算网存储能力时已考虑相关对策。

60220

自定义配置 Linux 服务器

选择机型和配置 根据底层硬件的不同,腾讯目前提供了系列1和系列 2(下文也称为上一代实例和当前一代实例)两种不同的实例系列,不同的实例系列提供如下实例类型: 上一代实例类型:标准 S1, IO ...I1,内存 M1 当前一代实例类型:标准 S2, IO I2,内存 M2,计算 C2,GPU G2,FPGA FX2 为获得最佳性能,我们建议您在新建实例时使用当前一代实例类型。...选择镜像 选择镜像提供方:腾讯提供公共镜像、自定义镜像、共享镜像、服务市场,您可参考 镜像类型 进行选择。 对于刚开始使用腾讯的用户,推荐选择公共镜像。...硬盘:采用一盘三备的分布式存储方式,数据可靠性 本地硬盘:处在服务器所在的物理机上的存储设备,可以获得较低的时延,但存在单点丢失风险 选择公网带宽:腾讯提供【按带宽计费】或【按使用流量】两种计费方式可选...关于如何通过腾讯控制台登录服务器,请根据实际需求,选择相应的登录方式: 使用标准登录方式登录 Linux 实例(推荐) 使用远程登录软件登录 Linux 实例 使用 SSH 登录 Linux 实例

3.6K51

微博MySQL优化之路 - 肖鹏

并且大家可以看到,目前很多的厂商的物理机基本全都是SSD设备,AWS更是虚机都提供SSD盘来提供IO性能,可以预见未来IO将不会在是数据库遇到的最大瓶颈点。...通过时间窗口在不同进程间的移动,保证了对于所有进程而言都有公平的发出IO请求的机会。同时CFQ也实现了进程的优先级控制,可保证优先级进程可以获得更长的时间窗口。...MySQL是IO密集服务,解决IO的问题会减少不必要的问题。...,默认为4,推荐改成8 sync_binlog innodb_flush_log_at_trx_commit 著名的1参数,对性能影响非常的大 sync_binlog控制刷binlog的策略,MySQL...C: (推荐)这创建了一个期间,起始和终止列带有数据库时区,没有小数的秒数。D: 你可以在number的列创建期间。

1.3K70

分布式计算实践,你想了解的这里都有!

RSSD块存储的应用场景和技术详解 块存储作为计算的基础组件,可以为服务器提供可随机读写能力,且具备持久化存储、可靠、低时延特性。同时采用多副本冗余,能避免网络硬件故障而导致的数据不可用。...然后存储读写上用SPDK代替libaio,SPDK提供用户态IO读写,并发下依然能保持较低的时延。IO路径整体保持在用户态,并使用线程轮询减少用户态内核态间的切换,减少中断带来的损耗。...在可用性方面, UDB团队采用更朴素的漂移 VIP+DB 主的实现,在数据链路上减少一次转发,消除一个潜在性能瓶颈,并且简化控制模块,减少不可控因素。...至于可靠,UDB一直保持极好的扩展性,这是对成长业务最有利的保障。 关于UDB高性能可用的具体实践上,罗成对重点介绍了三个场景。...第三个是618/11等促销电商活动,UDB提供自动化巡检、独享实例数据库专区、定制化秒级监控、差异化告警等全方位的解决方案。

2.7K20

看贵州交管局的分布式架构实践

4、由zData配合Oracle的ASM通过镜像和条带来实现IO访问的均匀分布和存储安全。 5、数据架构新突破。...·        数据平台化:构建统一的数据访问层,实现数据的共享访问 高性能低成本分布式解决方案 我们推荐采用分布式存储和基于x86的PC服务器,在成本降低的情况下,还能大幅度提升系统性能,保持系统的扩展性和敏捷响应能力...系统使用基于Infiniband的RDMA协议,降低IO访问延迟的同时,能够减少CPU的消耗,且所有存储链路均是活状态,保证了带宽高效利用。...zData的架构主要针对数据库特别是Oracle应用进行了优化,在IO能力上优于传统存储10倍,在这种情况下,不管是处理OLTP业务,还是OLAP分析业务,以及混合业务系统(通常的业务系统均带有批处理...在企业化的路上,通过分布式计算技术将大量x86服务器的本地存储介质进行整合,实现可靠、强易用性、低成本、具有良好的扩展性的分布式存储架构,将成为企业的最佳之选。

63230

揭秘:贵州交警“六合一”系统,零故障运行500天的背后

因此,企业上的时候需要关注以下五大关键点: 系统弹性伸缩:在线快速扩容、处理能力线性扩展、故障时自动接管; 应用集群化部署:把大应用拆分为多个小应用,部署在集群中实现可靠 应用与数据分离:将数据分成不同级别...数据平台化:构建统一的数据访问层,实现数据的共享访问 高性能低成本分布式解决方案 我们推荐采用分布式存储和基于x86的PC服务器,在成本降低的情况下,还能大幅度提升系统性能,保持系统的扩展性和敏捷响应能力...系统使用基于Infiniband的RDMA协议,降低IO访问延迟的同时,能够减少CPU的消耗,且所有存储链路均是活状态,保证了带宽高效利用。...zData的架构主要针对数据库特别是Oracle应用进行了优化,在IO能力上优于传统存储10倍,在这种情况下,不管是处理OLTP业务,还是OLAP分析业务,以及混合业务系统(通常的业务系统均带有批处理...在企业化的路上,通过分布式计算技术将大量x86服务器的本地存储介质进行整合,实现可靠、强易用性、低成本、具有良好的扩展性的分布式存储架构,将成为企业的最佳之选。

2.7K80

腾讯SQL Server 性能逆天,252万TPM国内无对手!

根据关系数据库性能测试工具HammerDB的最新测试结果,腾讯数据库SQL Server在实例吞吐量、平均时延、CPU利用率、内存利用率、磁盘IO等综合性能指标测试中表现突出。...尤其是在并发场景下,此次宣布商用的SQL Server 2017 企业版,32核256GB规格的版本最高 TPM 可达252万,较2016相同规格实例性能增加了11%,进一步突破性能极限。...用户既可以使用服务器自建的 SQL Server 数据库实例,利用“数据传输”服务一键无损迁移;也可以将本地备份文件上传到对象存储中,再通过创建备份迁移任务,将对象存储中的备份文件一键还原到数据库...在与某年度现象级手游的合作中,腾讯数据库SQL Server具备的稳定性让企业和用户都能够畅玩无忧。...同时主备节点架构搭配高安全链路,实现全自动无感知容灾切换,让业务稳定性先人一步。

4K50

飞桨推出异构参数服务器架构,异构硬件高效组合,训练速度提升65%以上

机器之心发布 机器之心编辑部 飞桨框架 2.0 版本基于工业实践,创新性地推出了大规模稀疏异构参数服务器功能。 眼看着就要到「 11」就要到了,对于广大网购爱好者来说那绝对是不可错过的狂欢时刻!...在搜索推荐领域中,通常推荐模型的网络并不复杂,但是由于对应的特征空间大,所以通常会使用算力要求不高但是规模非常庞大的 Embedding 和 FC 层来将用户及商品的维稀疏特征向量转化为低维的稠密特征向量...T,而拥有这类特点的训练任务通常都被称为 IO 密集训练任务。...图 2:传统参数服务器架构 但是在应对 IO 密集任务时,传统参数服务器模式会出现以下问题: 如果使用的是 CPU 机器作 Trainer,通常 CPU 核心数较多,且购置价格便宜,训练中可以充分利用...这一特点也使异构参数服务器架构非常适合部署在上异构集群场景中。 ?

78420
领券