首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

首次揭秘1112背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额, 11 已经开展了 12 年。如今,每年的 11 以及一个月后的 12,已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的 11 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部 12 队长朱成、阿里巴巴业务平台 11 队长徐培德、阿里巴巴数据库 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了 11 12 背后的数据库技术...在 11 12,这种方式的弊端会被进一步放大。数据显示,在 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年 11 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。

31.7K50
您找到你想要的搜索结果了吗?
是的
没有找到

媒体工作室高速共享,TrueNAS网络存储系统推荐

,能够为客户提供整体开箱即用方案,而推荐TrueNAS主要基于以下几方面: 1、基于FreeBSD,系统稳定且系统备份恢复简单 2、对普通X86硬件兼容较好,可以使用较为低廉的硬件组建高速网络共享平台...这是因为写入缓存损坏会造成数据丢失,TrueNAS默认推荐raid1模式,勾选强制可以忽略建议 注意,池名称不能为中文!...固态硬盘Trim可以在池选项中开启 系统配置文件备份恢复 系统-常规 因为翻译问题,此处的保存配置、上传配置、重置配置实际功能是下载配置、上传配置、重置系统 建立共享 建立SMB共享 共享-windows...共享 按向导添加共享即可 添加普通用户 账户-用户 按向导添加用户即可 登陆测试,存取正常 系统盘故障模拟 通过VM直接移除一块系统盘,系统正常运行,无异常 存储盘故障模拟 通过VM直接移除一块机械盘...快照、恢复 存储-快照 ZFS文件系统下,秒级快照,秒级恢复 六、其他功能 域控接入 目录服务-活动目录 虚拟机快照 存储-虚拟机快照 七、小结 本文仅仅是一篇推荐文,但也涵盖了基本使用场景,因为功能也在不断更新

2.7K10

阿里李飞飞:在云计算时代,云原生数据库变得越来越重要

通过探索共享存储和完全共享的架构(shared-everything architecture),云原生数据库利用底层云基础设施提供的资源池,将计算与存储分离,从而获得了出色的弹性和高可用性。...ACM:在阿里巴巴11全球购物节期间,该网站的流量在几秒钟内可激增150倍。您的团队开发了哪些工具来处理这类网站流量波动?您如何看待这些技术在将来的发展趋势?...相比之下,云原生数据库系统能够通过探索共享存储和完全共享的架构,以按需的方式来进行自适应地、弹性地分配和释放资源。...计算和存储的解耦,以及各种资源(计算机和存储资源)的共享,使得云原生数据库系统具有自适应性。我们还利用分布式查询和事务处理,通过水平分区来提供进一步的可伸缩性,从而满足高并发性的需求。...例如,我们在阿里云建立了DAS(database autonomy service,数据库自治服务),为11运营和云客户提供服务,以确保我们的系统尽可能具有自我修复、自我调整和自适应能力。

78620

谁顶住11的世界级流量洪峰?神龙架构负责人等9位大牛现场拆解阿里秘籍

---- 【新智元导读】今年11,天猫成交额再次刷新世界纪录,阿里巴巴核心系统100%上云,撑住了11的世界级流量洪峰。在这一流量战场上,阿里可谓是华山论剑的最大赢家。...在11中,阿里使用了全自研的一整套平台,平台包括超过10万台规模服务器集群,10+数据中心、10EB级别存储、每天千万级别的大数据和AI计算作业。...据统计,去年2018年十一的时候,这样的实时推荐给商家的智能决策,90%都会被商家采用。...从当初集团决定11上云使用神龙,到最后上线只有两个月时间,供货、备货、测试都非常紧张,但是供应链的同事通过优化库存、优化流程,然后去帮助供应链厂商优化资源共享,极大的提高了供应链的交付情况,取得了较为满意的结果...网络、服务器、存储这些基础设施多年来发生了翻天覆地的变化,微服务,容器化,数据库等一系列的底层技术和框架的持续演进,带动了电商技术今天在搜索,个性化推荐,视频互动,消息等各个应用领域支撑和连接着数亿消费者

10.7K10

【云顾问-混沌】腾讯云的云上容灾实践

在2023年11月12日,刚经过11的购物节大压力的阿里,却从17:44起发生了服务宕机,旗下的淘宝、闲鱼、饿了么等服务出现服务中断,甚至让高校学生宿舍的洗衣机都“宕机”了。...https://status.aliyun.com/#/historyEvent 开始时间 (GMT+8) : 2023-11-12 17:44 结束时间 (GMT+8) : 2023-11-12 21...:11 受影响产品 : 企业级分布式应用服务、消息队列 MQ、微服务引擎、链路追踪、应用高可用服务、应用实时监控服务、Prometheus监控服务、消息服务、消息队列Kafka版、机器学习、图像搜索、智能推荐...、文件存储NAS、表格存储、日志服务、云存储网关、文件存储 HDFS 版、块存储、混合云备份服务、密钥管理服务、云防火墙、数据库审计、加密服务、运维安全中心(堡垒机)、容器镜像服务、容器服务Kubernetes...IP、共享带宽、转发路由器、私网连接、高速通道、IPv6 网关、专有网络VPC、云企业网、VPN网关、FPGA 云服务器、超级计算集群、批量计算、无影云桌面、弹性伸缩、弹性容器实例、弹性裸金属服务器、云服务器

49171

揭秘:2018阿里11秒杀背后的技术

在今天 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下11天量交易额背后的技术。 一、阿里11秒杀场景 ?...二、阿里11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在11当天实现万亿级消息流转。 3....阿里人工智能 在搜索、推荐以及客服场景下的创新应用,包括人工智能赋能的数千家品牌商家店铺的个性化运营和粉丝会员的精准营销。 6. VR技术 虚拟购物环境背后的VR技术。 7....总之,11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...除此以外还会涉及到分布式小文件存储以及搜索引擎,以及服务器集群监控等技术。

4.6K30

11最惊险一幕刚刚曝光

雷刚 发自 凹非寺   量子位 报道 | 公众号 QbitAI 2020年1111日晚,又一年天猫11狂欢接近尾声。 新交易纪录、新流量峰值,一切都是十全十美的样子。...这次11前的突袭攻击,就出现在范禹闲庭信步走出“光明顶”时——11核心作战室内没人察觉异常。 有内部工程师把这种偷袭演练与马斯克SpaceX那次知名的“事故逃逸”演习类比。...被逼出来的阿里 阿里历史上很多业务改革,都与11密切相关。 比如「异地多活」,起初就是因为11很火,流量带来扩容需求。...举个栗子,在存储领域,阿里云凭借存储高可用等能力,持续三年入选Gartner全球云存储魔力象限,并且被列为全球领导者地位。 所以只有兼具软硬实力,才能最大程度地保障业务和数据稳定安全。...技术成长秘籍——好书推荐  1  《混沌工程:Netflix系统稳定性之道》 【美】Casey Rosenthal 等 著 侯杰 译 Netflix官方出品 保障系统稳定性、确保架构弹性可伸缩的新方法

1.6K10

蒋杰:腾讯大数据平台每日数据计算量超30万亿

11月6日召开的Techo开发者大会上,腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。...十年四次升级 建立“大数据+AI”引擎技术架构 腾讯内部目前有超过100万台服务器,腾讯云联合所有业务部门,利用业务空闲资源打造一套算力共享平台,该算力弹性资源池有20万的规模,大数据平台每天有1500...目前,腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。...据了解,为支撑海量业务发展,腾讯已经建立了“大数据+AI”的引擎技术架构,其中,最底层为分布式存储层,存储结构化及非结构化数据,第二层是资源调度层,做CPU、GPU和FPGA的管理,第三层是计算层、分析层...在大数据和AI两个领域,腾讯推出了以TBDS和智能钛TI为首的引擎。让每个企业,不需要专业的大数据和AI团队,也能便捷用上领先的大数据和AI的能力。 另外,腾讯也通过开源和广大开发者共享技术成果。

3.2K00

【腾讯云的1001种玩法】构建企业级应用环境之数据层面优化(一)

Server 故障转移集群》系列文章中所创建的SQL群集,只是做了下改造,主要是以下两点: 1、 从SQL Cluster改造成了SQL AlwayOn Cluster(具体搭建方法略) 2、 共享存储由本来的...ViSCSi改成CIFS(即基于SMB文件共享的群集) 顺便一提,之前在系列文章中提到的创建弹性网卡只能通过调用API创建,在经过了两个月后,通过GUI创建弹性网卡并绑定的功能终于上线了,本篇意在指明从...ViSCSI转换成CIFS中的关键步骤,还有演示如何从GUI上创建弹性网卡。...1488942288927.png] 10、 输入Q-FS01选择文件共享路径作为仲裁盘: [1488942295420_7444_1488942295571.png] 11、 这就完成了仲裁盘的改造...VPC) B、 一次最多只能绑定网卡,对于A点的网络分离是不现实的 相关推荐 【腾讯云的1001种玩法】构建企业级应用环境之数据层面优化(二) 【腾讯云的1001种玩法】在腾讯云上创建您的SQL

2.8K00

阿里技术分享:深度揭秘阿里数据库技术方案的10年变迁史

去IOE带来了三个重大的意义: 第一:是解决了扩展性的问题,让数据库具备了横向扩展(弹性)的能力,为未来很多年11零点交易峰值打下了很好的基础。...通过这几年的11的不断磨练,2018年11,我们可以直接使用了公有云ECS,并通过VPC网络与阿里巴巴集团内部环境组成混合云,实现了11弹性大促。...第二个方案就是在线离线混部,日常让离线任务跑在在线(应用和数据库)的服务器上,11大促在线应用使用离线的计算资源,要实现这种弹性能力,数据库最核心要解决一个技术问题就是:存储计算分离。...存储计算分离后,数据库可以在11使用离线的计算资源,从而实现极致的弹性能力。通过使用云资源和混部技术,可以最大程度降低11交易峰值带来的成本。 11备战中另外一个重要的技术趋势就是:智能化。...经过大家的共同努力,最终基于盘古2.0的计算存储分离方案都在2017年11落地,并且验证了使用离线机头挂载共享存储弹性方案。经过这次11,我们证明了数据库存储计算分离是完全可行的。

4.3K50

9月月报|腾讯云容器女团邀你共祝祖国生日快乐!

Pod 调度到 LVM 卷所在节点,并且可设置存储容量调度策略 5)统一管理本地存储资源:可把边缘存储资源加入VolumeGroup中,对Pod统一进行存储资源分配 集成EdgeX Foundry,接入边缘...首期已于4月13日开播,至8月3日已开播11期。 关注【腾讯云原生】公众号,直播不迷路。 11期录播视频,可扫码进入链接观看。 精彩、实用技术干货,不容错过,腾小云领你重读经典。...首期已于4月13日开播,至8月3日已开播11期。 关注【腾讯云原生】公众号,直播不迷路。 11期录播视频+PPT,点击下方链接直达。...精选推荐系列文 Kubernetes 降本增效标准指南 >>> 容器化计算资源利用率现象剖析 >>> 资源利用率提升工具大全 >>> 基于K8s 扩展机制构建云上成本控制系统 >>> 理解弹性,应用弹性...文末留言你想对祖国说的话 留言最最最走心的10名同学 将会获得超可爱粉鹅一只 活动截止时间:2021年10月2日18点 和腾小云同赏云原生精彩资讯, 大饱眼福,回味无穷~ 云赏资讯   往期精选推荐

99320

TDSQL-C 多项第一,沙利文云原生数据库报告解读

沙利文中国高级分析师霍翰松在主题分享中表示,腾讯云原生数据库TDSQL-C在云原生能力、可观测性以及基于分布式共享存储的“日志即数据库”架构创新能力等方面处于引领者地位。...在三种引擎中,本文重点关注Serverless计算引擎,这是在分布式共享存储架构在构建的一个Serverless数据库服务。...特别是存储层,主要依托于云原生数据库能力,提供了分布式共享存储技术以及分离的日志即数据库的架构,使得计算节点完全无状态化, 能够实现秒级伸缩、跨机弹性。...除了极致的纵向弹性特性,Serverless架构还具备极致的横向扩展能力。在继承之前云原生架构充分弹性的基础上,实现了CPU、内存、存储“三层解耦”。...包括实时报表场景,比如广告推荐、业务看板等,可满足既要实时看报表数据,又要支撑高并发在线交易处理。

12410

TDSQL-C 多项第一,沙利文云原生数据库报告解读

沙利文中国高级分析师霍翰松在主题分享中表示,腾讯云原生数据库TDSQL-C在云原生能力、可观测性以及基于分布式共享存储的“日志即数据库”架构创新能力等方面处于引领者地位。...在三种引擎中,本文重点关注Serverless计算引擎,这是在分布式共享存储架构在构建的一个Serverless数据库服务。...特别是存储层,主要依托于云原生数据库能力,提供了分布式共享存储技术以及分离的日志即数据库的架构,使得计算节点完全无状态化, 能够实现秒级伸缩、跨机弹性。...除了极致的纵向弹性特性,Serverless架构还具备极致的横向扩展能力。在继承之前云原生架构充分弹性的基础上,实现了CPU、内存、存储“三层解耦”。...包括实时报表场景,比如广告推荐、业务看板等,可满足既要实时看报表数据,又要支撑高并发在线交易处理。

17410

腾讯云微服务引擎 TSE 11月产品动态

11月动态 云原生网关 【新功能】Kong 网关支持公网IPV6,方便客户端到网关使用IPV6通信。 【新功能】Kong 网关优化高级限流功能,支持自定义返回和对接自建Redis。...★ 弹性微服务 【新功能】弹性微服务增加权限管理能力,支持您根据资源范围与操作范围配置权限策略。...注册配置中心 Nacos即将增强引擎迁移能力,通过注册发现支持您将自建注册中心热迁移上云。 Zookeeper即将支持快照管理能力,支持您对快照文件进行导入、可视化管理、备份等操作。...弹性微服务 弹性微服务即将推出预付费模式:包月预留券,帮助您节省长期资源使用的成本。 弹性微服务即将支持通过Kubernetes管理和操作资源的功能。 弹性微服务即将支持PHP程序包部署。...往期 推荐 《TSF微服务治理实战系列(四)——服务安全》 《高并发场景下如何保证系统稳定性》 《微服务上云快速入门指引》 《Apache Pulsar 在微信大流量实时推荐场景下的实践》 《好未来基于北极星的注册中心最佳实践

2.7K10

11月腾讯云容器产品技术月报|转发集赞抢腾讯周边

2021年11月 VOL:19 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性11月上新 腾讯云边缘服务TKE@Edge 从中心云管理边缘云资源的容器系统...安全、独享的容器镜像托管分发服务 腾讯云容器镜像服务(Tencent Container Registry,TCR)是腾讯云提供的容器镜像云端托管服务,支持 Docker 镜像、Helm Chart 存储分发及镜像安全扫描...首期已于11月26日启动。 添加腾小云微信进群参加活动。...活动截止时间:2021年12月2日12点 和腾小云同赏云原生精彩资讯, 大饱眼福,回味无穷~ 云赏资讯   往期精选推荐   TKE基于弹性网卡直连Pod的网络负载均衡 智能 Request...推荐,K8s 资源利用率提升 252% 国内首家!

4.8K51

COS数据湖存储引领大数据存储和自动驾驶存储发展趋势

11月26日在QCon大会上,腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术,并分享了数据湖存储在大数据及自动驾驶场景下的落地实践,助力用户业务降本增效。...,打破数据孤岛;利用公有云对象存储做数据湖存储底座,让数据具备高弹性扩展、高持久性、高可用性,并降低了存储成本。...COS三级加速GooseFS打造大数据存储行业性能标杆 客户为教育行业领先企业,原在友商云中自建大数据集群,但在减的背景下面临严峻的成本压力,现需要降低集群运行和维护成本。...车企IDC通过云联网同腾讯云建立高速网络连接,数据在公有云存储和IDC存储之间自由流动,无缝使用云上弹性计算资源,帮助用户聚焦自身业务。...这里分享一位自动驾驶行业高端车企的案例,客户在AI训练的过程中,将训练、仿真、测评、模型、地图等数据存储在本地IDC,存在硬盘成本过高,EKS集群数据无法共享等痛点。

1.1K40

云监控 Barad 的云原生实践

存储迁移的查询稳定性保障 整体架构: 关键优化动作和效果 针对这些难点我们进行了如下优化操作,包括: 基础业务迁移 TKE 容器化部署 TKE+TKE Serverless 弹性调度能力提升 flink...资源可视化监控: 集群节点利用率可视化监控: TKE +TKE Serverless 弹性调度能力提升 TKE 容器化后除了上述的优点,也带来一些问题: 每个集群自备 CVM,无法共享资源,集群装箱率较低...对于还未升级的集群,我们对空闲 CU 进行缩容调优,将利用率从 40.2% 提升至 55.4% ctsdb 写并开启压缩能力 Barad 使用 ctsdb 集群对海量数据进行存储和查询,ctsdb 数据库具有以下特点...index 而影响了原集群的写入速度 开启写,原集群与容灾集群同时写入,提供双重保险 升级操作,在写运行 1 天后,对集群进行升级操作 完成升级后,关闭写,开启压缩能力,后续数据写入时将被自动压缩...ctsdb 升级 es7 版本以后存储总量压缩 50%,并保障数据的完整性, 下图为开启压缩一个月后的存储量级变化情况: 在升级过程中我们使用多地域容灾集群进行写,保障升级过程中的数据写入和查询的完整性

4.4K41

腾讯云微服务引擎 TSE 10月产品动态

★ 注册配置中心 【迁移能力】Nacos注册发现工具支持Nacos Client 2.1.0版本。 【新功能】Nacos 2.1.0.x版本支持grpc鉴权。...★ 11月预告 云原生网关 云原生网关 Kong 即将支持根据 TCP 连接数弹性伸缩能力,帮忙您更好应对流量洪峰。 云原生网关 Kong 即将支持熔断能力,有效保护您的后端服务。...弹性微服务 弹性微服务即将上线包月预留券计费模式,您可以通过预付费的方式以更优惠的价格使用弹性微服务。...弹性微服务将增加更多弹性规则指标,您可以通过CPU、内存、网络、硬盘相关指标设置应用弹性伸缩策略。 更多功能,敬请期待。...往期 推荐 《腾讯云微服务引擎 TSE 9月产品动态》 《百万级 Topic,Apache Pulsar 在腾讯云的稳定性优化实践》 《预告|ArchSummit 全球架构师峰会杭州站即将盛大开幕》 《

1.9K40
领券