首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

首次揭秘1112背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额, 11 已经开展了 12 年。如今,每年的 11 以及一个月后的 12,已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的 11 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部 12 队长朱成、阿里巴巴业务平台 11 队长徐培德、阿里巴巴数据库 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了 11 12 背后的数据库技术...在 11 12,这种方式的弊端会被进一步放大。数据显示,在 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年 11 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。

31.7K50

从天猫11成交额2684亿看RDMA网络

话说2019天猫11成交额2684亿!再次刷新世界纪录,订单创新峰值达到54.4万笔/秒,单日数据处理量达到970PB。 看这数据是不是觉得很厉害!970PB/天世界级流量洪峰!...需要说明的一点,其实不管是iWARP还是RoCE,实际上并不是自己重新发明了RDMA,而是利用了IB的上层接口修改了下层的实现。...GPUDirect RDMA的出现进一步降低了通信的延迟,在 re:Invent 2018 上,AWS发布了 Elastic Fabric Adapter (EFA),它是一种用于 Amazon EC2 实例的网络接口...借助EFA,消息传递接口(MPI)的高性能计算(HPC)应用程序和NVIDIA Collective Communications Library(NCCL)的机器学习(ML)应用程序可以扩展到数千个CPU...以2019年天猫11为例,基于RDMA网络技术的云存储和电商数据库服务器可以从容地应对峰值流量考验。 02 RDMA+AI 在最近火热的AI训练框架中RDMA也特别常见。

1.9K20
您找到你想要的搜索结果了吗?
是的
没有找到

CIKM22「清华+华为」DualRec:考虑过去和未来信息的网络序列推荐模型

导读 序列推荐(SR)在个性化推荐系统中发挥着重要作用,因为它从用户的实时增长行为中捕获动态和多样的偏好。...为了缓解训练推理的差距,本文提出了一种新的框架DualRec,该框架通过一个新的网络实现了过去-未来的解耦和过去-未来相互增强。具体而言,利用双重网络结构分别对过去和未来的环境进行建模。...双向知识迁移机制增强了网络学习的知识。 2. 方法 2.1 问题定义 用户集合为 \mathcal{U}=\{u_1,......在网络模型中,两个编码器(分别表示为过去的编码器和未来的编码器)使用基础编码器实例化,通过基础编码器,过去和未来的建模被明确地分离。...2.4 双向信息迁移 上述网络独立地计算具有过去和未来信息的商品的表征,这忽略了两个编码器之间的交互。然而,过去和未来编码器捕捉到的用户偏好是密切相关和互补的。

3K20

腾讯云微服务引擎 TSE 10月产品动态

★ 注册配置中心 【迁移能力】Nacos注册发现工具支持Nacos Client 2.1.0版本。 【新功能】Nacos 2.1.0.x版本支持grpc鉴权。...【新功能】增加就近访问能力,帮助降低您的网络时延。 ★ 弹性微服务 【新功能】弹性微服务增加支持查看资源原生YAML功能。 【新功能】弹性微服务支持通过标签管理资源,基于标签进行权限配置和账单管理。...★ 11月预告 云原生网关 云原生网关 Kong 即将支持根据 TCP 连接数弹性伸缩能力,帮忙您更好应对流量洪峰。 云原生网关 Kong 即将支持熔断能力,有效保护您的后端服务。...服务治理中心即将支持接口级熔断。 北极星控制台即将支持用户操作记录。 弹性微服务 弹性微服务即将上线包月预留券计费模式,您可以通过预付费的方式以更优惠的价格使用弹性微服务。...弹性微服务将增加更多弹性规则指标,您可以通过CPU、内存、网络、硬盘相关指标设置应用弹性伸缩策略。 更多功能,敬请期待。

1.9K40

必读 | 如何在香港云CVM实现全球anycast-EIP同服加速游戏业务?

架构推出新产品; 总之,海外游戏业务得以再次爆发,中国系游戏,得到海内外地域热推,也是一大重点游戏收入; 1)支持海外游戏全球同服架构,当然也支持其他全球加速业务,此处省略520个字; 2)香港作为全球海外接口...3)也有部分用户使用了BGP多线架构的带宽,近期香港及海外业务受1112业务,带宽业务受到一定挑战和攻击 业务访问受网络堵塞影响,不稳定,寻求更稳定的境外贸易,系统SaaS应用,使用原先的BGP多线的业务依旧不稳定...,推荐11。...首尔某运营商网络故障导致 A、U 等多家服务商 BGP 网络异常,部分地区无法访问,该游戏的用户流失严重。 DDoS 攻击流量集中在一个 IP 上,影响巨大。...说明: Anycast 公网加速 IP 支持绑定 CVM实例、NAT 网关、弹性网卡、高可用虚拟 IP和内网 CLB,本文以绑定 CVM 实例为例。 在弹出的“确认绑定”对话框中,单击确定。

5.6K31

腾讯云微服务引擎 TSE 11月产品动态

11月动态 云原生网关 【新功能】Kong 网关支持公网IPV6,方便客户端到网关使用IPV6通信。 【新功能】Kong 网关优化高级限流功能,支持自定义返回和对接自建Redis。...注册配置中心 Nacos即将增强引擎迁移能力,通过注册发现支持您将自建注册中心热迁移上云。 Zookeeper即将支持快照管理能力,支持您对快照文件进行导入、可视化管理、备份等操作。...北极星网格 北极星即将优化故障容错模块,增加接口级熔断与降级功能。 北极星即将增加业务监控,并支持配置监控告警。 北极星即将增加参数管理能力,支持在控制台修改服务端参数配置。...弹性微服务 弹性微服务即将推出预付费模式:包月预留券,帮助您节省长期资源使用的成本。 弹性微服务即将支持通过Kubernetes管理和操作资源的功能。 弹性微服务即将支持PHP程序包部署。...往期 推荐 《TSF微服务治理实战系列(四)——服务安全》 《高并发场景下如何保证系统稳定性》 《微服务上云快速入门指引》 《Apache Pulsar 在微信大流量实时推荐场景下的实践》 《好未来基于北极星的注册中心最佳实践

2.7K10

微服务产品12月产品动态

TSE 注册配置中心 【迁移能力】Nacos即将增强引擎迁移能力,通过注册发现支持您将自建注册中心热迁移上云。...TSE 北极星网格 【新功能】北极星即将优化故障容错模块,增加接口级熔断与降级功能。 【体验优化】北极星即将优化自定义路由规则配置,减少用户在优先级、权重配置的歧义性。...TSE 弹性微服务 【新功能】弹性微服务即将支持环境创建时自动配置底层网络功能。 【新功能】弹性微服务即将支持无入侵、自动上报应用层高级监控指标至Prometheus。...往期 推荐 《Pulsar 在腾讯云的稳定性实践》 《迎接2023 | 北极星开源一周年,感恩礼倾情相送》 《轻量级SaaS化应用数据链路构建方案的技术探索及落地实践》 《Apache Pulsar...微服务架构下路由、多活、灰度、限流的探索与挑战》 《TSF微服务治理实战系列(四)——服务安全》 《高并发场景下如何保证系统稳定性》 《微服务上云快速入门指引》 《Apache Pulsar 在微信大流量实时推荐场景下的实践

2.8K50

谁顶住11的世界级流量洪峰?神龙架构负责人等9位大牛现场拆解阿里秘籍

---- 【新智元导读】今年11,天猫成交额再次刷新世界纪录,阿里巴巴核心系统100%上云,撑住了11的世界级流量洪峰。在这一流量战场上,阿里可谓是华山论剑的最大赢家。...据统计,去年2018年十一的时候,这样的实时推荐给商家的智能决策,90%都会被商家采用。...绿色数据中心、开放式网络架构、RDMA高性能网络弹性跨域访问和自研数据平台,5项绝技纵横江湖 以上大多技术,都需要基础设施去支撑。在基础设施的人眼中,双十一是什么?...还有被龙现比作倚天剑的自研交换机,自研交换机就是阿里在网络领域的一个重大的技术创新,实际上是就是网络界的去IOE,它承担了大部分的核心流量、网络流量,能够让大家感知不到网络的减速或“晃动”,使11平滑过去...总结来看,支持云上双十一的硬核基础设施,共有5项绝技纵横江湖,绿色数据中心、开放式的网络架构、RDMA高性能网络弹性跨域访问和自研数据平台。

10.7K10

虚拟IP简介「建议收藏」

同时,虚拟IP地址拥有私有IP地址同样的网络接入能力,包括VPC内二三层通信、VPC之间对等连接访问,以及弹性公网IP、VPN、云专线等网络接入。...若采用控制台方式将弹性云服务器与虚拟IP绑定,则源/目的检查自动关闭;若采用调用接口方式将弹性云服务器与虚拟IP绑定,则需要手动关闭源/目的检查。...应用场景 场景一:通过弹性公网IP访问虚拟IP。 您的应用需要具备高可用性并通过Internet对外提供服务,推荐使用弹性公网IP绑定虚拟IP功能。...约束与限制 不推荐弹性云服务器配置多个同子网网卡的场景下,使用虚拟IP功能。若在该场景下使用虚拟IP功能,弹性云服务器内部会存在路由冲突,导致虚拟IP通信异常。...IPv6的虚拟IP仅支持绑定一个网卡(栈网卡),如需进行服务器的主备切换,请通过调用API方式。具体请参考配置云服务器高可用的IPv6虚拟IP功能。

4.8K10

阿里技术分享:深度揭秘阿里数据库技术方案的10年变迁史

通过这几年的11的不断磨练,2018年11,我们可以直接使用了公有云ECS,并通过VPC网络与阿里巴巴集团内部环境组成混合云,实现了11弹性大促。...存储计算分离后,数据库可以在11使用离线的计算资源,从而实现极致的弹性能力。通过使用云资源和混部技术,可以最大程度降低11交易峰值带来的成本。 11备战中另外一个重要的技术趋势就是:智能化。...在2017年11,我们又做了一个黑科技,通过中间件TDDL自动来实现SQL和KV的转换,开发不再需要同时开发两套接口,只需要用SQL访问数据库,TDDL会自动在后台把SQL自动转换为KV接口,进一步提升了开发的效率...经过大家的共同努力,最终基于盘古2.0的计算存储分离方案都在2017年11落地,并且验证了使用离线机头挂载共享存储的弹性方案。经过这次11,我们证明了数据库存储计算分离是完全可行的。...存储计算分离的成功离不开一位幕后英雄:高性能和低延迟网络,2017年11我们使用了25G的TCP网络,为了进一步降低延迟,2018年11我们大规模使用了RDMA技术,大幅度降低了网络延迟,这么大规模的

4.3K50

11最惊险一幕刚刚曝光

这次11前的突袭攻击,就出现在范禹闲庭信步走出“光明顶”时——11核心作战室内没人察觉异常。 有内部工程师把这种偷袭演练与马斯克SpaceX那次知名的“事故逃逸”演习类比。...被逼出来的阿里 阿里历史上很多业务改革,都与11密切相关。 比如「异地多活」,起初就是因为11很火,流量带来扩容需求。...阿里云曾率先在业内提出数据中心的“四个不”原则,即不在同一火山地震带,不在同一水系,不在同一电网,不在同一运营商网络出口。这是传统企业所不具备的硬实力。...另一方面,阿里云的灾备能力全面涵盖了网络、数据库、存储等领域,这是能应对各种故障的软实力。...技术成长秘籍——好书推荐  1  《混沌工程:Netflix系统稳定性之道》 【美】Casey Rosenthal 等 著 侯杰 译 Netflix官方出品 保障系统稳定性、确保架构弹性可伸缩的新方法

1.6K10

明年 1 月,推高 CPU 人工智能算力天花板

Boost),已经将这一提升路径充分实践并拉高优化天花板:从第一代至强可扩展处理器引入的AVX-512——中低端型号每核心配备1个FMA单元、高端型号每核心配备2个FMA单元,到代号Ice Lake-SP的路第三代至强可扩展处理器将此类配置扩展到全系列产品...2 硬件直接“贴贴”加速 第四代至强内置多种专用加速器 在今年11月,英特尔宣布将在2023年1月11日发布代号为Sapphire Rapids的全新第四代英特尔至强® 可扩展处理器。...Sapphire Rapids将为广泛的标量和并行工作负载提供跨越式的性能提升,更重要的是,它的基本架构旨在实现弹性计算模型(如容器化微服务)的突破性性能,以及在所有形式的以数据为中心的计算中快速扩展...第四代英特尔至强可扩展处理器的核心数量有显著增长,并支持DDR5、PCIe 5.0和CXL 1.1等下一代内存和接口标准,在内置硬件加速上,Sapphire Rapids也集成了5项加速器: 用于AI的高级矩阵扩展...根据预告,英特尔第四代至强可扩展处理器是处理AI等更现代化、更新兴并行工作负载的基础设施,在进行整体设计时也考虑到了未来技术发展趋势——绝大多数新的可扩展服务将采用容器化微服务等弹性计算模型进行开发。

90710

腾讯云微服务引擎 TSE 9月产品动态

【迁移能力】Nacos注册发现工具支持Nacos Client 1.3.1版本。 ★ 服务治理中心 【新功能】服务限流支持协议标签以及多种值匹配模式。...★ 弹性微服务 【新功能】弹性微服务程序包部署能力优化,新应用通过程序包部署时生成的镜像将被免费保存至弹性微服务提供的内置镜像仓库。...为了降低您的迁移成本,Nacos注册发现工具支持Nacos Client 2.1.0版本,支持Nacos配置同步能力。...就近访问,降低您的网络时延。 弹性微服务 弹性微服务即将支持通过Kubernetes进行资源管理与编排,更加开放地拥抱原生用法。...往期 推荐 《百万级 Topic,Apache Pulsar 在腾讯云的稳定性优化实践》 《预告|ArchSummit 全球架构师峰会杭州站即将盛大开幕》 《PolarisMesh北极星 V1.11.3

1.5K20

揭秘:2018阿里11秒杀背后的技术

在今天 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下11天量交易额背后的技术。 一、阿里11秒杀场景 ?...今日凌晨零点,2018年天猫11全球狂欢节,根据现场实时数据,11开场2分05秒破百亿,26分03秒破500亿,1小时47分26秒破千亿。...二、阿里11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在11当天实现万亿级消息流转。 3....Docker技术 交易核心应用容器化撑起11交易下单峰值,解放资源的超大规模Docker化技术。 4....阿里人工智能 在搜索、推荐以及客服场景下的创新应用,包括人工智能赋能的数千家品牌商家店铺的个性化运营和粉丝会员的精准营销。 6. VR技术 虚拟购物环境背后的VR技术。 7.

4.6K30

腾讯云上业务弹性实践案例

解决方案本篇将结合此Case背景,推荐采用云产品解决方案来解决上述的痛点问题;分别采用云服务器CVM、负载均衡CLB、云数据库MySQL、业务应用模块(用workpress 来模拟业务)、弹性伸缩Auto...环境说明环境模拟说明,这里采用云产品资源规格如下:服务器规格:标准型S5.MEDIUM2云数据库: MySQL8.0,通用型-1核 2G,节点负载均衡: 公网CLB弹性伸缩:启动配置选择S5.MEDIUM2...创建云数据库采用云数据库来存储客户的业务数据,借助云数据库MySQL稳定可靠、可弹性扩展和便于管理等优势,创建数据库要点:Ø MySQL8.0(贴合当前客户数据库版本)、节点、北京七区图片在创建数据库需注意子网环境与...centos ~]# cat /etc/yum.repos.d/MariaDB.repo # MariaDB 10.4 CentOS repository list - created 2019-11...创建伸缩组在完成弹性伸缩启动配置后, 进行弹性伸缩组配置图片输入弹性伸缩组名称、最大伸缩数、启动配置、VPC网络、子网等信息图片选择前面创建lb、监听器、域名、路径URL等图片保持默认,点击下一步图片完成伸缩组创建

31640

明年1月,推高CPU人工智能算力天花板

(图源:网络) 看来这是一场复杂的数学活动,参与其中不止是把心里算盘打得火星都能听到的我,还有那背后摸准我们消费者行为偏好的AI推荐算法。...Boost),已经将这一提升路径充分实践并拉高优化天花板:从第一代至强可扩展处理器引入的AVX-512——中低端型号每核心配备1个FMA单元、高端型号每核心配备2个FMA单元,到代号Ice Lake-SP的路第三代至强可扩展处理器将此类配置扩展到全系列产品...硬件直接“贴贴”加速,第四代至强内置多种专用加速器 在今年11月,英特尔宣布将在2023年1月11日发布代号为Sapphire Rapids的全新第四代英特尔至强® 可扩展处理器。...Sapphire Rapids将为广泛的标量和并行工作负载提供跨越式的性能提升,更重要的是,它的基本架构旨在实现弹性计算模型(如容器化微服务)的突破性性能,以及在所有形式的以数据为中心的计算中快速扩展...根据预告,英特尔第四代至强可扩展处理器是处理AI等更现代化、更新兴并行工作负载的基础设施,在进行整体设计时也考虑到了未来技术发展趋势——绝大多数新的可扩展服务将采用容器化微服务等弹性计算模型进行开发。

1.2K40

【腾讯云的1001种玩法】运维的网络管理利器:弹性网卡体验

而当我们有同城活或者异地多活时,云主机的路由表就要开始逐渐增加到其他数据中心的路由了,通常是对等连接(各个公有云厂商的叫法可能会不太一样)。...流量隔离,业务流量上来了,单网卡上同时还跑着的运维监控数据流量、活甚至多活的数据同步流量,可能会对业务流量造成影响,此时我们就会需要进行隔离,以保证业务流量的稳定供给。...什么是弹性网卡? 弹性网卡是云服务器网络接口的一种创新扩展,它即插即用,支持在多个云服务器间迁移,支持单机多网卡,支持单网卡多 IP,还支持给每个内网 IP 绑定公网弹性 IP。...弹性网卡的基本操作 可能因为弹性网卡目前仅用于私有网络,所以腾迅云将它的操作入口放在”私有网络“控制台界面区域,如下图所示: 新建弹性网卡 创建一块新的弹性网卡,有两个入口...现在弹性网卡也开放了 API 接口,可以通过程序自动化处理,满足 DevOps 的应用。

14K20

大河奔流,金融行业云平台建设

(2)开始实现“虚拟机+中间件+网络”的一键式供给,实现自动化延时变更、实现丰富的IAAS、IAAS+、PAAS服务目录、实现流程驱动、图形化编排、实现虚拟机和上面应用的弹性伸缩。...以云计算、大数据、深度学习为代表的金融科技推动下,零售银行发展模式正在深刻改变,从产品、服务和渠道,快速演化到接口、流量和平台,催生出新的金融业态”。...(7)备份:配置的备份、容器平台日志的备份、日志平台的备份 2、资源管理: 是直接调用虚拟机、存储、网络接口,还是通过Openstack调用?...1、IAAS平台 (1)云服务 : 要点1: 丰富 实现“虚拟机+中间件+网络”一键式 申请资源组:多个虚拟机,配置网络,配置之间的调用管理 扩容(虚拟机的弹性伸缩...,存储部署 智能DNS:应用“域名访问”改造 网络:从二层延伸、到大二层、到SDN、到支持整体切换 (文章转自微信公众号:云巅英雄)

3.5K20
领券