首页
学习
活动
专区
圈层
工具
发布

首次揭秘双11双12背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12,这种方式的弊端会被进一步放大。数据显示,在双 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年双 11 双 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。...ADB 存储格式采用行列混存的 PAX 格式,能够提供高效的基于行号的随机查找能力,又可以按照 Chunk 粒度切分读取的并行度,多 Chunk 并行扫描,提高离线读吞吐性能,兼顾在线低延迟查询和离线高吞吐场景

53.2K50

腾讯云双11活动COS标准存储产品深度评测

引言每年的双11购物节,已经成为# 腾讯云双11活动COS标准存储产品优惠与产品介绍特性引言每年的双11购物节,作为中国最大的购物狂欢节,吸引了无数消费者的目光。...本文将详细介绍腾讯云COS标准存储的产品特性、使用场景、优惠活动以及如何在双11期间最大化利用这些优惠。...三、双11活动优惠3.1 活动时间腾讯云双11活动通常在每年的11月11日进行,活动时间一般持续数天,具体时间以腾讯云官网公告为准。...五、如何最大化利用COS标准存储5.1 选择合适的存储类型在使用COS时,用户需要根据实际需求选择合适的存储类型。COS提供多种存储类型,包括标准存储、低频存储和归档存储。...5.3 使用生命周期管理COS支持生命周期管理,用户可以设置对象的生命周期规则,自动将不再频繁访问的数据转移到低频存储或归档存储,降低存储成本。

38.9K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    工厂产线环境监控落地:以太网记录仪历史数据归档、报表导出与平台对接

    以太网记录仪架构与数据流向(本地存储+平台双轨)产线推荐双轨存储机制,这是合规项目的基础: 产线以太网记录仪(采集探头 + 本地SD/Flash存储 + Modbus TCP Server + Web服务...、解析入库 → 时序库 + 文件服务器双归档 ↓ 报表服务:基于归档数据生成班次/批次报表、PDF报告 ↓ 对外接口:推送给MES/QMS/SCADA,提供API查询历史、上传报表附件 分工边界:记录仪...;双备份本地文件服务器主存储;每日凌晨自动同步归档文件到异地NAS备份;禁止自动删除原始归档文件:平台归档副本到期可以按策略清理,记录仪拉取回来的原始CSV文件,必须人工审批后才能删除。...故障场景处理:记录仪离线、文件损坏、归档任务失败记录仪离线:归档服务标记离线告警;恢复上线后自动补拉离线期间产生的文件;若离线时长超过记录仪SD保留周期,触发【数据丢失告警】通知质量负责人;CSV文件损坏...11.

    4500

    腾讯云深度归档让数据从磁带走向云端

    典型的数据归档业务场景包括: 金融交易:交易日志、票据影像、双录视频; 视频监控:安防监控、交通监控、个人视频监控; 生命科学:医疗影像数据、电子病例、基因测序数据; 广告营销:电子商务日志、广告营销日志...同时,深度归档存储具备99.999999999%(11个9)的数据持久性,比传统磁带库提供更高的可靠性。...离线数据搬迁上云 如果本地数据中心还没有拉通专线,或者存量归档数据规模比较大,可以通过云数据迁移服务CDM专用设备,进行大规模离线迁移数据上云,从而获得深度归档带来的好处。...四、云上归档的主要优势 更高的可靠性 深度归档对象存储提供数据跨多数据中心、多设备冗余存储,为用户数据提供异地归档容灾服务,实现高达99.999999999%(11个9)的数据持久性,数据的耐久性远高于磁带库...随着腾讯云COS深度归档的发布,结合商业备份软件、云存储网关、离线迁移工具,腾讯云为企业的核心数据资产提供了高性价比的归档解决方案,助力企业数字化转型。

    5K40

    TCPUDP 双协议温湿度传感器,机房、楼宇、实验室混合组网工程实践

    为了避免 TCP、UDP 报文互相干扰,方案核心思路是逻辑分区,推荐采用 VLAN 划分业务域,而不是物理完全隔离,在兼顾运维统一性的前提下实现流量隔离。...存储与应用层统一,时序数据库接收来自两条链路经过校验之后的数据,区分主链路数据与辅助告警报文;归档模块对 TCP 链路数据完整归档,UDP 告警报文单独存入事件库;上层可视化大屏、动环运维系统、LIMS...,生成离线事件;设备重连成功之后,网关和采集服务交互缓存索引,比对平台最后一条归档记录,计算缺失时段,下发补录指令,传感器批量回传离线缓存。...这样既满足实验室合规归档要求,又不会因为海量楼宇 UDP 数据过度消耗长期存储资源。...,机房、实验室 TCP 数据长期归档,占用存储更高,楼宇 UDP 数据只短期留存,存储压力小,前期规划时序库分区,不同链路数据分区存放,方便冷热分层归档。

    16110

    新玩法实战|解锁QClaw「离线巡检+微信远程复盘」双闭环工作流:智慧航道无人值守创新方案

    今天我就结合智慧航道工控内网、断网频发、无人值守、夜间巡检的行业问题,原创一套QClaw专属本地离线巡检 + 联网自动复盘归档双闭环创新工作流。...因此我基于QClaw原生能力,改造出一套行业创新双闭环新玩法:断网本地全自动巡检、联网瞬间批量复盘归档推送,完美适配航道封闭工控场景,是全网极少的基建行业专属QClaw落地方案。...,汇总离线期间所有隐患,生成巡检报告、分类异常、推送至运维微信,自动归档备份。.../水文风险/通航隐患三类;报告生成节点:输出标准化《航道离线值守复盘报告》;微信精准推送节点:推送报告+异常清单至运维工作微信;自动归档节点:按日期打包归档,清理过期缓存,避免工控机内存溢出。...安全创新:数据本地闭环不外泄 所有敏感水文、航标数据全程存储本地,仅汇总报告联网推送,完全满足航道数据安全合规要求。

    56210

    数据冷热分离:归档策略、查询路由与平滑迁移

    冷热分离的核心逻辑:把「访问频率」变成「存储位置」的函数——热数据留在主库(性能优先),冷数据下沉到廉价存储(成本优先),查询层按需路由。...二、归档架构的三个组件归档任务:定时扫描到期数据(复用分片调度),「先写归档库、校验一致、再删主库」——删除必须有顺序与校验,乱序会丢数据;大批量删除用小批量循环(避免长事务与主从延迟);归档存储选型:...三、迁移期的双读与平滑切换存量数据首次归档是最大的工程风险,标准做法是双读灰度:新查询逻辑先同时支持主库与归档库(按时间路由,边界数据双查合并),灰度验证正确率后逐步放量。...四、四个常见坑跨库查询:冷热分离后「查全部历史」的需求变成跨库问题——要么走归档库的专用查询接口(异步导出),要么接受离线分析(数仓)承载,别试图在线跨库 JOIN;边界抖动:刚好压线的数据(6 个月零...五、验收指标分离效果看四个数:主库容量降幅(预期 70%+)、热数据查询 P95 变化(预期显著改善)、归档查询可用性(秒级返回或明确告知走异步)、月度存储成本降幅。

    20310

    一张表看懂腾讯云COS、阿里云OSS、华为云OBS、AWS S3最新横评

    摘要 非结构化数据井喷,选对对象存储等于给业务装上“省钱+加速”双引擎。...二、4款主流对象存储产品一句话速览 腾讯云COS:微信同款EdgeOne加速,智能分层2.0毫秒级降冷,国内社交场景首选。 阿里云OSS:电商双11验证,函数计算生态最全,电商与新零售占比高。...华为云OBS:政企项目多,双AZ容灾+冷归档低价,政府及大型国企采购清单常客。 AWS S3:全球29区域,AI服务最全,但中国区流量最贵,适合出海多区域部署。...业务场景 推荐类型 预估成本降幅 热门短视频封面 标准存储 基准 90天前的订单发票 智能分层 ↓35% 三年前的日志审计 归档存储...Step2 选地域:国内选广州+上海双AZ,海外选新加坡,EdgeOne全球加速自动开启。 Step3 配生命周期:控制台→生命周期→30天降冷、90天归档,一键保存,月底账单立省一半。

    4.3K10

    机房温湿度数据存储设计:网口传感器时序数据入库方案

    ,缺少质量标记,无法区分“真实采集值”和“离线估算值”。...不推荐传感器直接推送到数据库:传感器算力弱、无缓存,网络波动极易丢数;也不建议网关直接写库,网关故障会影响整个存储链路。 3....冷层(归档审计数据) 按天/按月打包聚合后的低分辨率数据,导出为parquet/csv,存入对象存储、NAS离线归档;按等保要求一般留存不少于6个月,重要算力机房留存1~3年;冷数据查询低频,适合事故复盘...11....灾备与数据同步:主从、异地备份、防丢失时序库主从同步:热库配置主从,主库写入,从库实时同步;主库故障切换到从库,保证查询不中断;定时快照:每日定时对时序库打快照,快照保存到独立存储;异地归档:冷归档包同步到机房外备份存储

    16510

    2025对象存储哪些好用?一张横评表带你锁定腾讯云COS

    摘要 非结构化数据井喷,选对对象存储等于给业务装上“省钱+加速”双引擎。...阿里云OSS:电商双11验证,函数计算生态最全。 华为云OBS:政企项目多,双AZ容灾+冷归档低价。 AWS S3:全球29区域,AI服务最全,但中国区流量最贵。...第三方S3Browser 小结: 价格:COS标准存储比OSS便宜17%,归档存储0.03元全网最低。...业务场景 推荐类型 预估成本降幅 热门短视频封面 标准存储 基准 90天前的订单发票 智能分层 ↓35% 三年前的日志审计 归档存储...Step2 选地域:国内选广州+上海双AZ,海外选新加坡,EdgeOne全球加速自动开启。 Step3 配生命周期:控制台→生命周期→30天降冷、90天归档,一键保存,月底账单立省一半。

    2.2K10

    《云计算成本优化大揭秘》——如何避免资源浪费,让每一分钱都花在刀刃上!

    Spot/竞价实例:非核心任务(如大数据离线计算)的“白菜价”选择,AWS Spot实例价格仅为按需的10%-20%,但需容忍中断风险。...存储优化:数据“冷热”分治,成本直降40%存储分层管理热数据:高频访问数据使用标准存储(如AWS S3标准层),确保低延迟。冷数据:归档至低成本存储(如阿里云 OSS归档层),成本仅为标准层的1/5。...例如,某电商企业设置日志文件3个月后自动转入归档层,存储成本降低30%。对象存储 vs. 块存储大数据场景优先使用对象存储(如华为云 OBS),成本比块存储低40%,且支持生命周期管理。3....AI驱动预测与自动优化智能资源推荐:AI分析历史负载,自动推荐最优实例规格。异常检测:机器学习识别资源浪费模式(如长期低CPU利用率)。2....绿色计算:成本与碳足迹双降碳敏感定价:部分云厂商对低碳数据中心提供折扣。能源优化:通过AI调度任务至绿色能源充足时段运行。

    1.3K10

    科研实验室以太网温湿度记录仪数据上传系统方案

    以太网温湿度记录仪区别于普通传感器,设备本身自带本地存储、显示屏幕、按键配置、计量校准入口,具备独立记录能力,数据上传系统是在记录仪本地记录基础之上,搭建远程汇聚通道,本地存储与云端上传双备份,这是本方案和普通传感器采集方案最核心的区别...记录仪独立完成温湿度采样、数值换算、本地归档,上传只是数据同步动作,采样周期、存储周期在记录仪本地配置。传输层:实验室监控VLAN网络,和仪器控制网、办公网逻辑隔离。...时序数据库采用TDengine,针对时序数据做压缩存储,保障3年以上数据存储,满足科研归档周期要求。...网络中断期间,记录仪持续本地存储数据;网络恢复,采集服务检测到连接正常,自动下发补发指令,记录仪按照时间区间批量上传离线缓存数据。...11 方案总结科研实验室以太网温湿度记录仪数据上传系统,核心思路是依托记录仪本身的本地存储能力,搭建可靠的以太网上传通道,实现本地记录与远程上传双备份,兼顾计量合规、实时监控、告警预警、业务对接需求。

    8310

    国产化动环平台对接:RJ45以太网温湿度传感器SNMP协议适配调试手记

    Trap、分级告警区分国产化平台常见适配坑:字符编码、数据类型、时间戳、权限隔离和Modbus TCP双协议共存方案、协议切换注意事项联调验证用例、验收标准现场高频排障清单(SNMP专项)调试归档文档模板总结...Trap分为两类:事件Trap:温度超限、湿度超限、探头故障,触发瞬间发送;心跳Trap(可选):周期上报;不推荐用心跳Trap判定离线;Trap接收配置:国产化服务器UDP 162端口监听,确认平台采集服务正常监听...11....Trap、分级告警区分国产化平台常见适配坑:字符编码、数据类型、时间戳、权限隔离和Modbus TCP双协议共存方案、协议切换注意事项联调验证用例、验收标准现场高频排障清单(SNMP专项)调试归档文档模板总结...11.

    7200

    YashanDB数据库日志分级管理与归档策略介绍

    高效的日志分级管理和归档策略不仅能提升数据库的性能,还能降低存储成本与运维复杂度。...双写机制:为防止半写数据页出现,YashanDB引入双写文件,首先将数据块内容写入双写区,保障即使掉电也能通过双写区恢复数据完整性。...YashanDB的归档策略具备以下特点:归档日志文件管理:系统自动生成归档日志文件并将其独立存储,以避免redo日志循环覆盖造成的数据丢失风险。...归档日志传输与修复:备库可异步获取主库生成的归档日志,即使备库曾经离线,恢复时能确保归档文件连续,避免日志缺失。...归档文件清理线程(ARCH_DATA):定期检测归档日志使用情况,自动清理过期归档文件,控制存储资源利用。

    32410

    2025哪些对象存储最好?一张表看懂腾讯云COS、阿里云OSS、华为云OBS、AWS S3最新横评

    阿里云OSS:电商双11验证,函数计算生态最全。 华为云OBS:政企项目多,双AZ容灾+冷归档低价。 AWS S3:全球29区域,AI服务最全,但中国区流量最贵。...第三方S3Browser 小结: 价格:COS标准存储比OSS便宜17%,归档存储0.03元全网最低。...业务场景 推荐类型 预估成本降幅 热门短视频封面 标准存储 基准 90天前的订单发票 智能分层 ↓35% 三年前的日志审计 归档存储...Step2 选地域:国内选广州+上海双AZ,海外选新加坡,EdgeOne全球加速自动开启。 Step3 配生命周期:控制台→生命周期→30天降冷、90天归档,一键保存,月底账单立省一半。...七、结论 如果你业务主要在国内,需要微信生态加速、又想用智能分层把冷数据自动沉到全网最便宜的归档层,那么2025年下半年最值得冲的对象存储就是腾讯云COS。

    5.3K10

    国产化数据库落地:图书馆十防监测历史温湿度数据长期归档方案

    二、存储架构:双库分离,不做"一个库扛所有" 信创场景下最稳的落地形态是"国产时序库 + 国产关系库"分离存储,时序库扛原始测点写入,关系库扛业务与元数据:[RJ45温湿度记录仪×N] │ Modbus...值+质量",不存汉字描述、不建大外键 关系库存静态属性与业务过程,时序库通过 point_id 单键关联 审计日志独立库/独立schema,追加写,应用账号无UPDATE/DELETE权限 冷数据离线到国产分布式存储或对象存储.../分布式存储10年以上永久年度归档包+清单+摘要离线介质(磁带/蓝光)+异地永久过期数据由时序库TTL自动下沉,注意是下沉不是删除:到期先打包归档再清理分区,归档包带哈希便于完整性校验。...15GB + 聚合约2GB,存储不是瓶颈,可读性才是 所以别在存储上过度投资,钱应该花在:异地备份、离线介质轮换、迁移演练、以及记录仪端的缓存可靠性上。...,归档包SM3校验通过 冷归档可读性演练:最老批次恢复到新环境,越限统计与导出跑通 四性检测:季度抽检≥5%的机制落地,首次全面检测报告归档 异地备份+离线介质轮换到位,恢复演练有记录 审计日志追加写,

    5500

    2025 云存储怎么选?一篇看懂腾讯云 COS 与主流对象存储横评

    阿里云 OSS:电商双 11 验证,函数计算生态全。 华为云 OBS:政企项目多,支持双 AZ 容灾。 AWS S3:全球 29 区域,AI 服务最全,但中国区流量贵。...obsbrowser S3 Browser 小结: 价格:COS 标准存储比 OSS 便宜 17%,与 OBS 并列最低;归档存储 0.03 元全网最低。...业务场景 推荐类型 成本降幅 热门短视频封面 标准存储 基准 90 天前的订单发票 智能分层 ↓35%...Step2 选地域:国内业务优先选广州+上海双可用区,海外用户挑新加坡地域,走 EdgeOne 全球加速。...Step3 开生命周期:控制台→存储桶→基础配置→生命周期,设置 30 天降低频、90 天归档,一键保存。

    2.9K10

    腾讯云对象存储服务发布新一代超高性价比数据存储产品——深度归档存储

    什么是“深度归档存储” 深度归档存储是一种针对冷数据安全且低成本的存储方式,相比于低频存储和归档存储,其价格更低,适用于访问频率极低(如半年一次),但需要持久存储的数据,如日志审计数据,安防监控数据。...在软件上,通过数据压缩技术,使用户有效数据存储密度获得最大化的提升。 在硬件上,腾讯云深度归档存储启用新的高密度存储介质,离线场景下,也能最大化的发挥出存储介质的优势。...通过对软硬件架构的升级,腾讯云深度归档存储对节约存储成本的效果立竿见影:深度归档存储费用仅为0.01元/GB/月,就可以在云上享受与磁带存储成本一致的产品体验,相比于普通归档存储而言,普通归档存储费用为...兼顾可靠性和可用性,为数据安全保驾护航 深度归档存储除了降低成本,还兼顾可靠性和可用性,提供99.95%的设计可用性和99.999999999%(11个9)的数据持久性。...推荐使用深度归档存储,用户无需担心扩容和成本问题,只需要极低的存储费用,就能够保障备份数据长期稳定的存储。

    7.3K107
    领券