文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

中通大数据平台在大促中的进化

一年一度的双十一又双叒叕来了，给技术人最好的礼物就是大促技术指南！...而经过这些年的发展，大促早已不仅仅局限于电商行业，现在各行各业其实都会采用类似方式做运营活动，汽车界有 818，电商有 618 、11.11 等等，各种各样的大促场景，对包括数据库在内的基础软件提出了很多新挑战...中通从离线到实时的数据兼容再到数仓，有着一套比较完善的大数据平台体系。...在这个完善的大数据平台基础上，中通开始更多地思考如何增强实时多维分析能力。 [在这里插入图片描述] 中通与 TiDB 的结缘是在 2017 年调研分库分表场景时开始的。...大促对于企业而言，除了支持业务创新，也是一次对自身技术架构的大练兵和全链路演练。通过大促的极致考验，企业的 IT 架构、组织流程、人才技能都获得了大幅提升。

6.3K40
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    2021年大数据Flink（四十）：​​​​​​​Flink模拟双十一实时大屏统计

    目录 Flink模拟双十一实时大屏统计 需求 数据 编码步骤: 1.env 2.source 3.transformation 4.使用上面聚合的结果,实现业务需求: 5.execute 参考代码 实现代码...(基于上面参考代码重新写一套) 实现效果 ---- Flink模拟双十一实时大屏统计 需求 在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。...除了这个，还有一些其他场景的应用，比如我们在我们的后台系统实时的展示我们网站当前的pv、uv等等，其实做法都是类似的。...今天我们就做一个最简单的模拟电商统计大屏的小例子， 需求如下： 1.实时计算出当天零点截止到当前时间的销售总额 2.计算出各个分类的销售top3 3.每秒钟更新一次统计结果 数据 首先我们通过自定义source...模拟订单的生成，生成了一个Tuple2,第一个元素是分类，第二个元素表示这个分类下产生的订单金额，金额我们通过随机生成. /**  * 自定义数据源实时产生订单数据Tuple2  */

    1.5K31

    腾讯云联合毕马威：以咨询+实施共建企业数据基座，夯实数据治理基础

    聚焦建筑行业，企业面临两大核心痛点：一是“无数可用”——数据量多但采集手段单一、质量差；二是“缺乏数据治理经验”——无成熟方法支撑，面对海量数据无从下手（据腾讯全球数字生态大会案例）。...腾讯云技术产品（据腾讯全球数字生态大会产品架构）： 数据中台工具：开发治理套件-WeData（集成/开发/治理/建模/服务/安全/资产）、实时流平台-Oceanus（增量/离线数据集成、任务监控）、...核心成效：建成一个主数据目录、一套主数据标准、一份质量提升方案，摒弃多源录入混乱模式，实现统一源头与接口；以用促治，通过指标库（技术视角资源管理）与看板（业务视角可视化）显现治理价值（据腾讯全球数字生态大会...解析选择腾讯云的核心价值 腾讯云优势源于技术确定性与业务深度（据腾讯全球数字生态大会产品介绍）： 经验沉淀：依托内部海量大数据开发经验，将数据治理咨询成果植入平台； 产品矩阵：覆盖数据存储、治理...、开发、展现全链路，含WeData、Oceanus、智源数据库等成熟工具； 技术特性：自研大数据平台（高安全高可用、强大数据管理能力）、全行市向量化引擎、自研压缩算法、分布式事务能力，保障系统稳定性与开发效率

    6210

    2021年大数据Spark（五十）：Structured Streaming 案例一实时数据ETL架构

    ---- 案例一 实时数据ETL架构      在实际实时流式项目中，无论使用Storm、SparkStreaming、Flink及Structured Streaming处理流式数据时，往往先从Kafka...消费原始的流式数据，经过ETL后将其存储到Kafka Topic中，以便其他业务相关应用消费数据，实时处理分析，技术架构流程图如下所示：      接下来模拟产生运营商基站数据，实时发送到Kafka...中，使用StructuredStreaming消费，经过ETL（获取通话状态为success数据）后，写入Kafka中，便于其他实时应用消费处理分析。 ​​​​​​​...org.apache.kafka.common.serialization.StringSerializer import scala.util.Random /**  * 模拟产生基站日志数据，实时发送...ETL 编写代码实时从Kafka的【stationTopic】消费数据，经过处理分析后，存储至Kafka的【etlTopic】，其中需要设置检查点目录，保证应用一次且仅一次的语义。

    94530

    go-zero v1.8.3全方位解析 —— Model Context Protocol大升级，打造AI实时交互新体验！

    2024年最新发布的go-zero v1.8.3版本，围绕Model Context Protocol（MCP）进行了全面升级，显著提升了AI模型与客户系统之间的实时交互效率和开发体验。...MCP Server SDK全面支持，开启AI实时交互新时代 Model Context Protocol（模型上下文协议，以下简称MCP）是当下AI赋能软件系统的关键标准协议。...支持资源的注册、订阅及更新推送，极大增强内容的可用性和交互性，适应图文混排、音视频辅助交互等场景需求。 5....复杂业务实时监控 通过JSON-RPC消息体系和SSE通信，业务监控平台可实现实时事件推送，工具系统可针对异常自动执行纠偏操作，提升运维智能水平与响应速度。...无论是实时通信稳定性、灵活的工具及Prompt管理，还是资源多样化和统一协议支持，都展现出强大的行业竞争力。

    78710

    腾讯云企业级服务核心能力与优势概述

    其核心技术属性在于深度融合了腾讯内部多年沉淀的高并发处理、海量数据存储与实时计算能力。...高并发业务场景：针对电商大促、在线教育直播、游戏全球分发等场景，解决突发流量冲击、跨地域延迟、资源弹性伸缩等痛点。...三、应用框架和功能介绍 功能框架 产品架构覆盖计算（云服务器CVM、容器服务TKE）、存储（COS对象存储）、网络（全球加速GAAP）、数据库（TDSQL）、安全（安全网关、数据加密）及大数据分析（TBDS...） 六大核心模块。...零售行业：某电商平台通过全球加速GAAP优化跨境访问，亚太区延迟从300ms降至80ms，大促期间弹性扩容至百万级QPS。

    21110

    腾讯位置服务概要

    商业差异化卖点： 多行业模块化解决方案：针对物流、出行、文旅、零售、社交等场景提供定制化能力组件； 跨端一致与便捷集成：以多端API/SDK（App/小程序/H5）提供统一能力，保障样式与交互一致...，降低集成运维成本； 全球合规与生态联动：依托腾讯生态（微信、企业微信等）及国际图商合作，支持跨境场景合规服务； 数据驱动精准决策：通过位置大数据、实时路况、客流分析等赋能业务优化。...货车路线规划与批量算路：结合车辆四限（宽/高/重/限行）及实时路况，提供合规路线，匹配效率提升、空驶率降低（据运满满案例）。...实时客流与主题地图：动态热力地图展示拥堵，主题地图（如熊猫分布）辅助游客决策（据成都熊猫基地案例，游客找熊猫效率提升）。...成效：匹配效率提升、空驶率降低，大促期间服务稳定（连续多年无事故）。 2. 客户：运满满（“互联网+物流”车货匹配平台） 背景：车货匹配效率低、空驶率高，运输过程难追踪。

    14710

    数据仓库介绍与实时数仓案例

    、存储都提出了更高的要求； 互联网的在线特性也将业务需求推向了实时化，随时根据当前客户行为而调整策略变得越来越常见，比如大促过程中库存管理，运营管理等（即既有中远期策略型，也有短期操作型）；同时公司业务互联网化之后导致同时服务的客户剧增...，且基于天工可以做到主备链路灵活配置秒级切换；数据应用，围绕大促全链路，从活动计划、活动备货、活动直播、活动售后、活动复盘五个维度，建设仓配大促数据体系。...，大促期间流量与数据量都会暴增。...实时系统要保证实时性，相对离线系统对数据量要更敏感，对稳定性要求更高。 所以为了应对这种场景，还需要在这种场景下做两种准备： 大促前的系统压测； 大促中的主备链路保障； 6....最后，从数据保障看，实时数仓因为要保证实时性，所以对数据量的变化较为敏感。在大促等场景下需要提前做好压测和主备保障工作，这是与离线数据的一个较为明显的区别。

    1.4K30

    什么是大数据「实时流计算」？深度解析它的4大应用及4个特点

    在这样的背景下，实时流计算技术应运而生…… 作者：周爽 来源：大数据DT（ID：hzdashuju） ? 01 大数据时代的新挑战：实时流计算 社会需求和科技进步是螺旋式相互促进和提升的。...“大数据”一词最早由Roger Mougalas在2005年提出，所以我们姑且认为2005年是大数据时代的元年吧。 大数据技术之所以出现，是因为社会发展的程度已经开始要求我们具备处理海量数据的能力。...随着大数据技术的普及，IBM公司为我们总结了大数据的五大特点（也称为5V特点），即Volume（大量）、Velocity（快速）、Variety（多样）、Veracity（真实）和Value（价值），如图...▲图1-1 大数据的五大特点 大数据时代为人们带来了丰富多彩的生活方式，让人们充分享受着从大数据中挖掘而来的价值。但也正因为大数据产生得太多太快，让我们开始疲于对正在发生的事情做出及时反应。...因此，实时流计算使用的算法相比批处理算法，在算法实现和算法复杂度方面会有明显不同。 在实时流数据的四大特点中，无限性是流数据相比批数据最大的区别，这直接导致了流处理和批处理的查询模式有所不同。

    1.7K11

    数据仓库介绍与实时数仓案例

    、存储都提出了更高的要求； 互联网的在线特性也将业务需求推向了实时化，随时根据当前客户行为而调整策略变得越来越常见，比如大促过程中库存管理，运营管理等（即既有中远期策略型，也有短期操作型）；同时公司业务互联网化之后导致同时服务的客户剧增...，且基于天工可以做到主备链路灵活配置秒级切换；数据应用，围绕大促全链路，从活动计划、活动备货、活动直播、活动售后、活动复盘五个维度，建设仓配大促数据体系。...，大促期间流量与数据量都会暴增。...实时系统要保证实时性，相对离线系统对数据量要更敏感，对稳定性要求更高。 所以为了应对这种场景，还需要在这种场景下做两种准备： 大促前的系统压测； 大促中的主备链路保障； ? ? 6....最后，从数据保障看，实时数仓因为要保证实时性，所以对数据量的变化较为敏感。在大促等场景下需要提前做好压测和主备保障工作，这是与离线数据的一个较为明显的区别。 — THE END —

    3.2K41

    大数据实时链路备战——数据双流高保真压测

    1.1 数据双流 大数据时代，越来越多的业务依赖实时数据用于决策，比如促销调整，点击率预估、广告分佣等。...为了保障业务的顺利开展，也为了保证整体大数据链路的高可用性，越来越多的0级系统建设双流，以保证日常及大促期间数据流的稳定性。建设核心数据链路双机房，双流双活。...2.1 双流憋坝压测 从21年大促备战开始，大数据侧核心数据链路，从单模块单任务的压测，转向全链路憋坝压测，把泄洪闸口上移，压测范围覆盖更广，流量和交易同时泄洪，高保真大促网络峰值，资源竞争场景，同时数据产品...（黄金眼、商智、作战指挥室大屏）会在泄洪时同时进行读查询的压测，模拟大促读写峰值并行的真实大促场景。...2.5 失真场景的高保真压测 平时订单中预售订单占比过低，预售订单 平日峰值/大促峰值=0.05%～5.9%，峰值也无法达到要求，且不能指定场景，例如付定金和付尾款场景。

    1.3K20

    实时数据计算框架演进介绍

    ，对 ETL 过程、存储都提出了更高的要求； 互联网的在线特性也将业务需求推向了实时化，随时根据当前客户行为而调整策略变得越来越常见，比如大促过程中库存管理，运营管理等（即既有中远期策略型，也有短期操作型...，且基于天工可以做到主备链路灵活配置秒级切换；数据应用，围绕大促全链路，从活动计划、活动备货、活动直播、活动售后、活动复盘五个维度，建设仓配大促数据体系。...，大促期间流量与数据量都会暴增。...所以为了应对这种场景，还需要在这种场景下做两种准备： 大促前的系统压测； 大促中的主备链路保障； image.png image.png 6....最后，从数据保障看，实时数仓因为要保证实时性，所以对数据量的变化较为敏感。在大促等场景下需要提前做好压测和主备保障工作，这是与离线数据的一个较为明显的区别。

    2.4K70

    云顾问 × ES：助力“顶流客户”平稳度过618

    本文共计1603字 预计阅读时长5分钟 01 背景需求：618大促，电商业务的技术效能升级契机 每年的618大促是电商行业展示技术实力的重要窗口，承载着用户搜索、订单查询、实时数据分析等核心业务的ES（...例如，某电商在大促准备期间技术升级，将ES集群查询性能提升5倍，用户页面加载速度优化至毫秒级，带动GMV增长25%。...大促期间，面对瞬时流量激增，各电商技术团队需要聚焦三大核心目标： 1.稳定性精益求精：大促期间流量可达日常的数十倍，需确保服务持续可用； 2.查询效率持续优化：零点抢购、预售等场景下，高并发查询需维持毫秒级响应...•客户案例：某生鲜平台借助弹性伸缩功能，大促期间资源弹性效率提升90%，突发流量增长场景下读写 0 拒绝。...客户成果：通过架构治理及2轮演练，大促期间ES集群零人工干预，资源弹性伸缩响应速度达行业标杆水平。 腾讯云大数据始终致力于为各行业客户提供轻快、易用，智能的大数据平台。

    28010

    实时数仓主流方案深度对比与评测

    架构，单查询峰值吞吐达数 TB/s 存储计算可按节点独立扩缩，10 倍压缩降低磁盘用量 控制台一键完成扩缩容、监控告警、故障自愈 VPC 网络隔离 + 数据副本，容灾切换无感知 使用场景： 用户行为大宽表亚秒级多维分析...，支持精准营销 企业经营分析：数亿明细、数百维度秒级交互式查询 高并发 BI 报表、实时大屏、广告效果监测 高性能查询： 通过列式存储、向量化执行、稀疏索引，实现复杂聚合与明细点查的毫秒级返回，支持 UPSERT...TPC-DS 权威榜单双料第一，行列混存与智能索引加速复杂 SQL 存算分离架构，秒级弹性扩缩容，冷热数据自动分层节省 3–10 倍成本 一写多读跨实例共享，避免数据孤岛 标准 SQL 兼容，无需学习新语法即可大数据开发...使用场景： 实时高吞吐写入 + 多维交互分析一体化场景 电商大促秒级监控、广告实时归因 数据湖联邦分析，直接查询 OSS/HDFS 无需搬迁 高性能查询： 通过混合负载管理、融合计算引擎，实现毫秒级多维分析...、政府政务实时报表 运营商海量话单实时计费与洞察 物流实时路径优化、互联网实时推荐 高性能查询： 通过分布式执行引擎与智能调度，实现 GB-PB 级数据毫秒级响应，支持高并发混合负载。

    72110

    “618”大促落下帷幕，我们守住了2.7亿张优惠券

    2019年“618大促”告一段落。作为上半年规模最大的促销活动，各大电商平台给出了最大的优惠力度，成绩也都再创新高。 为保障大促顺利进行，腾讯云提前调度资源、组织驻场团队，提供了全方位的保障方案。...今年“618大促”期间，腾讯云新增的计算资源相比去年翻了一倍，整体的CDN和带宽峰值较去年也有明显提升。...大促过后，电商业务恢复到正常状态，不再需要额外的计算资源。腾讯云的弹性扩缩架构，可以将资源回收，让客户的成本更可控。 抗D 大促期间，腾讯的安全能力可以为电商平台提供铠甲。...通过腾讯云的大数据解决方案，电商平台可以更了解用户，实时推荐用户“可能喜欢”的产品。...通过用户的点击、浏览、搜索等信息，利用Spark Streaming等流式大数据工具, 实时处理分析用户行为, 并快速做出应用的变更与推荐。

    6.5K30

    多模态进入“实时交互”时代！字节Hyper-Bagel驯服巨模型：三大任务无损加速最高22倍！

    进一步开发了一个高效的1-NFE模型，能够实现近乎实时的交互式编辑和生成。通过结合先进的对抗蒸馏与人类反馈学习，该模型实现了极致的成本效益和响应能力，使复杂的多模态交互变得无缝且即时。...极致效率（1-NFE模型）： 实现了接近实时的交互式编辑和生成，在保证成本效益的同时，使复杂的多模态交互变得无缝和即时。...这些视觉比较有力地验证了6-NFE 模型实现了无损加速，而 1-NFE 模型则为优先考虑实时交互的应用提供了一个高效可靠的选择。 图像编辑。...虽然与更高 NFE 版本的模型相比，细微的细节或完美的照片真实感可能略有不足，但 1-NFE 模型仍然能提供高度可用且上下文准确的编辑，使其成为近乎实时的交互式编辑的强大工具，在这种场景下，快速模型提供的即时视觉反馈是无价的...高效的 1-NFE 模型为近实时应用提供了一个稳健且实用的解决方案，尤其在交互式编辑中证明特别有效。

    30310

    主流云OLAP数仓深度评测：实时分析场景对比

    腾讯云数据仓库 TCHouse-D 产品介绍 全托管云数仓，基于 Apache Doris 内核，兼容 MySQL 协议，分钟级交付集群，集成腾讯大数据生态。...功能亮点 MPP 向量化执行 + 预聚合引擎，单集群 10 万 QPS 点查；支持秒级实时写入、在线 Schema 变更、跨集群一键迁移；3 副本高可用，自动容错与数据均衡。...使用场景 高并发报表、实时运营看板、广告效果分钟级归因、湖仓一体交互式分析。...使用场景 电商大促实时大屏、金融风控毫秒级决策、日志即席探索、多源联邦查询。...使用场景 搜索广告实时计费、用户行为漏斗分析、物联网设备秒级监控、企业级 BI 自助分析。

    43310

    国家部委首次向民营企业采购云计算

    昨日，中国气象局与阿里云达成战略合作，共同挖掘气象大数据的深层价值；海量气象数据将通过阿里云计算平台，变成可实时分析应用的“活数据”。...据《第一财经日报》记者了解，这也是中国国家部委首次采用民营科技公司提供的云计算和大数据服务。 2013年7月，亚马逊击败IBM，赢得美国中央情报局6亿美元云计算的合同，引发轰动效应。...气象大数据将带来哪些具体的应用场景呢？...区别于以往简单的路况播报和最短路线查找的单线条导航，高德地图利用云计算和大数据，将实现多维度的立体GPS导航功能，打造“实时交通+实时天气”的服务模式，实现精准到每平方公里的天气预报。...早在2013年10月，中国气象局公共气象服务中心就与菜鸟网络建立了深度合作，并且利用天气数据成功地保障了“双11大促”物流平稳。

    1.2K50
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券