从 2009 年到 2021 年，从千万交易额到千亿交易额，双 11 已经开展了 12 年。如今，每年的双 11 以及一个月后的双 12，已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期，阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏，一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12，这种方式的弊端会被进一步放大。数据显示，在双 11 秒杀系统中，秒杀峰值交易数据每秒超过 50 万笔，是一个非常典型的电商秒杀场景。...事实上为了保证稳定，往年双 11 为了保证大促高峰能够平稳地过去，在一些计算量比较大或者稳定性风险比较高的地方就会实行降级策略，确保能够平稳度过流量高峰。...2021 年是阿里巴巴首个云上 100% 上云的双 11 的一年，也是阿里云数据库全面云原生化的一年，但是峰值计算成本相比 2020 年下降了 50%，云数据库巨大的商业价值和潜力可见一斑。
2 “小众”的流图计算，如今的价值已被产业看见 事实上，流图计算是流式计算和图数据模型的交叉领域。虽然很多人对这个名词感到陌生，但对流式计算和图计算应该有所耳闻。...开源地址：https://github.com/TuGraph-family/tugraph-analytics 3 扛过双 11 大考，落地百余场景，TuGraph-Analytics 筹划已久...因此，一个场景在完整的计算链路中，需要流计算和图计算两种计算范式的融合计算。 当时的流图计算团队仅仅只有两名成员，探索了一年多的时间才将该技术在内部初步落地。...2018 年的双 11，流图计算做到了在大促极端流量高峰情况下，动态识别超过六度关系链（隐蔽性强）的异常资金风险，这一风控能力在当时的业界非常领先。...“那时，我们从 6、7 月份就开始和业务同学一起闭关筹备双 11，内部做了几轮流量压测，包括极端情况下的解决方案全部讨论完毕才确定推到双 11。”
这套面向终态的集群管理系统在今年备战双 11 过程中，经受了性能和稳定性考验。 一个完备的集群管理系统除了保证集群稳定性和运维效率外，还应该提升集群整体资源利用率。
演进的背景 运用机器学习技术来提升搜索/推荐平台的流量投放效率是目前各大互联网公司的主流技术路线，并仍然随着计算力和数据的规模增长，持续地优化和深入。...，并将计算结果实时更新同步给主搜、商城、店铺内引擎、天猫推荐平台、流量直播间等下游业务。...第一次在双11大促场景下实现了大规模的实时计算影响双11当天的流量分配。 2014年双11当天，Pora系统首次经受了双11巨大流量的洗礼，系统运行可以说是一波三折。...其结果是显著的，在双11当天我们观察到，通过实时策略寻优，一天中不同时间段的最优策略是不同的，这相比于离线学习一套固定的排序权重是一个很大的进步。 2015年双11双链路实时计算体系如图3-17所示。...图3 2015年双11的实时计算体系 3. 2016年双11，深度学习+强化学习独领风骚 2015年双11，在线学习被证明效果显著，然而回顾当天观察到的实时效果，也暴露出一些问题。
Olive流程图 正是在All-in无线后的这一年，个性化推荐开始在阿里逐步成长起来。 个性化推荐初逢双11 2015年，个性化推荐第一次在双11中大放异彩。...个性化推荐算法在双11大放光芒，一个又一个令人瞠目的数字足以为证。个性化推荐的第一战场“双11主会场”更是自双11开展多年以来首次达到了个位数的跳失率，其引导人数和人均引导页面数都是前一年的2～3倍。...正是在2015年双11之后，个性化推荐的故事开始为人们津津乐道。 个性化推荐再战双11 2015年双11之后，个性化推荐团队乘风起航，继续发力。...个性化推荐团队的代表作“海神”以及“鲁班”（下图为鲁班批量生产的创意Banner）都是首次在双11中亮相。 ?...鲁班批量生产的创意Banner 在2016年双11中，面对更为复杂的个性化需求，乐田及工程师们将全面升级后的个性化推荐完美地展现在双11主会场中。
云托管模式设置 2.5.2. 通过JSON、YAML和Spring XML文件配置云托管模式 2.4.1. 集群设置 2.4.2....原子双精度浮点（AtomicDouble） 6.7. 话题（订阅分发） 6.8. 布隆过滤器（Bloom Filter） 6.9. 基数估计算法（HyperLogLog） 6.10....阻塞双端队列（Blocking Deque） 7.13. 阻塞公平队列（Blocking Fair Queue） 7.14. 阻塞公平双端队列（Blocking Fair Deque） 7.15....命令的批量执行 10.4. 脚本执行 10.5. 底层Redis客户端 11. Redis命令和Redisson对象匹配列表 12. 独立节点模式 12.2.1. 配置参数 12.2.2....额外功能 11. Redis commands mapping 11. Redis命令和Redisson对象匹配列表 12. Standalone node 12. 独立节点模式 13.
然而更先进的人工智能应用程序可以实时指导用户交互，例如推荐系统。...Hopsworks特征存储库：透明的双存储系统 Hopsworks特征存储库是一个双存储系统，由高带宽（低成本）离线存储和低延迟在线存储组成。...•特征新鲜度：低延迟、高吞吐量的在线特征存储只有在存储在其中的数据保持最新时才有益，特征新鲜度被定义为触发特征重新计算的事件到达与重新计算的特征在在线特征库中发布之间的端到端延迟。...通过这种设置，我们实现了 11 个特征的 p99 约为 250 毫秒，行大小为 948 字节。...在这篇博客中，我们展示了一个高度可用的双节点 RonDB 集群（r5.2xlarge VM）线性扩展到 >250k ops/sec，特征向量查找的 11 个特征的大小约为 1KB，p99 延迟为 7.5
EMR：我们使用半托管的云 EMR 产品，使用 Yarn 作为底层计算引擎，HDFS 作为 Flink 任务的 state 存储。...EMR：目前 EMR 属于半托管模式，虽然有云上的支持，但是稳定性最多也只能达到 99.9% 3....EMR 集群支持 AZ/ 双云级别的互备，同时能够快速切换任务，缩短 flink 任务的异常时间 服务依赖等组件多云： MySQL 和权限服务目前都已经是双云部署，无需调整 Zookeeper 升级为全托管的...业界推荐的方案是使用对象存储来存储 state。...超过阈值异常状态 MaunalAbnormal：任务标记异常状态 具体检测逻辑如下： 考虑到目前平台没有任务优先级的概念，因此，目前 EMR 集群异常切换，是需要用户手动发起的，通过平台选择高优的任务，批量先杀死故障
重磅全新上线【原生节点】 原生节点是TKE推出的全新节点类型，支持声明式API，搭载 FinOps 理念，通过 “可视化资源管理大盘”、“Request智能推荐”、“动态专有调度器”助力云上资源降本增效...节点池上线删除保护功能 适用于节点资源保护场景，解决由于误操作把节点资源批量释放的问题。...上线IPv4/IPv6双栈功能 将 IPv4 和 IPv6 地址分配给 Pod 和 Service，适用于需要为IPv6终端用户提供访问服务，同时业务系统内部需要使用IPv6进行服务访问的场景。...TMP（Prometheus监控服务）： Prometheus 监控服务（Managed Service for Prometheus，TMP）是基于开源 Prometheus 构建的高可用、全托管的服务...SuperEdge（边缘计算开源项目）： 是腾讯云牵头，联合英特尔、VMware (威睿)、虎牙、寒武纪、美团、首都在线等多家厂商在2020年12月共同发起的边缘计算开源项目。
当时“双 11”每年的数据量都要翻番，如果当年“双 11”问题解决不了，那么可预见下一年的“双 11”还会遇到同样的问题。...“双 11”的考验 项目最终是要上生产环境验证的。特别是在“双 11”，流量是平时的上千、上万倍，一些平时微不足道的细节会在这个时候被放大一万倍，放大之后可能就是个大故障了。...而对能考虑到的情况，也需要在“双 11”来临之前做好各种预案。 第一年的“双 11”，RocketMQ 团队挑选了一些相对非核心业务上线验证。逐步地验证，并逐步修复。...双 11 之后将这些问题进一步完善修复好，然后再进行更全面的验证。到第二年融合架构就百分百平稳上线了。” 光“双 11”还不够的，因为“双 11”只能证明性能和稳定性都很好。...2022 年，批量消息索引、逻辑队列发布 RocketMQ-MQTT，RocketMQ-Connect。
随着 11 月 11 日 12 点钟声的敲响，2020 年双 11 的 GMV 数字定格在了 4982 亿，在 Flink 实时计算技术的驱动下全程保持了丝般顺滑滚动，基于 Flink 的阿里巴巴实时计算平台也圆满完成了今年双...今年双11，Flink 更进一步，利用流批一体计算能力，助力数据中台实现更加精准的实时离线交叉数据分析和业务决策。...鉴于 Flink 流批一体计算技术的不断成熟，以及前期在搜索推荐场景的成功落地，今年双 11 数据平台开发团队也展示出坚定的信心和信任，与 Flink 实时计算团队并肩作战，共同推动实时计算平台技术升级...经过团队一年的努力，基于 Flink 的搜索推荐实时计算平台成功的支持了2016 年的搜索双 11，保证了搜索推荐全链路实时化。...2020 年的双 11，Flink 流批一体技术在天猫营销决策核心系统中给出了精彩的表现，加上之前已经在搜索推荐中成功运行的流批一体索引构建以及机器学习流程，充分验证了5 年前我们大胆选择 Flink
近期很多用户采用了离线大数据解决方案产品，这里为大家推荐Doris数据仓托管解决方案； 由于 Doris 高度兼容 Mysql 协议，两者在 SQL 语法方面有着比较强的一致性，另外 Mysql...另外加上 Doris 各种优秀的计算能力，对原 Mysql 开发人员来说，基于 Doris 进行 Mysql 数据分析是一个良好的选择。...语法如下： CREATE EXTERNAL TABLE `doris_mysql_external_tbl1` ( `aaaa` int(11) NULL COMMENT "", `bbbb`...开启 Batch Delete 的方法可以参考ALTER TABLE PROPERTY 中的批量删除功能。...Doris table CREATE TABLE `target_test` ( `id` int(11) NOT NULL COMMENT "", `name` int(11) NOT NULL
然而更先进的人工智能应用程序可以实时指导用户交互，例如推荐系统。...Hopsworks特征存储库：透明的双存储系统 Hopsworks特征存储库是一个双存储系统，由高带宽（低成本）离线存储和低延迟在线存储组成。...•特征新鲜度：低延迟、高吞吐量的在线特征存储只有在存储在其中的数据保持最新时才有益，特征新鲜度被定义为触发特征重新计算的事件到达与重新计算的特征在在线特征库中发布之间的端到端延迟。...通过这种设置，我们实现了 11 个特征的 p99 约为 250 毫秒，行大小为 948 字节。 ?...在这篇博客中，我们展示了一个高度可用的双节点 RonDB 集群（r5.2xlarge VM）线性扩展到 >250k ops/sec，特征向量查找的 11 个特征的大小约为 1KB，p99 延迟为 7.5
2021年3月 VOL:11 腾小云告诉你最前线的产品新特性， 总有一款让你心动～ 云说新品 容器产品新特性 3月上新 腾讯云边缘服务TKE@Edge 从中心云管理边缘云资源的容器系统 边缘容器服务（Tencent...集群核心能力： ARM集群内测上线，支持高性能ARM机型SK1 （如需参与内测请提交工单申请） 包年包月节点池支持弹性扩容 节点池支持移出伸缩组内节点 支持按Label/ip批量搜索节点 Kubernetes...腾讯云容器镜像服务TCR 安全、独享的容器镜像托管分发服务 腾讯云容器镜像服务（Tencent Container Registry，TCR）是腾讯云提供的容器镜像云端托管服务，支持 Docker 镜像...3月份 · 精选推荐系列文 大数据云原生系列文 【大数据云原生系列】大数据系统云原生渐进式演进最佳实践 【大数据云原生系列】微信 Flink on Kubernetes 实战总结 吹皱一池湖水，腾讯云原生数据湖计算重磅发布...留言点赞数前5名的同学 将会获得定制T恤一件 活动截止时间：2021年4月2日10点 往期精选推荐 kubernetes 降本增效标准指南| 容器化计算资源利用率现象剖析 吹皱一池湖水，腾讯云原生数据湖计算重磅发布
2015 年 10 月，根据《河北省人民政府关于促进云计算创新发展培育信息产业新业 态的实施意见》(冀政发【2015】20 号)文件要求，在整合利用省内现有资源的基础上，依托云计算技术，采用供应商投资建设...，政务云在石家庄本地建设了同城双中心，双数据中心使租户 业务能够跨数据中心部署，同时具备提供国产 CPU 计算资源的能力。...截止 2021 年 9 月，河北省政务云(联通区)已完成 70 余家省本级预算单位 500余个业务系统的迁移部署工作，提供了 5700 余台云主机，并为 240 余台设备提供托管 服务。...，政务云在石家庄本地建设了同城双中心，双数据中心使租户业务能够跨数据中心部署，同时具备提供国产 CPU 计算资源的能力。...中标结果 2021年11月24日中标结果发布，河北联通中标1包、河北移动中标2包。
，问题排查 Linux Server: Linux Server各服务部署，配置，优化，疑难杂症解决 KVM虚拟化技术 掌握KVM虚拟化架构，一键部署KVM环境，修复KVM_BUG，制作镜像模板，编写批量开通脚本...掌握DRBD的各版本安装部署，配置，优化，主备，双主备，问题排错。...Windows各版本系统，监控进程，SNMP监控Linux各版本系统，Agent监控Linux各版本系统，监控打印机资源信息(比如：打印机墨盒使用量，纸张使用数量)，通过SSH监控方式监控各系统类型和服务状态，计算型监控方式...地址的平均响应时间，监控tcp端口或者服务是否打开，监控TCP服务的连接响应时间，监控udp端口或者服务是否打开，监控UDP服务的连接响应时间，监控系统登录用户数量，监控主机是否ping通，自定义监控_tcp11...实现CICD Prometheus 掌握Prometheus部署，配置，优化，结合Grafana，实现炫酷监控 Harbor 掌握Harbor部署，配置，结合Docker，K8s实现镜像托管
2016年，“同城双活”架构落地。11月，首次成功参加“双11”大促。...2018年，智能营销体系建立，通过引入大数据分析，全面解读客户的行为、关系网络，“绘制”客户画像，再根据产品特性、服务内容、客户习惯等进行深度挖掘，在不同的商业场景中，向不同的客户推荐不同的产品和服务内容...2018年，银河托管云投产，网商银行开始向中小银行、信托等金融机构提供专业的应用系统托管服务，有力支持了中小银行对小微商户的服务，实现了普惠金融的目标。...2018年9月，网商银行与蚂蚁区块链合作的“双链通”供应链金融平台上线。当年获得《金融电子化》杂志社颁发的2018年度金融行业“产品创新突出贡献奖”。...2019年11月，混合云弹性架构投产，该架构进一步使网商银行成为首家具备跨多朵云形成“一台计算机”支撑核心业务的银行。 2020年5月，采用卫星遥感和人工智能技术的“亿亩田”项目投产试点。
目前阿里的上云还停留在 IaaS 层，主要是对计算、网络、存储的虚拟化，经历过这一阶段阿里就进入了 PaaS 上云阶段，需要使用更多的云产品，包括中间件、存储、缓存甚至是应用托管平台等。...其中在杭州数据中心内，全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理双 11 的海量计算工作，这些服务器的网线连起来可以绕地球一周。...今年双 11，阿里云数据中心的巡检机器人「天巡」升级到了第二代，不仅实现了无「人」值守，还可全自动更换故障硬盘：自动巡检——故障盘定位——取盘换盘——硬盘通电，整个动作一气呵成，只需 4 分钟即可完成更换动作...今年双 11 前夕，淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景，智能计算调用量日均已高达数千亿次。 平台对用户消费行为的洞察和商品推荐也更加精准，而这背后的技术引擎是智能搜索引擎。...阿里测算，这些数字化的 IoT 设备在今年双 11 期间，会帮消费者节省 15 万个小时。 出身两个月不到的小蛮驴也已经应用在了双十一实践中，使社区无人配送成为可能。
场景需求和挑战 面临的场景 金融风控 用户画像库 爬虫抓取信息 反欺诈系统 订单数据 个性化推荐 用户行为分析 用户画像 推荐引擎 海量实时数据处理 社交Feeds 海量帖子、文章 聊天、评论 海量实时数据处理...HBase(在线查询) 的特点有： 松散表结构(Schema free) 随机查询、范围查询 原生海量数据分布式存储 高吞吐、低延迟 在线分布式数据库 多版本、增量导入、多维删除 面临的新的挑战： 流式及批量入库...复杂分析 机器学习、图计算 生态及联邦分析 选择Spark的原因 ?...Spark同时支持事中及事后风控 Spark友好对接HBase、RDS、MongoDB多种在线库 典型业务场景：构建数据仓库(推荐、风控) ?...代码托管在：https://github.com/aliyun/aliyun-apsaradb-hbase-demo （包含Spark操作Hbase和Phoenix）
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
