首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

StructredStreaming+Kafka+Mysql(Spark实时计算| 天猫双十一实时报表分析)

前言 每年天猫双十一购物节,都会有一块巨大的实时作战大屏,展现当前的销售情况。这种炫酷的页面背后,其实有着非常强大的技术支撑,而这种场景其实就是实时报表分析。...1、业务需求概述 ​ 模拟交易订单数据,发送至分布式消息队列Kafka,实时消费交易订单数据进行分析处理,业务流程图如下所示: 实时从Kafka消费交易订单数据,按照不同维度实时统计【销售订单额...利用流式计算实时得出结果直接被推送到前端应用,实时显示出重要指标的变换情况。 ​ 最典型的案例便是淘宝双十一活动,每年双十一购物节,除疯狂购物外,最引人注目的就是双十一大屏不停跳跃的成交总额。...在整个计算链路中包括从天猫交易下单购买到数据采集,数据计算,数据校验,最终落到双十一大屏上展示的全链路时间压缩在5秒以内,顶峰计算性能高达数三十万笔订单/秒,通过多条链路流计算备份确保万无一失。...这次的双十一实时报表分析实战主要用SQL编写,尚未用DSL编写,这是有待完善的地方.

1.3K20

11 特供!临战前收下这几款小程序,分分钟省下一个亿

时效性攻略负责满足眼下最痛的痛点,像 11.11 刷什么卡优惠最多,宝宝安全座椅选 11 购指南,实实在在的干货贴。...无论是吃吃喝喝,还是买买买,受不了持续纠结的时候,一步点开这个小程序,舒缓下自己的决策压力也是的。毕竟双十一,是为了让自己的更开心,不是更焦虑。 ?...那么问题来了,费心挑了不少优价物,怎么买才能最划算,对得起节日做活动的优惠? 「消费分期计算器」这款小程序就是帮你理性消费的高效工具。算计好,省下一波可以再买买买。...它最核心的益处就是告诉你分期付款哪家强,哪款分期产品最适合你。主流信用卡+互联网白条产品,基本覆盖了目前的常用分期选择。在各种选择中,你最关心的无非就是哪家利息少,或者每月可以少还款。...「消费分期计算器」小程序使用链接 https://minapp.com/miniapp/4092/ 有了这 3 件神器防身,双十一剁手还怕什么,蓄势待发吧!

56.8K40
您找到你想要的搜索结果了吗?
是的
没有找到

好牌子、实惠,拼多多性感定义11

这届双十一显得有些疲,我在朋友圈说“《静悄悄的11》这类报道应该很快就要出炉”不久,对应内容就已出现多篇。...在几大综合性电商平台中,以倾斜国货品牌和农产品为主要特征的拼多多,以“好牌子 实惠” 性感定义了本届11。...以前双十一真的就是个节日:11·11,后来京东为了与天猫差异化竞争,将双十一延长到11月1日到11月11日,截胡了天猫11用户需求,再后来天猫11不得不改变规则,做“双节棍”与京东同时段PK。...“这套系统能够实时监控商品的京东站内价格,以最快30分钟一次的频率抓取竞品实时到手价,进行比价,对价格虚高、变价频繁等不健康的价格进行实时拦截。”...这样的问题拼多多同样看到了,只不过它的解法更加简单粗暴直接:百亿补贴不设上限,全网最低价,下单就发货,无套路,无预售,不需计算

21.9K30

十一狂欢的背后,人工智能在行动

从衣食住行到吃喝玩乐,电商平台所提供的服务覆盖面越来越广,服务体验也在不断提升, 而今天的热搜也几乎全部围绕着“11”——“双十一1分36秒破100亿”“双十一付尾款时的我”“高中生用函数模型做11...京东方面表示,从11月1日到11月10日24时止,京东11.11全球物节十天累计成交金额达1313亿元。...阿里旗下的菜鸟智能物流骨干网,通过人工智能、物联网等技术,让11包裹签收大踏步提速。 消费者可以在淘宝手机端查看从天猫国际购买的进口商品的实时物流信息。...阿里在全国各地的物流站都使用了 Sky Eye 摄像头,通过结合计算机视觉技术和菜鸟提供的算法,摄像头能够识别物流过程中的闲置资源和异常情况,并通过系统实时向人工操作员发送状态更新,被阿里巴巴视为物流系统的枢纽...让的技术走出实验室,走进现实,让科技成果惠及更多人,这样我们的生活才会更美好。

10.1K10

谁顶住11的世界级流量洪峰?神龙架构负责人等9位大牛现场拆解阿里秘籍

自研数据库POLARDB和OceanBase分别处理8700万、6100万笔/秒峰值请求、实时计算处理峰值每秒25.5亿笔、计算平台单日处理970PB数据、12亿笔物流智能化等……2019年11期间,...阿里云智能计算平台事业部研究员关涛(观涛)表示,双十一的挑战从商务角度看是商品和消费者最优化匹配的问题,往下则是大数据和AI能力的挑战, 从数据来看,今年11数据量达到970 PB,这大概是一个什么量级...在AI方面,关涛介绍了后台的流计算系统,它是一个数据实时计算系统,通过实时计算的模式,能够给系统、商家和消费者非常实时的数据的能力。流计算系统可以通过实时计算和AI预测,支持商家的商业决策。...据统计,去年2018年十一的时候,这样的实时推荐给商家的智能决策,90%都会被商家采用。...实时计算的系统层面,能够支持TPS、每天有超过万级别的在线实时在跑,每天处理超过10 Trillions of Records,包括实时分析、实时预警、实时搜索、在线机器学习、广告实时推荐,这些都是大数据和

10.7K10

不仅仅是11大屏—Flink应用场景介绍

11大屏 每年天猫双十一购物节,都会有一块巨大的实时作战大屏,展现当前的销售情况。 这种炫酷的页面背后,其实有着非常强大的技术支撑,而这种场景其实就是实时报表分析。...最典型的案例便是淘宝双十一活动,每年双十一购物节,除疯狂购物外,最引人注目的就是双十一大屏不停跳跃的成交总额。...在整个计算链路中包括从天猫交易下单购买到数据采集,数据计算,数据校验,最终落到双十一大屏上展示的全链路时间压缩在5秒以内,顶峰计算性能高达数三十万笔订单/秒,通过多条链路流计算备份确保万无一失。...针对这些数据类型主要包括实时智能推荐,复杂事件处理,实施欺诈检测,实时数仓,与ETL类型、流数据分析类型、实时报表类型等实施业务场景,而Flink对于这些类型的场景都有着非常的支持。...而运用Flink流式计算技术能够在毫秒内就完成对欺诈行为判断指标的计算,然后实时对交易流水进行实时拦截,避免因为处理不及时而导致的经济损失。

5.4K21

天猫11订单峰值58.3万笔秒,消费狂欢背后隐藏了哪些技术?

11 月 1 日零点至 11 月 11 日零点 30 分,今年整个双十一成交额破 3723 亿,实时成交额超过 1 亿元的品牌超过 300 个。 这是今年阿里交出的双十一成绩单。...其中在杭州数据中心内,全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理 11 的海量计算工作,这些服务器的网线连起来可以绕地球一周。...同时,由于「一体化」的特性,能实现实时与离线数据的完全一致。 从实际效果看,流批一体最大的好处是可以实现数据的实时分析。...三、更智能的体验 除了购物更快,今年双十一的另一个特征是更「智能」。 今年 11 前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次。...阿里测算,这些数字化的 IoT 设备在今年 11 期间,会帮消费者节省 15 万个小时。 出身两个月不到的小蛮驴也已经应用在了双十一实践中,使社区无人配送成为可能。

8.2K10

直播继续搅局11?

配图来自Canva可画 一年一度的双十一又快到了,自从淘宝在2009年首次举办双十一促销活动,已经过去十余年,但活动热度却丝毫未减,每年销售额屡创新高。...抖音11物节从10月15日就已经正式上线,一直持续到11月11号,活动也分为“物提前买”和“天天抢物”阶段,形式和花样可谓繁多,也和抖音的平台风格极为匹配。...抖音特意开辟出了短视频话题打榜赛,这项活动是面向所有商家、达人开放的,商家、达人发布带购物车的短视频时带上话题#抖音11物节,就可以参与到此活动中。...为了便利商户做出最好的营销决策,提升销售额,抖音官方在活动期间还会上线实时热卖榜、个性化推荐榜单和抖音商城排行榜频道。商家、达人可以根据实时热卖榜的数据变化,来调整自身销售策略。...从目前的双十一开局情况来看,各大平台都在备战和发力,希望借此盛会取得一个优异的战果。双十一对于消费者来说是一个购买优惠商品的良机,但对于电商平台来说则不亚于一场商业战争,是赢家和输家的游戏。

13.6K30

不只是1207亿,11之于阿里的新内涵是大生态、生活方式和用户运营

马云在11晚会上的总结是,双十一的成交额数字并不重要,双十一的目的是要激发拥有13亿人口的内需市场,促进物流等基础设施的改进,倒逼零售行业的升级换代。 ?...在天猫双十一媒体中心的后勤服务区,放置了搭载YunOS的电冰箱等产品,让媒体直观感受到YunOS驱动的IoT(万物互联)时代已然来临。...TOP4; YunOS互联网电视夏普70寸销售金额破亿,成为表现最亮眼的智能电视单品之一; YunOS天猫魔盒全系列销量突破100万台,而小米盒子3去年双十一最终销量才8.1万台; YunOS智能后视镜捷渡...YunOS与Andorid不同,其设计理念是是尽量弱化本地计算和存储,比如YunOS for TV上大多数应用都是基于H5的,是一个轻量级的操作系统。...它可以兼容更多设备,尤其是计算能力弱或者计算需求弱的设备,比如手环、冰箱、微波炉;它是实时在线的系统,可以进行数据收集、云端智能处理、云端实时推送;它还更适合实现不同设备之间的互联互通,进而协同发挥。

18.4K40

只需5分钟,零代码复现双十一数据大屏

11月12日凌晨,2020天猫11落下帷幕,淘宝天猫官方消息,天猫双十一成交额4982亿。...随后将数据表中,所需字段拖入“数据”项,并根据需求对数据进行计算。点击“更新设置”按钮,在弹窗中,对数据更新进行设置。即可随着后台数据变化,不断更新成交额。 ?...时间回溯到2015年和2014年,天猫11更偏向于仪表盘型数据大屏,向全世界展现更多数据的同时,也帮助管理层快速掌握双十一全局,支持高效决策;还能够通过实时数据展示让员工、卖家和买家时刻充满紧迫感。...仪表盘型数据大屏同样可以通过Banber数据可视化简报平台轻松实现,在制作之前,首先需要规划每个版块仪表盘的内容,历年双十一多以6大版块为主,以2015天猫11为例,大屏规划如下图所示。 ?...即使开发方式、布局方式、交互体验等能力欠缺,也能复现双十一数据大屏。当然,如果真遇到双十一这样大型需求,在数据量支撑、后台响应、实时更新、平台运维等需求,性能肯定有所不足。

3.5K30

女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术

十一实时大屏 背后的大数据技术 一、大数据相关概念剖析 1、什么是大数据?...阿里11实时业务量和数据量每年都在大幅增长,去年11的实时计算峰值达到了创纪录的每秒 40 亿条记录,数据体量也达到了惊人的7 TB 每秒,相当于一秒钟需要读完 500 万本《新华字典》。...三、阿里11大数据技术解决方案 1、Flink流批一体护驾11 去年的11,阿里的GMV成交总金额 达到了 4982 亿,实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录,数据体量也达到了惊人的每秒...---丝般顺滑         基于 Flink 的阿里巴巴实时计算平台也圆满完成了去年 11 整体经济体的实时数据任务保障,再次平稳度过全年大考。...3、Flink官网介绍:https://flink.apache.org/ 四、Flink实现双十一实时大屏  在大数据的实时处理中,实时的大屏展示已经成了一个很重要的展示项,比如最有名的双十一大屏实时销售总价展示

1.5K30

首个72量子比特的量子计算机问世,谷歌出品

比春天这气温升得还快的,是量子计算的热度。...△ 量子处理器Bristlecone(左);设备的模拟图(右),其中每个“X”代表一个量子比特 量子计算限制 错误率是所有量子计算机都要面临的一个主要问题。...技术创新 这一次,谷歌沿用了之前9量子比特线性阵列技术的物理机制,这在当时就达到了读数错误率为1%,单量子比特门错误率为0.1%,量子比特门的错误率是0.6%的好成绩。...One more thing 关于谷歌、微软和IBM的这场量子计算竞赛的排行榜还在实时更新中,现在下定论哪家最强还为时尚早。 不过,有个题外话挺有意思。...今年1月底,《金融时报》曾发文报道称在接下来的几周,谷歌和微软将分别宣布量子计算的里程碑式重大突破。 不知道微软准备的怎么样了。

1.2K80

11腾讯云大使推广赚钱攻略💰

可选择推广返佣产品合辑活动页,该活动页商品均在返佣范围内且与双十一同价。获取【返佣合辑活动页】key推广链接的方式:获取主会场key链接后,自行替换key链接中的双十一活动链接为返佣合辑页链接。...1)轻量应用服务器:不受折扣限制,推广任一款轻量都可参与基础返佣;2)云服务器CVM:大于或等于5折CVM可返佣(订单若使用抵扣代金券,按照扣减代金券后实际支付的现金金额计算折扣)双十一活动【购买即赠】...不能,推广大使需在双十一开团活动点击【立即参与】获取专属链接(同时含cps_key和_hash_key),才可按照返佣和开团规则分别计算佣金和开团奖励。...:将按返佣和开团规则分别计算佣金和开团奖励。...3、【新手大使抽奖礼】仅针对新会员和1星会员11月新会员和1星会员的推广大使,拉新客户数≥2人,且单笔订单金额≥50元,即可获得1次抽奖机会(高星级返佣权益/当月积分翻倍/现金红包/代金券)图片具体的奖品和发放时间如下

50.8K340

Flink Forward Asia 2020干货总结!

在业界影响力方面,经过几年的发展,Flink 已经成为事实上的国内外实时计算行业标准,大部分主流科技公司均已采用 Flink 作为实时计算的技术方案。...2016 年,Flink 在双十一搜索推荐场景中首次亮相,并用 Flink 实现搜索推荐和在线学习全链路实时化。2017 年,Flink 成为阿里巴巴集团内实时计算的标准解决方案。...今年双十一实时数据处理峰值更是达到 40 亿条记录/秒的新高。 ? 莫问老师强调,“全数据链路实时化”并不是终点,阿里巴巴的目标是“实时离线一体化”。...2020 年,Flink 迎来了实时离线流批一体的新纪元 –– 首次在双十一最核心场景天猫营销活动分析大屏场景中落地,并带来了巨大的收益:实时和离线逻辑业务的一体化使得数据结果天然保持一致;同时使得业务开发效率提升了...未来可期,让我们携手共进,一起努力,把握机遇共同迎接挑战,共创美好的 Flink 2021! [1] 40亿条/秒!

2.3K31

阿里技术分享:深度揭秘阿里数据库技术方案的10年变迁史

十一数据库技术总负责人,曾两次担任双十一技术保障总负责人。自2005年加入阿里巴巴以来,一直主导整个阿里数据库技术的不断革新。 3、阿里数据库技术发展回顾 再过几天,我们即将迎来第十个11。...不仅如此,为了保证整个大屏展示万无一失,我们做了链路冗余,类似于飞机发动机,两条链路同时计算,并可实时切换。 我想大家一定不了解大屏上一个小小的数字,背后还有如此多的故事和技术挑战吧。...第二是要解决全量SQL的采集和计算的问题,我们在AliSQL内置了一个实时SQL采集接口,SQL执行后不需要写日志就直接通过消息队列传输到流计算平台上进行实时处理,实现了全量SQL的分析与处理。...X-KV技术在2016年11第一次得到了应用,用户反馈非常,QPS可以做到数十万级别。...可以看出,数据库和缓存是一对互相依赖的伙伴,他们互相借鉴,取长补短,共同撑起了11海量数据存储和访问的一片天。

4.3K50

星图数据CEO谷熠:与场景结合是大数据公司的立根之本

11当天,互联网大数据服务提供商星图数据对16个平台、1562个品类、39487个品牌和834万中商品进行了数据监测,其在11之后发布的《双十一大数据分析报告》备受业界关注,其中许多数据分析结果一度被多家媒体在报道...11时引用,而这些数据也让我们对11的线上零售全景有了更进一步的认识。...资源配置:大数据背后的商业逻辑 通过星图数据的《双十一大数据分析报告》,我们了解到今年双十一全网总销售额为1770.4亿元,全网总包裹数达到了10.7亿个,各电商平台的销售额占比分别是:天猫68.2%、...CEO谷熠看来,这些数据却能反映出许多商业问题,他认为许多前卫的供应商正在依靠大数据分析来根据用户的偏好去选择产品投放的平台和渠道,毕竟每个渠道覆盖的消费群体不一样,其消费能力也有所区别,企业如果能把握这种趋势的话...,最终计算出销量的结果,通过数据和模型尽量去还原市场的真实情况。

2.5K100

11落幕!京东天猫销售创记录,且看国内VR硬件表现如何?

尽管天猫和京东官方公布的统计数据中没有VR类别,但从爱奇艺、大朋发布的实时战报来看,VR销售额都较为可观。 ?...截止凌晨1时,爱奇艺VR销售额破140万 11月11日凌晨1时,爱奇艺智能发布双十一实时战报:VR行业实时销售额、销量第一。...截止1时,天猫爱奇艺智能旗舰店店铺销售额突破141万,夺得天猫“VR头盔”榜实时第一名;其主打商品奇遇二代4K VR一体机,也同时获得“VR单品销量”第一名。 ?...同一时间,爱奇艺VR京东自营旗舰店也发布数据:一小时销售额突破145万,获京东自营VR销量、销售额第一。 据悉,爱奇艺智能还凭其新品奇遇二代4K VR一体机的销量,进入京东“智能穿戴”榜前十名。...截至16时,大朋VR总销量较去年增长200% 据大朋官方数据表示,双十一截至16时,大朋VR取得天猫智能VR一体机销量冠军、PCVR单品销量冠军,总销量同比去年双十一增长200%。 ?

82420

11请来一堆科技巨头步道“智能制造”,天猫已在为十年后的电商布局

11月3日,双十一进入一周倒计时,天猫邀请了几十家全球顶尖科技公司搞了一场“T20”峰会,全称为天猫11全球创智生态峰会,参会者包括Intel,CES、iRobot、戴森、BOSE、惠人、飞利浦、博朗...相对于人们频繁购买的日用品、快消品、鞋服箱包而言,这些产品更适合大型促销,尤其是扫地机器人、电动牙刷、榨汁机、吸尘器、影音设备等可以改善人们生活品质的产品,更是属于每年双十一的黄金品类。...现在很少听说电商平台会要求品牌签订排他性协议,但是品牌将哪家放在首位,却是电商平台关注的,之前电商平台热衷于抢明星手机的首发,这一次也不例外。...而在这一点上,阿里巴巴的YunOS和阿里云就成为必要的支撑,阿里云负责计算和数据存储,YunOS则是智能制造设备的系统,甚至YunOS还可以直接进入产品本身,帮助产品在服务层面实现个性化。...这几天看到一个视频,1985年乔布斯在接受一个访谈时就已经预测到WEB将是计算机之后新的窗口,十年后通过网络购物将会取代电视购物,这会是一种流行趋势,显而易见,阿里巴巴们的蜂拥而至验证了乔布斯的预测。

10.8K60

十一老了吗?

从实体零售业的复苏和新消费的兴起,到微博等社交媒体提供的流量路径,再到云计算、移动支付等前沿技术和现代物流的保驾护航,电商上下游行业共同助力双十一的崛起。...(图片来自前瞻产业研究院) 平台、商家、物流各种buff叠满,2017年成了双十一的巅峰时刻,阿里和京东的竞争也达到顶峰,大屏滚动播放的实时GMV不断刷新各种纪录:天猫11秒成交额破亿、28秒破十亿、12...最后,平台为了扭转颓势祭出的操作却起了反作用:越来越复杂的优惠计算规则以及越来越长的预售期,非但没有刺激用户的消费和互动欲望,反倒引发人们的不满、冷淡以及疲劳。...在今年9月7日召开的双十一商家筹备会上,京东采用线上直播的方式向外界进行实时播报,并在会上公布招募新商家、建立新机制、推出新服务和开启新增长等措施。...2022年十一依然如期拉开帷幕。

13.1K20
领券