首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

落地百余场景、扛过11,蚂蚁TuGraph流式计算引擎正式开源!

本次,蚂蚁集团宣布将计算系统中的流计算引擎 TuGraph-Analytics 正式开源。结合蚂蚁计算领域其他项目的优异表现,该引擎又将对开源领域及产业界带来哪些价值?...对于数据模型天然适合模型,同时希望能够更快看到计算的价值的应用,流计算引擎 TuGraph-Analytics 是更加合适的选择。...2018 年的 11,流计算做到了在大促极端流量高峰情况下,动态识别超过六度关系链(隐蔽性强)的异常资金风险,这一风控能力在当时的业界非常领先。...“那时,我们从 6、7 月份就开始和业务同学一起闭关筹备 11,内部做了几轮流量压测,包括极端情况下的解决方案全部讨论完毕才确定推到 11。”...TuGraph-Analytics 作为流式计算引擎,偏重于流式实时的分析和计算

25340

2023开放原子全球开源峰会,蚂蚁计算平台开源业内首个工业级流计算引擎

在高峰论坛上,蚂蚁技术研究院院长、计算负责人陈文光宣布开源 TuGraph 计算平台核心成员——工业级流式计算引擎 TuGraph Analytics。...计算目前已广泛应用在金融、政务、医疗等领域,备受全球研发机构和顶尖科技公司关注。流式计算是一种将流式计算计算结合的交叉创新,融合了流式计算的高度实效性和计算的灵活性,攻坚难度极高。...据了解,蚂蚁从2015年开始探索计算,布局了数据库、流式计算引擎学习等相关技术,打造了世界规模领先的计算集群,于业界首创了工业级流式计算引擎,多次问鼎数据库行业权威测试 LDBC 世界冠军并保持世界纪录...此次开源的工业级流式计算引擎是蚂蚁从2017年开始布局打造,经过五年多工业级应用大考,流式计算做到了在千亿数据规模的“”上秒级延迟计算,是蚂蚁风控的核心基础技术,成功解决了金融场景风险分析难、识别率低...此次流式计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。

22320
您找到你想要的搜索结果了吗?
是的
没有找到

蚂蚁金服, 开源业内首个工业级流计算引擎

在高峰论坛上,蚂蚁技术研究院院长、计算负责人陈文光宣布开源 TuGraph 计算平台核心成员——工业级流式计算引擎 TuGraph Analytics。...(:陈文光宣布开源业内首个工业级流式计算引擎 TuGraph Analytics) 去年9月,蚂蚁集团开源了 TuGraph 计算平台中的数据库 TuGraph DB。...据了解,蚂蚁从2015年开始探索计算,布局了数据库、流式计算引擎学习等相关技术,打造了世界规模领先的计算集群,于业界首创了工业级流式计算引擎,多次问鼎数据库行业权威测试 LDBC 世界冠军并保持世界纪录...此次开源的工业级流式计算引擎是蚂蚁从2017年开始布局打造,经过五年多工业级应用大考,流式计算做到了在千亿数据规模的“”上秒级延迟计算,是蚂蚁风控的核心基础技术,成功解决了金融场景风险分析难、识别率低...此次流式计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。

19730

天猫11订单峰值58.3万笔秒,消费狂欢背后隐藏了哪些技术?

其中在杭州数据中心内,全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理 11 的海量计算工作,这些服务器的网线连起来可以绕地球一周。...运维机器人天巡 数据中心提供算力支撑,计算框架「流批一体」则大大提升了计算和查询的速度,流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性。...三、更智能的体验 除了购物更快,今年双十一的另一个特征是更「智能」。 今年 11 前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次。...直播实时翻译 此外,直播等新物种的出现也让购物更有「沉浸感」,今年阿里还为 100 万以上商品设计了 3D ,消费者看中后便可以点击链接购买,现场感更强。...阿里测算,这些数字化的 IoT 设备在今年 11 期间,会帮消费者节省 15 万个小时。 出身两个月不到的小蛮驴也已经应用在了双十一实践中,使社区无人配送成为可能。

8.1K10

大数据实战【千亿级数仓】阶段一

电子商务正在与实体经济深度融合,进入规模性发展阶段,对经济社会生活的影响不断增大,正成为我国经济发展的新引擎。 2012年十一 ? 2019年十一 ? ? ? ? ?...千亿级数仓模仿阿里巴巴双十一的大屏显示功能实现的互联网电商指标的离线,同时也模仿了阿里巴巴大数据平台上面数据仓库的设计思想和理念。...商家发布商品 商家商品上架(商品可以被购买了) 用户搜索商品 用户浏览商品(查看商品的具体信息) 用户可以将商品添加到购物车 用户提交订单 用户支付 大数据离线数仓项目架构 ?...项目技术简介 Kettle 缓慢变化维(拉链表):时间维度,脚本生成,时间维度生成之后不会变化 Hive DataX:导出数据的工具 Spark SQL:计算引擎 Kylin:计算引擎,进行预计算之后的多维统计分析可以达到亚秒级别...项目ER E-R也称实体-联系-(Entity Relationship Diagram),提供了表示实体类型、属性和联系的方法,用来描述现实世界的概念模型。

2K20

11腾讯云大使推广赚钱攻略💰

可选择推广返佣产品合辑活动页,该活动页商品均在返佣范围内且与双十一同价。获取【返佣合辑活动页】key推广链接的方式:获取主会场key链接后,自行替换key链接中的双十一活动链接为返佣合辑页链接。...建议推广双十一活动【购买即赠】或云产品特惠活动【买赠专区】产品,该区产品最低价为 ¥58;满足所有返佣额外激励活动中订单金额的激励门槛。图片图片二、双十一推广常见问题Q&A1、推广哪些服务器返佣?...1)轻量应用服务器:不受折扣限制,推广任一款轻量都可参与基础返佣;2)云服务器CVM:大于或等于5折CVM可返佣(订单若使用抵扣代金券,按照扣减代金券后实际支付的现金金额计算折扣)双十一活动【购买即赠】...不能,推广大使需在双十一开团活动点击【立即参与】获取专属链接(同时含cps_key和_hash_key),才可按照返佣和开团规则分别计算佣金和开团奖励。...:将按返佣和开团规则分别计算佣金和开团奖励。

50.7K340

阿里双十一购物节背后的技术问题

一年一度的双十一购物狂欢节又要来临了,你准备好剁手了吗?我每年都要购买好几百,有时候甚至是一千多的东西。...那么,双十一那天会发生什么事情呢?2017年十一天猫成交额1682亿,那么1682背后包含多少海量的数据,高并发查询,PV,UV等。...还有一个重大的技术挑战就是双十一的零点秒杀活动,这也是双十一最核心的业务。几乎所有的等待双十一购物的同胞们,在秒杀活动开始的一瞬间,点下购买按钮抢购商品。...向运营商单独购买秒杀系统的带宽,减轻服务器压力,将所有秒杀商品页面缓存在CND中,同时向CDN服务器购买增加的带宽。 诸如此类的还有很多技术难关需要攻克,小编所知也非常有限。...比如近几年流行的大数据,云计算,分布式数据库,搜索引擎等这些技术早就在双十一中应用了。所以为了表示对技术人员崇高的敬意,小编决定今年双十一买一千块以上的东西。哈哈,准备剁手买买买了。

8.9K30

阿里双十一购物节背后的技术问题

一年一度的双十一购物狂欢节又要来临了,你准备好剁手了吗?我每年都要购买好几百,有时候甚至是一千多的东西。...那么,双十一那天会发生什么事情呢?2017年十一天猫成交额1682亿,那么1682背后包含多少海量的数据,高并发查询,PV,UV等。...还有一个重大的技术挑战就是双十一的零点秒杀活动,这也是双十一最核心的业务。几乎所有的等待双十一购物的同胞们,在秒杀活动开始的一瞬间,点下购买按钮抢购商品。...向运营商单独购买秒杀系统的带宽,减轻服务器压力,将所有秒杀商品页面缓存在CND中,同时向CDN服务器购买增加的带宽。 诸如此类的还有很多技术难关需要攻克,小编所知也非常有限。...比如近几年流行的大数据,云计算,分布式数据库,搜索引擎等这些技术早就在双十一中应用了。所以为了表示对技术人员崇高的敬意,小编决定今年双十一买一千块以上的东西。哈哈,准备剁手买买买了

9.4K20

阿里双十一购物节背后的技术问题

一年一度的双十一购物狂欢节又要来临了,你准备好剁手了吗?我每年都要购买好几百,有时候甚至是一千多的东西。...那么,双十一那天会发生什么事情呢?2017年十一天猫成交额1682亿,那么1682背后包含多少海量的数据,高并发查询,PV,UV等。...还有一个重大的技术挑战就是双十一的零点秒杀活动,这也是双十一最核心的业务。几乎所有的等待双十一购物的同胞们,在秒杀活动开始的一瞬间,点下购买按钮抢购商品。...向运营商单独购买秒杀系统的带宽,减轻服务器压力,将所有秒杀商品页面缓存在CND中,同时向CDN服务器购买增加的带宽。 诸如此类的还有很多技术难关需要攻克,小编所知也非常有限。...比如近几年流行的大数据,云计算,分布式数据库,搜索引擎等这些技术早就在双十一中应用了。所以为了表示对技术人员崇高的敬意,小编决定今年双十一买一千块以上的东西。哈哈,准备剁手买买买了。

8.5K30

不仅仅是11大屏—Flink应用场景介绍

11大屏 每年天猫双十一购物节,都会有一块巨大的实时作战大屏,展现当前的销售情况。 这种炫酷的页面背后,其实有着非常强大的技术支撑,而这种场景其实就是实时报表分析。...利用流式计算实时得出结果直接被推送到前端应用,实时显示出重要指标的变换情况。最典型的案例便是淘宝双十一活动,每年双十一购物节,除疯狂购物外,最引人注目的就是双十一大屏不停跳跃的成交总额。...在整个计算链路中包括从天猫交易下单购买到数据采集,数据计算,数据校验,最终落到双十一大屏上展示的全链路时间压缩在5秒以内,顶峰计算性能高达数三十万笔订单/秒,通过多条链路流计算备份确保万无一失。...实时智能推荐 智能推荐会根据用户历史的购买行为,通过推荐算法训练模型,预测用户未来可能会购买的物品。...通过利用Flink提供的CEP进行时间模式的抽取,同时应用Flink的Sql进行事件数据的转换,在流式系统中构建实施规则引擎,一旦事件触发报警规则,便立即将告警结果通知至下游通知系统,从而实现对设备故障快速预警检测

5.4K21

今天11,和心爱的她一起去「云露营」

如果相中了准备买,只要简单一划,就直接跳转到购买页面了,剁手比过去更方便了有没有! 就比如说,现在的电视一个比一个大,我怎么知道挂在我家的墙上效果如何?...天猫依托底层3D引擎(AceNNR)、AI引擎(MNN)、AR引擎、多媒体等技术,让我们能通过AR应用、3D展示等各种方法,看到各种产品的形态。...而用户也可以通过自己的虚拟数字分身,身临其境地逛3D店铺,自由试穿试戴,一键下单购买。 3....可以说,正是双十一大促对算力资源和配置的巨大压力和苛刻要求,催生了阿里云的「百炼成钢」,也正是阿里云一步一个脚印的提升,让双十一成为「剁手爱好者」们一年一度的盛宴。...另外,今年阿里将自研CPU大规模应用于11活动,首次实现了芯片、计算架构及操作系统的协同优化,单位算力功耗降低了60%。 最初,阿里下定决心搞自研CPU的起因,也是为了满足计算场景的实际需要。

18.5K40

十一狂欢的背后,人工智能在行动

从衣食住行到吃喝玩乐,电商平台所提供的服务覆盖面越来越广,服务体验也在不断提升, 而今天的热搜也几乎全部围绕着“11”——“双十一1分36秒破100亿”“双十一付尾款时的我”“高中生用函数模型做11...攻略”…… 用数据说话 今年是阿里巴巴第十一届双十一,也是马云退休后的第一届双十一。...阿里旗下的菜鸟智能物流骨干网,通过人工智能、物联网等技术,让11包裹签收大踏步提速。 消费者可以在淘宝手机端查看从天猫国际购买的进口商品的实时物流信息。...阿里在全国各地的物流站都使用了 Sky Eye 摄像头,通过结合计算机视觉技术和菜鸟提供的算法,摄像头能够识别物流过程中的闲置资源和异常情况,并通过系统实时向人工操作员发送状态更新,被阿里巴巴视为物流系统的枢纽...以2018年为例,截至2018年11月11日8时,天猫11开场仅8个小时,就有263个城市(含港澳台)已经签收当天购买的包裹。

10K10

数据分析:挖掘影响电商双十一销量的因素,并且预估销量

在很早之前就采集过关于淘宝11的数据,之前也只是做了比较简单的数据分析,那么就在假日的最后,作一番比较深入的分析吧。我们的目标是:分析双十一销量的影响要素,以及要素在影响销量的比重。...这里的因变量计算也是比较简单的:双十一后的累计销量-双十一前的累计销量。  那么从常识出发影响销量的因素有哪些呢?...(3)下面2分布是女鞋在双十一价格走势以及双十一前后累计销量,可以看出女鞋商品在双十一的时候价格下降幅度较大,双十一后累计销量提升50%; ? ?...同时至少购买2件商品能够使用满减的方式,所带来的销量是最高的。 ?...能否计算这款卫衣在双十一的销量是多少呢?假设产品成本为50元,那利润又是多少呢?

11.4K90

轻量级深度学习端侧推理引擎 MNN,阿里开源!

开源地址: 该项目已经在 Github 开源,后台回复“MNN”获得 Github 下载链接 2、MNN的优势 MNN 负责加载网络模型,推理预测返回相关结果,整个推理过程可以分为模型的加载解析、计算的调度...前者负责模型的加载、计算的调度;后者包含各计算设备下的内存分配、Op 实现。...2018年十一购物节中,MNN 也在猫晚笑脸红包、扫一扫明星猜拳大战等场景中使用。 ?...其中的技术也在不断迭代更新,从最早的拍照上传图片云端识别,演进到目前在端上做物体识别和抠再上传云端识别,有效地提升了用户体验同时节省了服务端计算成本。...笑脸红包是18年十一猫晚开场的第一个节目,这个玩法是基于实时人脸检测和表情识别能力做的,相比之前各种通过屏幕触控的交互玩法,这个活动通过摄像头实时人脸检测算法实现从传统触控交互玩法到自然交互玩法的跨越

6.8K40

十一交易额超1100亿破记录,马云要感谢剁手党更要感谢直播网红?

今年是我第一次到天猫双十一活动现场全天候观摩,有幸见证了11的整个过程。第一个小时就表现出非常强劲的增长势头,直接突破353亿,去年第一个小时只有247亿。...今年天猫11保持高增长的一个核心原因,也是被许多人忽视的一个原因是,直播平台的作用。双十一期间,直播这个元素无处不在。...今年天猫双十一成为“直播11” 天猫双十一购物狂欢节的本质是注意力经济,在将人们的目光凝聚过来之后刺激其消费。...3、个性化将取代标准化规模化生产,实现按需生产的C2B模式,个性化电商的一个重点就是面向过程消费,我们购买一个艺术家的作品可能会想看她创作,甚至是因为看她创作才激发起购买欲望。...我们购买褚橙,很可能会关注果园的环境,我们购买丁磊的猪肉,可能会关心猪场的环境。个性化消费时代,过程变得重要,而直播正好是呈现过程的关键工具。

17.2K80

美妆押宝双十一,各平台卷出新高度

源:财通证券作为电商后起之秀,抖音也不甘示弱,打造“一个重点、三大场景”创新玩法,力争抢占交易份额。据抖音公布的“双十一”招商规则显示,活动于10月24日预售,10月31日正式开卖。...快手则推出“116”购物节,提前卡位,分流双十一购买力。这次“116购物狂欢节”从9月28日开始,共分为报名备战期、预售预约期以及活动正式期三个阶段。...在去年双十一,淘宝还只能提供购买日起15天的价保服务,今年则将规则改为按照双十一结束开始计算,将时间延长到了11月26日。...据天猫公布的数据,在2021年十一期间,欧莱雅集团更是成为天猫首次出现的两大百亿品牌之一。...,财通证券《美妆:减重赛道蓝海风起,“11”渐近大促将至》,首创证券《淘系美妆销售回暖,关注品牌商“11”备战》,国金证券参考资料:《直播电商竞争白热化,多直播机构加码布局淘宝直播,双十一开启新增量

28.2K00

11的第14年:进化与回归

表面来看,消费能力下滑、封控导致快递投递难等现实因素影响了消费者购买意愿,导致GMV数据难以示人。...以往的双十一,各大品牌会对平台的流量扶持更依赖,但今年11的一大变化是,品牌商自全域导流的能力在增强。...消费者还需要12吗双十一京东、淘宝未公布GMV,但并不影响12的备战热情。11刚刚结束,淘宝就开始紧锣密鼓地筹备12购物节商家招募工作。...对于是否需要类似12等其他购物节,她表示其实满足生活需求就可以,因为已经不再计划囤货了。三口之家的女主人刘靓(化名),平时按需购物,不会特意在11、12这样的购物节来集中购买。...双十一的时间跨度正好处于国庆节过后与圣诞节之间的黄金时段,而双十二的时段则显得较为尴尬,由于双十一购买的产品还未耗尽,双十二就更显得狗尾续貂。

28K30

11 特供!临战前收下这几款小程序,分分钟省下一个亿

关注「知晓程序」公众号,微信后台回复「0109」,一张教你玩转小程序。 不买便宜的,只买对的 当降价,刷口碑,各种眼花缭乱的宣传扑面而来时,会被太多信息淹没。...轮播的时效性攻略、好文的推荐攻略,还有搜索中的关键词攻略。时效性攻略负责满足眼下最痛的痛点,像 11.11 刷什么卡优惠最多,宝宝安全座椅选 11 购指南,实实在在的干货贴。...各种优惠价格的商品在列表中依次展示,明确了价格、国内或是跨境等渠道,可以迅速锁定目标,也可以顺着立即购买的标识直购。 ?...毕竟双十一,是为了让自己的更开心,不是更焦虑。 ?...「消费分期计算器」小程序使用链接 https://minapp.com/miniapp/4092/ 有了这 3 件神器防身,双十一剁手还怕什么,蓄势待发吧!

56.8K40

直播继续搅局11?

来自Canva可画 一年一度的双十一又快到了,自从淘宝在2009年首次举办双十一促销活动,已经过去十余年,但活动热度却丝毫未减,每年销售额屡创新高。...发展至今双十一已经成为全电商行业的盛会,也是大众参与热情极高的剁手盛会,甚至已经成为中产阶级购物文化的一部分。...除此之外,京东的售后服务保障也进行全面升级,11活动期间,京东超市价保政策升级为30天,购买带有“30天价保”标识的自营商品,30天内出现降价可享受补差价服务。...从目前的双十一开局情况来看,各大平台都在备战和发力,希望借此盛会取得一个优异的战果。双十一对于消费者来说是一个购买优惠商品的良机,但对于电商平台来说则不亚于一场商业战争,是赢家和输家的游戏。...随着各大平台都深知直播电商的红利而纷纷布局直播业务时,消费者的体验也会变得麻木,无法获得新的购买刺激从而导致平台增速放缓,这最终考验的是平台方的创新能力。

13.6K30

论文解读|TuGraph Analytics 流式计算论文入选国际顶会 SIGMOD

图片 图片注:GeaFlow 为蚂蚁流式计算引擎 TuGraph Analytics 内部代号,本文将沿用论文中所用 “GeaFlow”,便于读者对应。...为了解决上述的这些问题,蚂蚁流式计算团队开发和设计了一款 流计算引擎 Geaflow,它能很好的解决流式动态分析、遍历和计算的诉求,同时支持长窗口数据数据状态管理、DSL 化流任务研发等特性。...实验结果 我们在这里列举了 Geaflow 和其他流计算引擎的对比。...图片 总结及规划 Geaflow 源于6年前我们在蚂蚁业务场景的尝试,当时我们发现现有的流处理架构并不适合流式处理,经过两年的孵化,Geaflow 成功的支持蚂蚁反欺诈业务,同时在2018年十一期间达到每秒处理超过千万级事件的高吞吐量...如今 Geaflow 已成为蚂蚁最受欢迎的计算引擎之一。 接下来,我们计划在以下几个方面进一步发展 GeaFlow: 融合更多的语义,例如具有增量语义的计算算子。

45730
领券