首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

落地百余场景、扛过11,蚂蚁TuGraph流式计算引擎正式开源!

本次,蚂蚁集团宣布将计算系统中的流计算引擎 TuGraph-Analytics 正式开源。结合蚂蚁计算领域其他项目的优异表现,该引擎又将对开源领域及产业界带来哪些价值?...对于数据模型天然适合模型,同时希望能够更快看到计算的价值的应用,流计算引擎 TuGraph-Analytics 是更加合适的选择。...2018 年的 11,流计算做到了在大促极端流量高峰情况下,动态识别超过六度关系链(隐蔽性强)的异常资金风险,这一风控能力在当时的业界非常领先。...“那时,我们从 6、7 月份就开始和业务同学一起闭关筹备 11,内部做了几轮流量压测,包括极端情况下的解决方案全部讨论完毕才确定推到 11。”...TuGraph-Analytics 作为流式计算引擎,偏重于流式实时的分析和计算

29340

TKDE2023 | 基于学习的社交推荐算法

TLDR: 本文将社交推荐任务建模在曲空间学习之下,并提出了一种基于学习的社交推荐模型。...具体的,其设计了一个曲社交预训练模块以保留社交结构作为特征,并从显式的异质学习和隐式的特征增强两方面缓解社交推荐存在的问题。...最近,一些研究探索了将嵌入学习转移到曲空间的替代方法,曲空间可以保留现实世界的层级结构。 然而,直接将当前的嵌入模型应用于社交推荐并非易事,因为存在两大挑战:网络异质性和社交扩散噪声。...为了解决上述挑战,本文提出了一种基于学习的社交推荐(HGSR)模型。首先,利用曲社交嵌入的预训练来探索社交结构,这可以保留社交网络的层级特性。...总之,本文提出了一种新颖的HGSR模型用于曲空间的社交推荐。为了利用社交影响扩散引入的异质性和噪声问题,设计了一种社交预训练增强的曲异质学习方法。

28710
您找到你想要的搜索结果了吗?
是的
没有找到

2023开放原子全球开源峰会,蚂蚁计算平台开源业内首个工业级流计算引擎

在高峰论坛上,蚂蚁技术研究院院长、计算负责人陈文光宣布开源 TuGraph 计算平台核心成员——工业级流式计算引擎 TuGraph Analytics。...计算目前已广泛应用在金融、政务、医疗等领域,备受全球研发机构和顶尖科技公司关注。流式计算是一种将流式计算计算结合的交叉创新,融合了流式计算的高度实效性和计算的灵活性,攻坚难度极高。...据了解,蚂蚁从2015年开始探索计算,布局了数据库、流式计算引擎学习等相关技术,打造了世界规模领先的计算集群,于业界首创了工业级流式计算引擎,多次问鼎数据库行业权威测试 LDBC 世界冠军并保持世界纪录...此次开源的工业级流式计算引擎是蚂蚁从2017年开始布局打造,经过五年多工业级应用大考,流式计算做到了在千亿数据规模的“”上秒级延迟计算,是蚂蚁风控的核心基础技术,成功解决了金融场景风险分析难、识别率低...此次流式计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。

22920

蚂蚁金服, 开源业内首个工业级流计算引擎

在高峰论坛上,蚂蚁技术研究院院长、计算负责人陈文光宣布开源 TuGraph 计算平台核心成员——工业级流式计算引擎 TuGraph Analytics。...(:陈文光宣布开源业内首个工业级流式计算引擎 TuGraph Analytics) 去年9月,蚂蚁集团开源了 TuGraph 计算平台中的数据库 TuGraph DB。...据了解,蚂蚁从2015年开始探索计算,布局了数据库、流式计算引擎学习等相关技术,打造了世界规模领先的计算集群,于业界首创了工业级流式计算引擎,多次问鼎数据库行业权威测试 LDBC 世界冠军并保持世界纪录...此次开源的工业级流式计算引擎是蚂蚁从2017年开始布局打造,经过五年多工业级应用大考,流式计算做到了在千亿数据规模的“”上秒级延迟计算,是蚂蚁风控的核心基础技术,成功解决了金融场景风险分析难、识别率低...此次流式计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。

23130

WSDM2022 | 基于曲几何无标度建模的知识感知推荐算法

此外,由于神经网络在提取数据特征方面的强大性能,一些研究将推荐系统与 GNN 结合了起来。...基于 GNN 的知识图谱推荐模型通常将用户-物品历史交互与外部知识图谱的交互统一为三部,然而在数据统一之后,这些三部通常呈现出无标度(或层次)的特点,如图 1(a)所示,两项基准数据集的度分布近似于幂律分布...为了解决上述问题,本文提出了基于的曲几何洛伦茨模型的知识感知推荐模型,简称为 LKGR。...3.2.2 洛伦茨消息传递 为了在洛伦茨流形上传播邻域信息,需要分别计算用户和物品邻域的洛伦茨线性组合。... 3 展示了 topk 推荐任务下本文算法与基线算法的性能对比。

2.3K30

天猫11订单峰值58.3万笔秒,消费狂欢背后隐藏了哪些技术?

其中在杭州数据中心内,全球规模最大的液冷服务集群将有上万台液冷服务器投入生产处理 11 的海量计算工作,这些服务器的网线连起来可以绕地球一周。...运维机器人天巡 数据中心提供算力支撑,计算框架「流批一体」则大大提升了计算和查询的速度,流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性。...三、更智能的体验 除了购物更快,今年双十一的另一个特征是更「智能」。 今年 11 前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次。...平台对用户消费行为的洞察和商品推荐也更加精准,而这背后的技术引擎是智能搜索引擎。阿里的智能搜索推荐日均模型发布 1000+,单模型容量 1TB+,模型可以即时分析,分钟级更新 1 亿参数。...阿里测算,这些数字化的 IoT 设备在今年 11 期间,会帮消费者节省 15 万个小时。 出身两个月不到的小蛮驴也已经应用在了双十一实践中,使社区无人配送成为可能。

8.2K10

轻量级深度学习端侧推理引擎 MNN,阿里开源!

开源地址: 该项目已经在 Github 开源,后台回复“MNN”获得 Github 下载链接 2、MNN的优势 MNN 负责加载网络模型,推理预测返回相关结果,整个推理过程可以分为模型的加载解析、计算的调度...前者负责模型的加载、计算的调度;后者包含各计算设备下的内存分配、Op 实现。...2018年十一购物节中,MNN 也在猫晚笑脸红包、扫一扫明星猜拳大战等场景中使用。 ?...其中的技术也在不断迭代更新,从最早的拍照上传图片云端识别,演进到目前在端上做物体识别和抠再上传云端识别,有效地提升了用户体验同时节省了服务端计算成本。...笑脸红包是18年十一猫晚开场的第一个节目,这个玩法是基于实时人脸检测和表情识别能力做的,相比之前各种通过屏幕触控的交互玩法,这个活动通过摄像头实时人脸检测算法实现从传统触控交互玩法到自然交互玩法的跨越

6.9K40

论文解读|TuGraph Analytics 流式计算论文入选国际顶会 SIGMOD

图片 图片注:GeaFlow 为蚂蚁流式计算引擎 TuGraph Analytics 内部代号,本文将沿用论文中所用 “GeaFlow”,便于读者对应。...为了解决上述的这些问题,蚂蚁流式计算团队开发和设计了一款 流计算引擎 Geaflow,它能很好的解决流式动态分析、遍历和计算的诉求,同时支持长窗口数据数据状态管理、DSL 化流任务研发等特性。...实验结果 我们在这里列举了 Geaflow 和其他流计算引擎的对比。...图片 总结及规划 Geaflow 源于6年前我们在蚂蚁业务场景的尝试,当时我们发现现有的流处理架构并不适合流式处理,经过两年的孵化,Geaflow 成功的支持蚂蚁反欺诈业务,同时在2018年十一期间达到每秒处理超过千万级事件的高吞吐量...如今 Geaflow 已成为蚂蚁最受欢迎的计算引擎之一。 接下来,我们计划在以下几个方面进一步发展 GeaFlow: 融合更多的语义,例如具有增量语义的计算算子。

50330

大数据实战【千亿级数仓】阶段一

总体介绍 阶段一 了解行业背景、了解项目背景,项目架构介绍、技术选型,项目环境(数据/硬件)介绍,项目ER、项目需求介绍。...电子商务正在与实体经济深度融合,进入规模性发展阶段,对经济社会生活的影响不断增大,正成为我国经济发展的新引擎。 2012年十一 ? 2019年十一 ? ? ? ? ?...千亿级数仓模仿阿里巴巴双十一的大屏显示功能实现的互联网电商指标的离线,同时也模仿了阿里巴巴大数据平台上面数据仓库的设计思想和理念。...项目技术简介 Kettle 缓慢变化维(拉链表):时间维度,脚本生成,时间维度生成之后不会变化 Hive DataX:导出数据的工具 Spark SQL:计算引擎 Kylin:计算引擎,进行预计算之后的多维统计分析可以达到亚秒级别...项目ER E-R也称实体-联系-(Entity Relationship Diagram),提供了表示实体类型、属性和联系的方法,用来描述现实世界的概念模型。

2K20

只需5分钟,零代码复现双十一数据大屏

11月12日凌晨,2020天猫11落下帷幕,淘宝天猫官方消息,天猫双十一成交额4982亿。...选中“单数字矩形”,点击“编辑数据”图标,在弹出的窗口中上传数据表,可上传Excel或连接数据库。随后将数据表中,所需字段拖入“数据”项,并根据需求对数据进行计算。...时间回溯到2015年和2014年,天猫11更偏向于仪表盘型数据大屏,向全世界展现更多数据的同时,也帮助管理层快速掌握双十一全局,支持高效决策;还能够通过实时数据展示让员工、卖家和买家时刻充满紧迫感。...仪表盘型数据大屏同样可以通过Banber数据可视化简报平台轻松实现,在制作之前,首先需要规划每个版块仪表盘的内容,历年双十一多以6大版块为主,以2015天猫11为例,大屏规划如下图所示。 ?...整体背景推荐深色系,当然也可以使用图片。巧妙的使用小元素,如:线框、条纹、动态图片、装饰元素等,可以为整个大屏增色不少,提升层次感。

3.5K30

不仅仅是11大屏—Flink应用场景介绍

11大屏 每年天猫双十一购物节,都会有一块巨大的实时作战大屏,展现当前的销售情况。 这种炫酷的页面背后,其实有着非常强大的技术支撑,而这种场景其实就是实时报表分析。...利用流式计算实时得出结果直接被推送到前端应用,实时显示出重要指标的变换情况。最典型的案例便是淘宝双十一活动,每年双十一购物节,除疯狂购物外,最引人注目的就是双十一大屏不停跳跃的成交总额。...在整个计算链路中包括从天猫交易下单购买到数据采集,数据计算,数据校验,最终落到双十一大屏上展示的全链路时间压缩在5秒以内,顶峰计算性能高达数三十万笔订单/秒,通过多条链路流计算备份确保万无一失。...利用Flink流计算帮助用户构建更加实时的智能推荐系统,对用户行为指标进行实时计算,对模型进行实时更新,对用户指标进行实时预测,并将预测的信息推送给Web/App端,帮助用户获取想要的商品信息,另一方面也帮助企业提升销售额...通过利用Flink提供的CEP进行时间模式的抽取,同时应用Flink的Sql进行事件数据的转换,在流式系统中构建实施规则引擎,一旦事件触发报警规则,便立即将告警结果通知至下游通知系统,从而实现对设备故障快速预警检测

5.4K21

贾扬清推荐:阿里开源轻量级深度学习框架 MNN,侧重推理加速和优化

这和服务器端 TensorRT 等推理引擎的想法不谋而合。 在大规模机器学习应用中,考虑到大规模的模型部署,机器学习的推理侧计算量往往是训练侧计算量的十倍以上,所以推理侧的优化尤其重要。”...2、MNN 的优势 MNN 负责加载网络模型,推理预测返回相关结果,整个推理过程可以分为模型的加载解析、计算的调度、在异构后端上高效运行。...前者负责模型的加载、计算的调度;后者包含各计算设备下的内存分配、Op 实现。...其中的技术也在不断迭代更新,从最早的拍照上传图片云端识别,演进到目前在端上做物体识别和抠再上传云端识别,有效的提升了用户体验同时节省了服务端计算成本。...当前规划如下: 模型优化方面 完善 Converter 优化 完善对量化的支持,增加对稀疏的支持 调度优化方面 增加模型 flops 统计 针对设备硬件特性动态调度运行策略 计算优化 现有 Backend

3K30

谁顶住11的世界级流量洪峰?神龙架构负责人等9位大牛现场拆解阿里秘籍

自研数据库POLARDB和OceanBase分别处理8700万、6100万笔/秒峰值请求、实时计算处理峰值每秒25.5亿笔、计算平台单日处理970PB数据、12亿笔物流智能化等……2019年11期间,...在视觉方面,拍立淘日处理图片10亿张,今年双十一,视觉AI对拍立淘做了技术升级,从一图一物到一多物的升级,比如之前只识别一个元素,到今天全身穿搭一次性识别,而且这个技术在计算机视觉领域顶级会议上ICCV...阿里云智能计算平台事业部研究员关涛(观涛)表示,双十一的挑战从商务角度看是商品和消费者最优化匹配的问题,往下则是大数据和AI能力的挑战, 从数据来看,今年11数据量达到970 PB,这大概是一个什么量级...据统计,去年2018年十一的时候,这样的实时推荐给商家的智能决策,90%都会被商家采用。...实时计算的系统层面,能够支持TPS、每天有超过万级别的在线实时在跑,每天处理超过10 Trillions of Records,包括实时分析、实时预警、实时搜索、在线机器学习、广告实时推荐,这些都是大数据和

10.7K10

11 特供!临战前收下这几款小程序,分分钟省下一个亿

关注「知晓程序」公众号,微信后台回复「0109」,一张教你玩转小程序。 不买便宜的,只买对的 当降价,刷口碑,各种眼花缭乱的宣传扑面而来时,会被太多信息淹没。...攻略+好价的方式,一方面可以解决你购物的痛点难题,另一方面可以把性价比高的物品推荐给你。 ? 攻略分为三部分。轮播的时效性攻略、好文的推荐攻略,还有搜索中的关键词攻略。...时效性攻略负责满足眼下最痛的痛点,像 11.11 刷什么卡优惠最多,宝宝安全座椅选 11 购指南,实实在在的干货贴。...毕竟双十一,是为了让自己的更开心,不是更焦虑。 ?...「消费分期计算器」小程序使用链接 https://minapp.com/miniapp/4092/ 有了这 3 件神器防身,双十一剁手还怕什么,蓄势待发吧!

56.8K40

【一周要闻】快手电商掀起“供给侧改革”; B站公布10月处理31万违规账号;淘宝直播12推商家自播特别版

Meta(FB.US)允许加密货币公司投放广告播 淘宝直播12推商家自播特别版,降低参与门槛 【新奇特】 字节跳动旗下火山引擎发布全系云产品 【新数据】 B站公布10月社区治理数据,处理31万违规账号...id=1718000138320868765&wfr=spider&for=pc) 12月1日 淘宝直播12推商家自播特别版 降低参与门槛 双十二即将来临,为了助力商家在2021年的最后一次自播冲刺,...淘宝直播超级播再出新招,推出12「全民皆播」商家自播特别版。...(图片来自网络) 在云基础架构上,火山引擎坚持全栈自研、软硬一体的协同设计,覆盖了计算、存储、网络等各环节。字节跳动自研的服务器、DPU(专用处理器)、AI芯片等硬件,将通过火山引擎云产品对外服务。...《2021年“双十一”消费投诉数据报告》。

6.2K20

对话蚂蚁金服 | TechFin趋势下如何应对超大规模实时分布式关系网络

wifi中,是否经常出现在同一个地点中(可能是同一家庭的设备),支付的账号和设备之间,银行卡之间都构成了关系网”,俞本权接着补充道:“对于这样本身具有网络关系的数据,其实用传统的关系型数据库或者一些开源的数据库也能够进行存储和计算...而在服务层上,整个GeaBase分为存储层和计算层,GeaBase的功能主要通过计算层当中的各种模块实现。 在执行层上,使用异步执行引擎、优化通信等方法来提升性能。...在Strata大会的演讲现场,蚂蚁金服基础技术部计算及存储技术团队负责人叶小萌介绍了一种基于GeaBase的好友推荐算法。...这种算法从GeaBase中提取用户的社交网络关系,并计算一个用户的朋友的集合(F)与其朋友的朋友的朋友的集合(FOFOF)的交集,并选择交集内元素多的好友推荐给用户。...事实上,蚂蚁金服使用基于GeaBase的推荐算法的领域并不局限于社交网络,在咨询推荐,理财产品推荐,征信评价(芝麻信用分)等业务场景中,数据都得到了大量的应用。

1.4K30

Flink Forward Asia 2020干货总结!

从 Flink 引擎生态来看,2020 年,Flink 在流计算引擎内核,流批一体,拥抱 AI,云原生这四个主打方向上都取得了不错的成绩。...社区在 2020 年取得的成果以及未来的发展方向,主要包括:流计算引擎内核,流批一体,Flink + AI 融合,云原生这四个方向。...这套完整的解决方案 Flink AI Extended 不仅支持深度学习引擎和 Flink 计算引擎的集成(TensorFlow / PyTorch on Flink),它的工作流(Flink AI Flow...2016 年,Flink 在双十一搜索推荐场景中首次亮相,并用 Flink 实现搜索推荐和在线学习全链路实时化。2017 年,Flink 成为阿里巴巴集团内实时计算的标准解决方案。...过去一年,Flink 在流计算引擎内核,流批一体,AI融合,云原生这四个方向上都取得了不错的成绩,未来也会在这四个方向上继续耕进。

2.3K31

揭秘:2018阿里11秒杀背后的技术

二、阿里11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎11当天实现万亿级消息流转。 3....在线交易的数据实时和离线计算能力 支撑全球最大规模在线交易的数据实时和离线计算能力,包括承载阿里巴巴集团核心大数据的离线计算平台,以及双十一保证每秒处理亿条日志的计算。 5....阿里人工智能 在搜索、推荐以及客服场景下的创新应用,包括人工智能赋能的数千家品牌商家店铺的个性化运营和粉丝会员的精准营销。 6. VR技术 虚拟购物环境背后的VR技术。 7....总之,11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...除此以外还会涉及到分布式小文件存储以及搜索引擎,以及服务器集群监控等技术。

4.6K30

搜索,大促场景下智能化演进之路

演进的背景 运用机器学习技术来提升搜索/推荐平台的流量投放效率是目前各大互联网公司的主流技术路线,并仍然随着计算力和数据的规模增长,持续地优化和深入。...针对以上问题,通过搜索技术团队自主研发的流式计算引擎Pora,收集预热期和11当天全网用户的所有点击、加购、成交行为日志,按商品维度累计相关行为数量,并实时关联查询商品库存信息,提供给算法插件进行实时售罄率和实时转化率的计算分析...,并将计算结果实时更新同步给主搜、商城、店铺内引擎、天猫推荐平台、流量直播间等下游业务。...3 2015年11的实时计算体系 3. 2016年11,深度学习+强化学习独领风骚 2015年11,在线学习被证明效果显著,然而回顾当天观察到的实时效果,也暴露出一些问题。...2016年11,实时计算引擎从istream时代平稳升级到blink/flink时代,实现24小时不间断、无延迟运转,机器学习任务从几个扩大到上百个job。

6.5K40

今天11,和心爱的她一起去「云露营」

天猫依托底层3D引擎(AceNNR)、AI引擎(MNN)、AR引擎、多媒体等技术,让我们能通过AR应用、3D展示等各种方法,看到各种产品的形态。...然后,把照片上传到云端,让三维重建算法进行训练计算。 最后,就可以得到渲染好的模型啦。...可以说,正是双十一大促对算力资源和配置的巨大压力和苛刻要求,催生了阿里云的「百炼成钢」,也正是阿里云一步一个脚印的提升,让双十一成为「剁手爱好者」们一年一度的盛宴。...阿里是全球首家将全部业务放在公共云上的科技企业,过去十年里,已经完成了云计算能力从单点试验到规模化应用的「跃迁式变革」。...另外,今年阿里将自研CPU大规模应用于11活动,首次实现了芯片、计算架构及操作系统的协同优化,单位算力功耗降低了60%。 最初,阿里下定决心搞自研CPU的起因,也是为了满足计算场景的实际需要。

18.5K40
领券