首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

落地百余场景、扛过双11,蚂蚁TuGraph流式图计算引擎正式开源!

本次,蚂蚁集团宣布将图计算系统中的流图计算引擎 TuGraph-Analytics 正式开源。结合蚂蚁图计算领域其他项目的优异表现,该引擎又将对开源领域及产业界带来哪些价值?...开源地址:https://github.com/TuGraph-family/tugraph-analytics 3 扛过双 11 大考,落地百余场景,TuGraph-Analytics 筹划已久...2018 年的双 11,流图计算做到了在大促极端流量高峰情况下,动态识别超过六度关系链(隐蔽性强)的异常资金风险,这一风控能力在当时的业界非常领先。...“那时,我们从 6、7 月份就开始和业务同学一起闭关筹备双 11,内部做了几轮流量压测,包括极端情况下的解决方案全部讨论完毕才确定推到双 11。”...TuGraph-Analytics 作为流式图计算引擎,偏重于流式实时图的分析和计算。

40140

大数据与云计算的新引擎 – Kona JDK 11揭秘

腾讯JDK团队针对大数据/机器学习和云计算等业务的前沿需求,正在探索新的长期支持版本Kona JDK 11,本文将对其中部分实践进行介绍,希望从生产经验的角度为大家的技术决策提供一手参考。...: ● 向量计算优化:针对大数据/机器学习场景的“算力”优化需求,移植并改进了社区前沿版本中的Vector API技术,将其作为Kona 11长期支持版本中的特性,并且与数据平台部团队合作在广告核心业务场景探索落地...Kona 11向量计算版本揭秘 在公司广告等核心业务中,性能/算力不仅仅意味着单位计算资源能够处理更多的业务流量,也深刻影响着我们能够扩展探索的模型复杂度等能力范围,但是,摩尔定律某种程度上在今天已经失效...云计算 + Kona JDK 11 Kona JDK 11在云微服务产品场景进行了初步落地探索: 1)在腾讯云中间件微服务产品中,我们将腾讯云中间件微服务支撑环境升级到Kona JDK 11后,对微服务应用进行了稳定性和性能压力测试...总结: JDK 11是一个值得认真考虑的版本,Kona JDK 11的针对性优化,让其在大数据/机器学习、云计算等场景具备明显的性能和功能优势,限于篇幅我们今天没有对大堆GC优化、ZGC等新特性生产化进行赘述

1.6K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    2023开放原子全球开源峰会,蚂蚁图计算平台开源业内首个工业级流图计算引擎

    ---- 6月11日,2023开放原子全球开源峰会在北京开幕。本次峰会以“开源赋能,普惠未来”为主题。...在高峰论坛上,蚂蚁技术研究院院长、图计算负责人陈文光宣布开源 TuGraph 图计算平台核心成员——工业级流式图计算引擎 TuGraph Analytics。...据了解,蚂蚁从2015年开始探索图计算,布局了图数据库、流式图计算引擎、图学习等相关技术,打造了世界规模领先的图计算集群,于业界首创了工业级流式图计算引擎,多次问鼎图数据库行业权威测试 LDBC 世界冠军并保持世界纪录...此次开源的工业级流式图计算引擎是蚂蚁从2017年开始布局打造,经过五年多工业级应用大考,流式图计算做到了在千亿数据规模的“图”上秒级延迟计算,是蚂蚁风控的核心基础技术,成功解决了金融场景风险分析难、识别率低...此次流式图计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的图计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。

    25420

    蚂蚁金服, 开源业内首个工业级流图计算引擎

    6月11日,2023开放原子全球开源峰会在北京开幕。本次峰会以“开源赋能,普惠未来”为主题。...在高峰论坛上,蚂蚁技术研究院院长、图计算负责人陈文光宣布开源 TuGraph 图计算平台核心成员——工业级流式图计算引擎 TuGraph Analytics。...(图:陈文光宣布开源业内首个工业级流式图计算引擎 TuGraph Analytics) 去年9月,蚂蚁集团开源了 TuGraph 图计算平台中的图数据库 TuGraph DB。...据了解,蚂蚁从2015年开始探索图计算,布局了图数据库、流式图计算引擎、图学习等相关技术,打造了世界规模领先的图计算集群,于业界首创了工业级流式图计算引擎,多次问鼎图数据库行业权威测试 LDBC 世界冠军并保持世界纪录...此次流式图计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的图计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。

    34130

    计算广告系列(六)-《计算广告》第二版思维导图11-16章

    本文是小编整理的《计算广告》第二版一书第十一章到第十六章的思维导图,主要介绍计算广告中用到的主要技术。 第十一章 合约广告核心技术 合约广告的重点形式是按指定受众购买的,按CPM计费的展示量合约广告。...第十四章 点击率预测模型 点击率预测是计算广告中最为熟知也是最重要的问题之一。经典的点击率预估模型是逻辑回归模型,并逐渐发展为基于深度学习的预估模型。...思维导图使用XMind进行编辑,想要PNG格式的图片嘛?后台回复“计算广告”即可!(小编没有原书的电子版,对此书感兴趣的可以购买原书,入门计算广告非常好的一本书!)

    1.9K20

    3000字11张图硬核科普:什么是边缘计算?与云计算有什么联系和区别?

    随着近年来云计算的兴起,还有一个名词也渐渐走入公众的视野,那就是边缘计算。 其实云计算和边缘计算两者是不一样的概念,边缘计算是因为物联网技术的发展,催生出了边缘计算。...那么边缘计算到底是个什么样的技术,它背后的原理是啥?和云计算又有什么区别? 今天瑞哥用图解的形式来大家揭开边缘计算的神秘面纱! 什么是边缘?...边缘计算是一种将地理分布与云技术相结合的方法,边缘数据中心可以通过在地理位置上更接近您需要的数据源来帮助解决延迟问题。 边缘计算是一种分散式计算架构,而不是集中式计算模型(云计算)。...边缘计算和云计算的比较 云计算 云计算依靠远程服务器网络在异地存储和使用数据,可以同时向大量人提供数据,不需要维护自己的基础架构。...边缘计算 边缘计算不依赖于数据中心或云,计算更接近数据源,最大限度地减少距离带来的损耗,当出现问题时,故障排除也很简单。

    1.8K30

    3000字11张图硬核科普:什么是边缘计算?与云计算有什么联系和区别?

    随着近年来云计算的兴起,还有一个名词也渐渐走入公众的视野,那就是边缘计算。 其实云计算和边缘计算两者是不一样的概念,边缘计算是因为物联网技术的发展,催生出了边缘计算。...那么边缘计算到底是个什么样的技术,它背后的原理是啥?和云计算又有什么区别? 今天瑞哥用图解的形式来大家揭开边缘计算的神秘面纱! 什么是边缘?...边缘计算是一种将地理分布与云技术相结合的方法,边缘数据中心可以通过在地理位置上更接近您需要的数据源来帮助解决延迟问题。 边缘计算是一种分散式计算架构,而不是集中式计算模型(云计算)。...边缘计算和云计算的比较 云计算 云计算依靠远程服务器网络在异地存储和使用数据,可以同时向大量人提供数据,不需要维护自己的基础架构。...边缘计算 边缘计算不依赖于数据中心或云,计算更接近数据源,最大限度地减少距离带来的损耗,当出现问题时,故障排除也很简单。

    1.6K40

    搜索,大促场景下智能化演进之路

    图1 搜索智能化演进过程 1. 2014年双11,实时之刃初露锋芒 技术的演进是伴随解决实际业务问题和痛点发展和进化的。...针对以上问题,通过搜索技术团队自主研发的流式计算引擎Pora,收集预热期和双11当天全网用户的所有点击、加购、成交行为日志,按商品维度累计相关行为数量,并实时关联查询商品库存信息,提供给算法插件进行实时售罄率和实时转化率的计算分析...第一次在双11大促场景下实现了大规模的实时计算影响双11当天的流量分配。 2014年双11当天,Pora系统首次经受了双11巨大流量的洗礼,系统运行可以说是一波三折。...图3 2015年双11的实时计算体系 3. 2016年双11,深度学习+强化学习独领风骚 2015年双11,在线学习被证明效果显著,然而回顾当天观察到的实时效果,也暴露出一些问题。...2016年双11,实时计算引擎从istream时代平稳升级到blink/flink时代,实现24小时不间断、无延迟运转,机器学习任务从几个扩大到上百个job。

    6.5K40

    鹅厂上万节点大规模集群的跨城自动迁移(上)

    我们从下往上看: 1、最底层是数据存储层,包括 HDFS、HBase、Ceph、PGXZ; 2、第二层是资源调度层; 3、第三层是计算引擎层,包括 MR、Spark 和 GPU; 4、第四层是计算框架,...TDW 的核心是计算引擎和存储引擎,存储引擎是放数据的地方,计算引擎提供 MapReduce 和 Spark 的计算能力。之上有查询引擎,最上面提供两个用户入口,任务统一调度和集成开发环境 IDE。...方案二:单集群方案 下面讲一下单集群方案,它跟双集群差异点在哪里?最核心的差别在于:存储不会同时在两个地方,要么在左边,要么在右边。...单集群方案最大风险是跨城流量控制,跨城流量控制最重要的点是:数据在哪里,计算就去哪里,要不然就是穿越;如果访问的数据两边都有,哪边数据量大,计算就在哪边。...这个关系可以用来指导我们的数据迁移,可以做到数据在哪里,计算就在哪里。 关系链的生成 接着的问题是在一个大的系统里关系链怎么生成?

    3.2K20

    腾讯上万节点大规模集群的跨城自动迁移

    TDW 的核心是计算引擎和存储引擎,存储引擎是放数据的地方,计算引擎提供 MapReduce 和 Spark 的计算能力。之上有查询引擎,最上面提供两个用户入口,任务统一调度和集成开发环境 IDE。...方案二:单集群方案 下面讲一下单集群方案,它跟双集群差异点在哪里? 最核心的差别在于:存储不会同时在两个地方,要么在左边,要么在右边。...单集群方案最大风险是跨城流量控制,跨城流量控制最重要的点是:数据在哪里,计算就去哪里,要不然就是穿越;如果访问的数据两边都有,哪边数据量大,计算就在哪边。...这个关系可以用来指导我们的数据迁移,可以做到数据在哪里,计算就在哪里。 2.3 关系链的生成 接着的问题是在一个大的系统里关系链怎么生成?...4.2 迁移的流量控制 (采用独立的迁移计算集群) 迁移的流量控制,这张图很有意思的地方是,当我们做数据迁移的时候,源集群(城市A HDFS集群),迁移计算集群,目标集群(城市B HDFS集群),这三个集群的流量有很有意思的关系

    1.5K20

    腾讯云双十一重磅优惠来袭,带你掌握最强攻略密码

    开团/参团商品门槛说明双 11 大促活动页面的指定商品(详情见下),下单成功后才能开团 / 参团,单个商品或者多个商品合并下单均支持,加购商品不包含在内双 11 大促活动页面包括如下:1、主会场;2、分会场.../小时;b) 大模型产品:大模型图像创作引擎( 图像风格化-图生图-1万/10万次)赠送1千次、大模型视频创作引擎 (图片跳舞-1千/1万次规格)赠送100次、 混元大模型 (混元生图-1万次规格)赠送...购买双11的活动商品,享受一重好礼:全年最优折扣!选择含“可拼团”商品订单去拼团,成团享受二重好礼(成团礼):赠送最高3个月的时长,或者多拿10%的资源包。...他可先在双11活动购买 1.x~4.x折不等的商品,然后合并为一个订单去支付(假设支付金额为5000元)开团。...八、我的福利什么时候下发,在哪里查看?拼团成功,福利预计3~5分钟自动发放至账户,您可前往订单详情 > 及 代金券列表 >查看九、我有多台机器参与拼团,每台都能送时长吗?支持。

    14210

    比流计算资源效率最高提升 1000 倍,“增量计算”新模式能否颠覆数据分析?

    3 从组装式(Lambda)架构到一体化引架构难点在哪里?...尽管这样的限制不利于发挥计算资源弹性伸缩的优势,云器 Lakehouse 仍然在多个场景下同时表现出优异的性能,如图 11 所示: 图 9: 云器 Lakehouse 离线和实时分析场景性能指标 图 11...图 11- 右 1: 在实时分析场景,SSB-FLAT 100GB 是以星型数据结构为主的数据测试集,适用于评估实时查询性能,我们对比了 Spark 和 Clickhouse,Snowflake。...如图12所示,每张图的前两个数据柱状图指标是参照流引擎,第一个柱子代表其资源占用,第二个代表实际资源使用。而云器使用增量计算的模式,没有资源占用和使用差异。...图 11: 总结,云器科技基于增量计算打造一体化平台的最佳实践

    80010

    机器学习&人工智能:数据赋能背后的黑科技

    逍遥子也曾经讲过:“我们用大数据赋能了双11,赋能了我们自己的运营能力。...2016年双11,超过23万商家通过客户运营平台实现了店铺的个性化运营和粉丝会员的精准营销,显著提升了成交转化。下面以访客运营为例,介绍AI分群引擎的应用。...双11大促店铺承接页个性化技术 今年双11阿里巴巴首次实现了全面的全站个性化,包括从会场到大促承接页到店铺再到详情,而大促店铺承接页是连接会场与店铺的桥梁,大促承接页的整体活动氛围和布局由平台确定,商家可以通过页面装修工具来装修商品模块...基于流式计算的方法 基于流式计算引擎,实时更新商品之间的关联关系,更好地捕捉线上流量的变化 6....千牛头条双11和热门频道 目前个性化算法支持了热门feeds流、双11频道,后续会支持更多的频道和场景。

    2K60
    领券