首页
学习
活动
专区
圈层
工具
发布

落地百余场景、扛过双11,蚂蚁TuGraph流式图计算引擎正式开源!

本次,蚂蚁集团宣布将图计算系统中的流图计算引擎 TuGraph-Analytics 正式开源。结合蚂蚁图计算领域其他项目的优异表现,该引擎又将对开源领域及产业界带来哪些价值?...开源地址:https://github.com/TuGraph-family/tugraph-analytics 3 扛过双 11 大考,落地百余场景,TuGraph-Analytics 筹划已久...2018 年的双 11,流图计算做到了在大促极端流量高峰情况下,动态识别超过六度关系链(隐蔽性强)的异常资金风险,这一风控能力在当时的业界非常领先。...“那时,我们从 6、7 月份就开始和业务同学一起闭关筹备双 11,内部做了几轮流量压测,包括极端情况下的解决方案全部讨论完毕才确定推到双 11。”...TuGraph-Analytics 作为流式图计算引擎,偏重于流式实时图的分析和计算。

3.8K40

双引擎驱动代码审计与机密计算护航大模型推理

核心产品与能力 CodeBuddy Security(AI代码安全审计): 采用AI Agent + SAST 双引擎驱动架构。...SAST引擎基于内部实战沉淀规则,保障速度与稳定性;AI Agent引擎负责威胁建模、未知逻辑漏洞挖掘及PoC沙箱验证。...系统通过6阶段流水线(威胁建模 $\to$ 架构分析 $\to$ 漏洞发现 $\to$ 图分析鉴伪 $\to$ 多维验证 $\to$ 修复审核)实现闭环。...机密计算大模型(AICC): 提供数据全程可用不可见的云端可信推理环境。通过硬件级Enclave隔离、端到端加密与远程证明服务,重构信任边界。...可信计算底座: AICC通过密码学远程证明与硬件级隔离,提供了“可证明的安全性”,解决了企业上云的核心信任痛点。

29410
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    大数据与云计算的新引擎 – Kona JDK 11揭秘

    腾讯JDK团队针对大数据/机器学习和云计算等业务的前沿需求,正在探索新的长期支持版本Kona JDK 11,本文将对其中部分实践进行介绍,希望从生产经验的角度为大家的技术决策提供一手参考。...: ● 向量计算优化:针对大数据/机器学习场景的“算力”优化需求,移植并改进了社区前沿版本中的Vector API技术,将其作为Kona 11长期支持版本中的特性,并且与数据平台部团队合作在广告核心业务场景探索落地...Kona 11向量计算版本揭秘 在公司广告等核心业务中,性能/算力不仅仅意味着单位计算资源能够处理更多的业务流量,也深刻影响着我们能够扩展探索的模型复杂度等能力范围,但是,摩尔定律某种程度上在今天已经失效...云计算 + Kona JDK 11 Kona JDK 11在云微服务产品场景进行了初步落地探索: 1)在腾讯云中间件微服务产品中,我们将腾讯云中间件微服务支撑环境升级到Kona JDK 11后,对微服务应用进行了稳定性和性能压力测试...总结: JDK 11是一个值得认真考虑的版本,Kona JDK 11的针对性优化,让其在大数据/机器学习、云计算等场景具备明显的性能和功能优势,限于篇幅我们今天没有对大堆GC优化、ZGC等新特性生产化进行赘述

    2K20

    完美应对千亿级明细数据计算:Aloudata CAN 双引擎架构详解

    因此,Aloudata CAN 正式推出“双引擎物化架构”。...极限场景实测:千亿级明细计算突围架构设计的优劣,最终需要回到真实的业务熔炉中去检验。为了验证双引擎架构在极端负载下的表现,我们与一家头部零售行业的标杆客户合作,进行了一次“极限压测”。...突围战(双引擎切换):我们将该任务切换至 Aloudata CAN 的双引擎模式,启用 Spark 批处理引擎接管计算,从“全内存依赖”切换为更稳健的“内存+磁盘 Shuffle”的预计算模式。...图:双引擎架构下,当用户选择通过 Spark 进行加速任务构建的系统架构图1. 无感知的方言翻译:构建语义层的“通用编译器”系统在语义层构建了一套高精度的“方言编译器”。...这正是我们构建双引擎架构的初衷:用最硬核的工程底座,支撑最自由的业务探索。

    24910

    2023开放原子全球开源峰会,蚂蚁图计算平台开源业内首个工业级流图计算引擎

    ---- 6月11日,2023开放原子全球开源峰会在北京开幕。本次峰会以“开源赋能,普惠未来”为主题。...在高峰论坛上,蚂蚁技术研究院院长、图计算负责人陈文光宣布开源 TuGraph 图计算平台核心成员——工业级流式图计算引擎 TuGraph Analytics。...据了解,蚂蚁从2015年开始探索图计算,布局了图数据库、流式图计算引擎、图学习等相关技术,打造了世界规模领先的图计算集群,于业界首创了工业级流式图计算引擎,多次问鼎图数据库行业权威测试 LDBC 世界冠军并保持世界纪录...此次开源的工业级流式图计算引擎是蚂蚁从2017年开始布局打造,经过五年多工业级应用大考,流式图计算做到了在千亿数据规模的“图”上秒级延迟计算,是蚂蚁风控的核心基础技术,成功解决了金融场景风险分析难、识别率低...此次流式图计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的图计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。

    1.4K20

    蚂蚁金服, 开源业内首个工业级流图计算引擎

    6月11日,2023开放原子全球开源峰会在北京开幕。本次峰会以“开源赋能,普惠未来”为主题。...在高峰论坛上,蚂蚁技术研究院院长、图计算负责人陈文光宣布开源 TuGraph 图计算平台核心成员——工业级流式图计算引擎 TuGraph Analytics。...(图:陈文光宣布开源业内首个工业级流式图计算引擎 TuGraph Analytics) 去年9月,蚂蚁集团开源了 TuGraph 图计算平台中的图数据库 TuGraph DB。...据了解,蚂蚁从2015年开始探索图计算,布局了图数据库、流式图计算引擎、图学习等相关技术,打造了世界规模领先的图计算集群,于业界首创了工业级流式图计算引擎,多次问鼎图数据库行业权威测试 LDBC 世界冠军并保持世界纪录...此次流式图计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的图计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。

    1.5K30

    计算广告系列(六)-《计算广告》第二版思维导图11-16章

    本文是小编整理的《计算广告》第二版一书第十一章到第十六章的思维导图,主要介绍计算广告中用到的主要技术。 第十一章 合约广告核心技术 合约广告的重点形式是按指定受众购买的,按CPM计费的展示量合约广告。...第十四章 点击率预测模型 点击率预测是计算广告中最为熟知也是最重要的问题之一。经典的点击率预估模型是逻辑回归模型,并逐渐发展为基于深度学习的预估模型。...思维导图使用XMind进行编辑,想要PNG格式的图片嘛?后台回复“计算广告”即可!(小编没有原书的电子版,对此书感兴趣的可以购买原书,入门计算广告非常好的一本书!)

    2.3K20

    3000字11张图硬核科普:什么是边缘计算?与云计算有什么联系和区别?

    随着近年来云计算的兴起,还有一个名词也渐渐走入公众的视野,那就是边缘计算。 其实云计算和边缘计算两者是不一样的概念,边缘计算是因为物联网技术的发展,催生出了边缘计算。...那么边缘计算到底是个什么样的技术,它背后的原理是啥?和云计算又有什么区别? 今天瑞哥用图解的形式来大家揭开边缘计算的神秘面纱! 什么是边缘?...边缘计算是一种将地理分布与云技术相结合的方法,边缘数据中心可以通过在地理位置上更接近您需要的数据源来帮助解决延迟问题。 边缘计算是一种分散式计算架构,而不是集中式计算模型(云计算)。...边缘计算和云计算的比较 云计算 云计算依靠远程服务器网络在异地存储和使用数据,可以同时向大量人提供数据,不需要维护自己的基础架构。...边缘计算 边缘计算不依赖于数据中心或云,计算更接近数据源,最大限度地减少距离带来的损耗,当出现问题时,故障排除也很简单。

    2.7K30

    3000字11张图硬核科普:什么是边缘计算?与云计算有什么联系和区别?

    随着近年来云计算的兴起,还有一个名词也渐渐走入公众的视野,那就是边缘计算。 其实云计算和边缘计算两者是不一样的概念,边缘计算是因为物联网技术的发展,催生出了边缘计算。...那么边缘计算到底是个什么样的技术,它背后的原理是啥?和云计算又有什么区别? 今天瑞哥用图解的形式来大家揭开边缘计算的神秘面纱! 什么是边缘?...边缘计算是一种将地理分布与云技术相结合的方法,边缘数据中心可以通过在地理位置上更接近您需要的数据源来帮助解决延迟问题。 边缘计算是一种分散式计算架构,而不是集中式计算模型(云计算)。...边缘计算和云计算的比较 云计算 云计算依靠远程服务器网络在异地存储和使用数据,可以同时向大量人提供数据,不需要维护自己的基础架构。...边缘计算 边缘计算不依赖于数据中心或云,计算更接近数据源,最大限度地减少距离带来的损耗,当出现问题时,故障排除也很简单。

    2.1K40

    PB级数据亚秒查询背后的技术密码:腾讯云TCHouse-D存储计算双引擎解析

    腾讯云数据仓库TCHouse-D凭借在存储与计算层的双重技术创新,实现了对复杂查询的亚秒级响应能力,成为企业级实时分析的理想选择。...一、存储层优化:构建高效数据管理体系 TCHouse-D采用存算分离架构,将计算与存储资源解耦,支持弹性扩展。...二、计算层突破:打造极速分析引擎 TCHouse-D的计算层深度融合MPP架构与向量化执行技术,形成三大核心优势: 向量化执行引擎undefined基于SIMD指令集优化,批量处理数据单元而非逐行计算。...动态资源调度undefinedFE节点智能解析查询语句,自动分配计算资源。当检测到高并发查询时,系统可在30秒内完成节点扩容,保障数千用户同时在线分析。...查询复杂度 TCHouse-D响应时间 传统方案对比 用户行为分析 500亿行 多维聚合 820ms 23秒 实时报表生成 800GB 20指标计算

    35910

    我的云原生“引路人”:腾讯云社区如何让我这个高三生开始懂技术

    但去年寒假,我因为想了解一下“以后学计算机要学什么”,误打误撞进了腾讯云开发者社区。...有一次一个腾讯云的工程师讲《Serverless帮双11省了多少钱》,他展示了一张图:传统服务器要提前买好几千台等着流量峰值,结果大部分时间闲着;用了Serverless后,只在有人访问时才跑代码,用多少付多少...大地图”:→云原生不是一个工具,而是一整套“让系统更好用、更省钱、更不容易崩”的方法论→它分成几块:容器(怎么把程序打包)、编排(怎么管理很多容器)、无服务(怎么让程序自动伸缩)、可观测(怎么知道系统哪里生病了...现在我开始有一点点预感:以后大学里学的计算机课程,可能很多都会跟云、容器、自动化这些东西打交道。等我以后找工作时,会不会因为“知道一点云原生是怎么回事”而比别人多一分从容?

    23310

    搜索,大促场景下智能化演进之路

    图1 搜索智能化演进过程 1. 2014年双11,实时之刃初露锋芒 技术的演进是伴随解决实际业务问题和痛点发展和进化的。...针对以上问题,通过搜索技术团队自主研发的流式计算引擎Pora,收集预热期和双11当天全网用户的所有点击、加购、成交行为日志,按商品维度累计相关行为数量,并实时关联查询商品库存信息,提供给算法插件进行实时售罄率和实时转化率的计算分析...第一次在双11大促场景下实现了大规模的实时计算影响双11当天的流量分配。 2014年双11当天,Pora系统首次经受了双11巨大流量的洗礼,系统运行可以说是一波三折。...图3 2015年双11的实时计算体系 3. 2016年双11,深度学习+强化学习独领风骚 2015年双11,在线学习被证明效果显著,然而回顾当天观察到的实时效果,也暴露出一些问题。...2016年双11,实时计算引擎从istream时代平稳升级到blink/flink时代,实现24小时不间断、无延迟运转,机器学习任务从几个扩大到上百个job。

    8K40

    鹅厂上万节点大规模集群的跨城自动迁移(上)

    我们从下往上看: 1、最底层是数据存储层,包括 HDFS、HBase、Ceph、PGXZ; 2、第二层是资源调度层; 3、第三层是计算引擎层,包括 MR、Spark 和 GPU; 4、第四层是计算框架,...TDW 的核心是计算引擎和存储引擎,存储引擎是放数据的地方,计算引擎提供 MapReduce 和 Spark 的计算能力。之上有查询引擎,最上面提供两个用户入口,任务统一调度和集成开发环境 IDE。...方案二:单集群方案 下面讲一下单集群方案,它跟双集群差异点在哪里?最核心的差别在于:存储不会同时在两个地方,要么在左边,要么在右边。...单集群方案最大风险是跨城流量控制,跨城流量控制最重要的点是:数据在哪里,计算就去哪里,要不然就是穿越;如果访问的数据两边都有,哪边数据量大,计算就在哪边。...这个关系可以用来指导我们的数据迁移,可以做到数据在哪里,计算就在哪里。 关系链的生成 接着的问题是在一个大的系统里关系链怎么生成?

    3.8K20

    【愚公系列】《AI+直播营销》012-个人入局直播,必做4个准备(直播平台通用的直播规则)

    华为云天团核心成员:特约编辑/云享专家/开发者专家/产品云测专家✔开发者社区全满贯:CSDN博客&商业化双料专家/阿里云签约作者/腾讯云内容共创官/掘金&亚马逊&51CTO顶级博主✔技术生态共建先锋:横跨鸿蒙、云计算...、AI等前沿领域的技术布道者【荣誉殿堂】连续三年蝉联"华为云十佳博主"(2022-2024)双冠加冕CSDN"年度博客之星TOP2"(2022&2023)十余个技术社区年度杰出贡献奖得主【知识宝库】覆盖全栈技术矩阵...◾移动生态:HarmonyOS/iOS/Android/小程序◾前沿领域:物联网/网络安全/大数据/AI/元宇宙◾游戏开发:Unity3D引擎深度解析前言抖音、小红书、快手、淘宝这些大平台的直播板块发展得风生水起...不少人眼红心热,恨不得马上买好设备就开始播。然而,任何事情都需要充分准备,做好准备再进入这一领域,才更有可能笑到最后。

    45610

    腾讯云双十一重磅优惠来袭,带你掌握最强攻略密码

    开团/参团商品门槛说明双 11 大促活动页面的指定商品(详情见下),下单成功后才能开团 / 参团,单个商品或者多个商品合并下单均支持,加购商品不包含在内双 11 大促活动页面包括如下:1、主会场;2、分会场.../小时;b) 大模型产品:大模型图像创作引擎( 图像风格化-图生图-1万/10万次)赠送1千次、大模型视频创作引擎 (图片跳舞-1千/1万次规格)赠送100次、 混元大模型 (混元生图-1万次规格)赠送...购买双11的活动商品,享受一重好礼:全年最优折扣!选择含“可拼团”商品订单去拼团,成团享受二重好礼(成团礼):赠送最高3个月的时长,或者多拿10%的资源包。...他可先在双11活动购买 1.x~4.x折不等的商品,然后合并为一个订单去支付(假设支付金额为5000元)开团。...八、我的福利什么时候下发,在哪里查看?拼团成功,福利预计3~5分钟自动发放至账户,您可前往订单详情 > 及 代金券列表 >查看九、我有多台机器参与拼团,每台都能送时长吗?支持。

    28K10
    领券