首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

2023开放原子全球开源峰会,蚂蚁计算平台开源业内首个工业级流计算引擎

在高峰论坛上,蚂蚁技术研究院院长、计算负责人陈文光宣布开源 TuGraph 计算平台核心成员——工业级流式计算引擎 TuGraph Analytics。...计算目前已广泛应用在金融、政务、医疗等领域,备受全球研发机构和顶尖科技公司关注。流式计算是一种将流式计算计算结合的交叉创新,融合了流式计算的高度实效性和计算的灵活性,攻坚难度极高。...据了解,蚂蚁从2015年开始探索计算,布局了数据库、流式计算引擎学习等相关技术,打造了世界规模领先的计算集群,于业界首创了工业级流式计算引擎,多次问鼎数据库行业权威测试 LDBC 世界冠军并保持世界纪录...此次开源的工业级流式计算引擎是蚂蚁从2017年开始布局打造,经过五年多工业级应用大考,流式计算做到了在千亿数据规模的“”上秒级延迟计算,是蚂蚁风控的核心基础技术,成功解决了金融场景风险分析难、识别率低...此次流式计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。

22320

蚂蚁金服, 开源业内首个工业级流计算引擎

在高峰论坛上,蚂蚁技术研究院院长、计算负责人陈文光宣布开源 TuGraph 计算平台核心成员——工业级流式计算引擎 TuGraph Analytics。...(:陈文光宣布开源业内首个工业级流式计算引擎 TuGraph Analytics) 去年9月,蚂蚁集团开源了 TuGraph 计算平台中的数据库 TuGraph DB。...据了解,蚂蚁从2015年开始探索计算,布局了数据库、流式计算引擎学习等相关技术,打造了世界规模领先的计算集群,于业界首创了工业级流式计算引擎,多次问鼎数据库行业权威测试 LDBC 世界冠军并保持世界纪录...此次开源的工业级流式计算引擎是蚂蚁从2017年开始布局打造,经过五年多工业级应用大考,流式计算做到了在千亿数据规模的“”上秒级延迟计算,是蚂蚁风控的核心基础技术,成功解决了金融场景风险分析难、识别率低...此次流式计算引擎开源,是延续蚂蚁开源核心基础技术的实际动作,希望通过开放成熟的计算技术,服务更广阔的数字化产业,向世界输出中国科技公司的前沿技术影响力。

20530
您找到你想要的搜索结果了吗?
是的
没有找到

推荐引擎如何工作?

而当我们购物时,我们通常会购买我们所信任的人推荐的商品。如今是数字时代,人们网上购物时常会使用购物推荐引擎推荐引擎是一种数据过滤引擎,它通过算法及数据来给特定的用户推荐相关商品。...随着网络数据的日益暴涨,用户数量的显著提升,推荐引擎对于网店及电商公司的重要性日渐提高。其重要性表现在:电商公司通过推荐引擎查找信息,根据用户的喜爱偏好为其提供相关商品信息。 推荐引擎如何工作?...根据“ 使用计算引擎进行机器学习制作产品建议 ”(Using Machine Learning on Compute Engine to Make Product Recommendations)一文,...典型的推荐引擎通过以下四个阶段处理数据:收集,存储,分析和过滤。...(就像亚马逊推荐引擎一样,拥有“组合购买”、“为你推荐”标签) 存储数据 通过算法处理越多的数据,推荐结果就更加精准。这意味着,任何推荐引擎项目都可以转变成大数据项目。

1.9K110

床(推荐)

page   喜欢Markdown写作的,肯定都会用到床,再好的文章,也要配上图片,才能图文并茂。比如:你在某平台写作,平台限制图片大小上传, 这导致你的图片用不了,这时你就可以用床代替。...床可以用于写作插图、临时分享图片外链、页面打开优化、嵌入式图片等。 床简介   床是一个在网络平台上存储图片的地方,最终目的是为了节省本地服务器空间,加快图片打开速度。...推荐   下面推荐都是个人搜集,不要钱或者需要很少钱的(排序不代表推荐顺序)大家有更好用的来分享一下吧。...聚合床   聚合床有丰富的客户端和接口,还可以挂载自己的oss,cos,七牛云等存储,自己有足够的盈利措施去长时间运营,并且免费用户的速度也很快。...  路过床具有全球 CDN 加速以确保高速、稳定。

1.8K20

得物推荐引擎 - DGraph

了解这些特点,对于推荐引擎的设计非常重要。通过阅读本文,希望能对大家了解推荐引擎有一定帮助。为什么叫 DGraph?...因为推荐场景主要是用 x2i(KVV)表推荐为主,而 x2i 数据是(Graph)的边,所以我们给得物的推荐引擎取名 DGraph。...但是在推荐引擎里面,对于读取的性能要求非常高,核心数据的访问如果引入锁,会让引擎的查询性能受到很大的限制。 推荐引擎是一个读多写少的场景,因此我们在技术路线上选择的是无锁数据结构 RCU。...推荐引擎绝大部分表都是 KVV 索引,数据更新特点是,定期批量更新 & 大部分表没有实时增量。针对这些业务特性,DGraph 设计了内存紧凑型 KV\KVV 索引( 7)。...图片 9 2.4 算子调度框架 推荐存储引擎最开始只提供了简单的数据查询

30520

计算 on nLive:Nebula 的计算实践

计算之 nebula-plato [计算 on nLive:Nebula 的计算实践] nebula-plato 的分享主要由计算系统概述、Gemini 计算系统介绍、Plato 计算系统介绍以及...计算系统 的划分 [计算 on nLive:Nebula 的计算实践] 计算系统概述部分,着重讲解下图的划分、分片、存储方式等内容。...Gemini 计算系统 Gemini 计算系统是以计算为中心的分布式计算系统,这里主要说下它的特点: CSR/CSC 稀疏/稠密 push/pull master/mirror 计算/通信 协同工作...Nebula 计算 [计算 on nLive:Nebula 的计算实践] 目前 Nebula 计算集成了两种不同计算框架,共有 2 款产品:nebula-algorithm 和 nebula-plato...这里的写入可以把结果写回到数据库,也可以写入到 HDFS 上。 API 调用 [计算 on nLive:Nebula 的计算实践] 更推荐大家通过 API 调用的方式。

1.5K40

腾讯推荐引擎组员工:谈谈推荐系统架构

1 总体架构 1大虚线内是线上服务,请求顺序用数字标识,不带箭头的连线表示通信是双向的,即请求与响应,它周围的各模块分别是:elk日志收集系统,监控系统,A/B实验,处理离线数据的hdfa+spark...召回一般只需要部分正排信息用来简单地计算分数,而模型排序和规则调整会需要正排中较多的信息,所以也可以考虑将正排和索引服务拆分开,前者保存完整正排信息,后者保存“摘要”。...更进一步,利用elk完全可以对整个推荐流程进行日志分析,如分析推荐理由,过滤原因,统计推荐效果等。当然对于体量大的业务日志量会非常惊人,这里只要抽样部分日志即可。...这里有一个问题,就是展示和点击的发生时间相隔较远,在kafka中消费点击时早已消费了展示,不能同时拿到这两种数据,不方便计算点击率一类的指标。...腾讯大牛告诉你如何通过知识管理让工作更轻松 简单的 C++ 结构体字段反射 ECharts绘图解决方案——流动关系(桑基) ?

2.7K30

个性化推荐系统(二)---构建推荐引擎

推荐引擎是一定要搞得了,业务发展极快,哪个业务都要接入个性化推荐。构建推荐引擎没什么好探讨的了,现在需要思考和探讨的是怎么构建推荐引擎。         从哪个角度思考呢?...杉枫是从个性化推荐系统、广告投放系统、搜索引擎三个既存在相似又有差异的系统着手思考的。...搜索引擎有极好的开源实现以及大量的架构分享文章,确定从搜索引擎入手,借鉴搜索引擎打造属于我们自己推荐引擎。        ...有了搜索引擎可以借鉴,但推荐系统虽然像搜索引擎,但毕竟不是搜索,推荐比搜索多得是,召回流程更多、更广泛,并且需要召回的范围是基于用户画像来构建的,搜索核心是输入词与文章之间的匹配程度,搜索引擎核心到今天依然是...个性化推荐是一个正在蓬勃发展的技术,推荐引擎会不断吸收内部、外部,以及其他领域的结果不断进行完善。

1.8K00

床的推荐

关于hexo使用的免费床 更新为2020.3.22 GitHub+PicGo+jsDelivr 搭建自己的私人床(无备案推荐) 七牛床(有备案推荐) 微博床(凉凉) qq床(不推荐) 风过不留痕大佬的床...https://pic.alexhchu.com/ (强烈推荐+1) 其他我这里就不推荐了 GitHub+PicGo+jsDelivr 搭建自己的私人床 教程很多,操作简单,可拓展性强,速度快并且背靠...七牛床 一开始很多人推荐使用这个 优点 速度快 支持https 10g够轻度人群使用。 缺点 但是现在不好用了,为啥? 因为他需要你是用备案域名!!!...带人工审核/人工智障的审核图片,有时候会清理图片 QQ床 使用qq空间的相册 优点 访问快,容量好像没有限制吧 缺点 QQ空间说不定哪天就设置上防盗链系统,而且更换域名 这不是腾讯推荐的方式...而且该节点仅提供大,所以节点很可能会出现网络拥堵的情况,不排除腾讯为了服务稳定而对每个访问进行限速处理本人自用 更新于 2020.2.11 风过不留痕的床 优点 免费 速度快 无需备案

1.7K20

OLAP计算引擎怎么选?

大家好,我是一哥,今天聊一聊OLAP技术,一哥认为好的OLAP引擎应该具备以下三个条件:易开发、易维护、易移植。...今天给大家分享一下常见的几种OLAP计算引擎,他们的特性、适用场景,优缺点等,希望对大家在选型应用上有帮助。 Kylin ?...简介 1、Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。...2、是一个分布式,大规模并行处理(MPP)数据库引擎,包括运行在CDH集群主机上的不同后台进程。 3、Impala主要由Impalad, State Store和CLI组成。 ?...Kylin在如何快速求得预计算结果,以及优化查询解析使得更多的查询能用上预计算结果方面在优化,后续Kylin的版本会优化预计算速度,使得Kylin可以变成一个近似实时的分析引擎

2K30

动态计算

Pytorch底层最核心的概念是张量,动态计算以及自动微分。 本节我们将介绍 Pytorch的动态计算。...包括: 动态计算简介 计算图中的Function 计算和反向传播 叶子节点和非叶子节点 计算在TensorBoard中的可视化 一,动态计算简介 ?...Pytorch的计算由节点和边组成,节点表示张量或者Function,边表示张量和Function之间的依赖关系。 Pytorch中的计算是动态。这里的动态主要有两重含义。...第一层含义是:计算的正向传播是立即执行的。无需等待完整的计算创建完毕,每条语句都会在计算图中动态添加节点和边,并立即执行正向传播得到计算结果。 第二层含义是:计算在反向传播后立即销毁。...下次调用需要重新构建计算

1.8K30

个性化推荐沙龙 | 腾讯云推荐引擎实践

4. 推荐系统的离线和在线计算分工 学习系统训练一个模型一般会花比较长的时间,这部分我们称为离线计算,对实时性要求并不高,比如,可以在几个小时的时间内计算出来,重要的是模型的质量。...6. 实时计算平台R2架构 其中,业务层由两部分组成:计算拓扑计算单元(PU)。计算拓扑负责数据的流向,而计算单元负责业务的逻辑计算。通信层负责PU之间的通信以及拓扑执行跟踪。...三、腾讯云推荐引擎 基于上面的经验,我们打造了腾讯云推荐引擎。...腾讯云推荐引擎(CRE)是面向广大中小互联网企业打造的一站式云推荐引擎解决方案,提供安全、便捷、精准、可靠的推荐系统服务,提升其业务的点击转化率和用户体验。...2.为了支撑海量在线用户的实时请求,实时计算平台必须低延时,可扩展,而且稳定可靠。 3.云推荐引擎的解决方案,在通用化的基础上,同时考虑了易用性,方便用户接入。

2.4K50

什么是视频内容推荐引擎

推荐引擎 Easy-Tech #035# 推荐引擎通常是指利用机器学习(基于用户的过去选择、偏好以及内容提供商的目录)来预测特定用户有可能观看哪一部电影或者视频的系统。...在本文中,我们将从OTT服务提供商的角度来了解推荐引擎、它所需的数据、以及它的用途等。...内容推荐引擎所需数据 推荐引擎需要大量数据(正确数量和质量)推荐和识别模式。比如,需要适当的数据来确保被推荐给用户的电影适合用户的观看偏好和模式。...视频内容推荐引擎的应用场景 推荐引擎对于视频平台的成功至关重要,并且有助于提升内容发现、用户互动、营销活动、再营销“休眠”用户、减少用户流失等。...| 改进的搜索和自动补全 平台的搜索引擎也可以根据用户偏好进行推荐

1K10

商品搜索引擎–商品推荐

因为工作需要,最近有在学习商品搜索引擎的东西。会涉及到系统推荐、个性化推荐和排序推荐。 排序推荐 比较偏向于 输入联想(类似于淘宝,我们输入手机,下面会提示推荐)。 但是本文,重点介绍个性化推荐。...系统推荐: 据大众行为的推荐引擎,对每个用户都给出同样的推荐,这些推荐可以是静态的由系统管理员人工设定的,或者基于系统所有用户的反馈统计计算出的当下比较流行的物品。...排序推荐:结合 用户输入的关键词、系统推荐、个性化推荐 三个维度进行排序推荐。...关于个性化推荐,根据推荐引擎的数据源有三种模式:基于人口统计学的推荐、基于内容的推荐、基于协同过滤的推荐 结合个人理解,具体化简述上面三个概念: (1)基于人口统计学的推荐:针对用户的“性别、年龄范围、...内容推荐和协同过滤推荐 结合 应该能满足大部分需求, 基于人口统计学的推荐看情况,如果有必要再实现。 另外 基于协同过滤 数据量 大的时候 才比较准。这种情况内容推荐 可以补位,推荐类似商品。

1.4K50
领券