背景 美团点评作为全球最大的生活服务平台，承接超过千万的POI，服务于数量庞大的活跃用户。在海量数据的前提下，定位运营业务、准确找到需要数据的位置，并快速提供正确、一致、易读的数据就变得异常困难，这些困难主要体现在以下方面： 取数门槛高，找不到切合的数据，口径复杂不易计算，对运营人员有一定的技能要求，人力成本增大； 数据处理非常耗时，缺少底层离线数仓模型建设和预计算支撑，Ad-hoc平台查询缓慢； 数据不一致，不同渠道口径不一致，缺少对杂乱指标的统一管理； 数据反馈形式不友好，缺少数据可视化的形式，无法呈现
本来打算在安装好的 Flink 集群上直接修改的，这样我增加个配置，这篇文章就完成了，考虑到大家可能对 Flink 不太了解，也不一定有兴趣从 0 开始装个 Linux 环境，所以我索性就从0开始配置一整套的环境。
最近我在学习流式计算引擎Flink，正在阅读Flink的官方文档、一些技术博客以及《Streaming Processing with Apache Flink》这本书，并试图将一些知识整理下来，形成一个系列。
提起大数据处理引擎，很多人会想到Hadoop或Spark，而在2019年，如果你身处大数据行业却没听说过Flink，那你很可能OUT了！Flink是大数据界冉冉升起的新星，是继Hadoop和Spark之后的新一代大数据处理引擎。2019年初，阿里巴巴以1.033亿美元的价格收购了总部位于德国柏林的初创公司Data Artisans，Data Artisans的核心产品是正是Flink。
导语：得益于调度单元是通用的SQL语句，SuperSQL能够做到与特定计算引擎解耦，也正因为此原因，SuperSQL只需专注在最优执行计划生成，并根据SQL具体类型选择最佳的计算引擎。 天穹SuperSQL是腾讯自研的跨数据源、跨数据中心、跨计算引擎的大数据SQL引擎，能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。在腾讯整个天穹大数据图谱中，负责连接端与存储。 数据源无论是关系型数据库、NoSQL还是大数据系统；数据存储无论是跨集群还是跨数据中心；数据计算无论是报表生成、分析挖掘
1981年，一群年轻人用红油漆把这12个字刷在三合板上，立在了刚刚成立不久的深圳特区蛇口工业园。
6月11日，2023开放原子全球开源峰会在北京开幕。本次峰会以“开源赋能，普惠未来”为主题。在高峰论坛上，蚂蚁技术研究院院长、图计算负责人陈文光宣布开源 TuGraph 图计算平台核心成员——工业级流式图计算引擎 TuGraph Analytics。
GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！ 欢迎给我们 Star 哦! GitHub👉 https://github.com/TuGraph-family/tugraph-analytics
Apache Spark 是一个统一的、快速的分布式计算引擎，能够同时支持批处理与流计算，充分利用内存做并行计算，官方给出Spark内存计算的速度比MapReduce快100倍。因此可以说作为当下最流行的计算框架，Spark已经足够优秀了。
GeaFlow(品牌名TuGraph-Analytics) 已正式开源，欢迎大家关注！！！ 欢迎给我们 Star 哦! GitHub👉https://github.com/TuGraph-family/tugraph-analytics
何谓计算引擎，一言以蔽之，就是专门处理数据的程序，在大数据之前，人们用数据库来处理数据，人们常说的SQL，它是一种DSL，它的背后正是数据库的计算引擎，但是数据库的计算和存储通常被集成在一起，统称为数据库引擎。
8月20日，比利时布鲁塞尔西南郊的St.Ghislaina小镇日前遭遇了强雷电天气，而这一恶劣天气的出现也让谷歌位于当地的数据中心不幸“躺枪”。
Vineyard 是一个专为云原生环境下大数据分析场景中端到端工作流提供内存数据共享的分布式引擎，我们很高兴宣布 Vineyard 在 2021 年 4 月 27 日被云原生基金会（CNCF）TOC 接受为沙箱（Sandbox）项目。
作者：仁基，元涵，仁重 本文选自：《尽在双11：阿里巴巴技术演进与超越》 近十年，人工智能在越来越多的领域走进和改变着我们的生活，而在互联网领域，人工智能则得到了更普遍和广泛的应用。作为淘宝平台的基石，搜索也一直在打造适合电商平台的人工智能体系，而每年双11大促都是验证智能化进程的试金石。伴随着一年又一年双11的考验，搜索智能化体系逐渐打造成型，已经成为平台稳定健康发展的核动力。 演进概述 阿里搜索技术体系目前基本形成了offline、nearline、online三层体系，分工协作，保证电商平台
本文从开发效率（易用性）、可扩展性、执行效率三个方面，介绍了微博机器学习框架Weiflow在微博的应用和最佳实践。 在上期《基于Spark的大规模机器学习在微博的应用》一文中我们提到，在机器学习流中，模型训练只是其中耗时最短的一环。如果把机器学习流比作烹饪，那么模型训练就是最后翻炒的过程；烹饪的大部分时间实际上都花在了食材、佐料的挑选，洗菜、择菜，食材再加工（切丁、切块、过油、预热）等步骤。在微博的机器学习流中，原始样本生成、数据处理、特征工程、训练样本生成、模型后期的测试、评估等步骤所需要投入的时间和精力
实时处理是指从数据产生到根据该数据计算的结果产生之间的这段延迟可以满足业务的需求，假如业务需求是延迟不超过10ms，而你的处理延迟为15ms，就不能算实时处理，而假如业务要求处理数据的延迟为30min，而你的数据可以在20min内计算出来，这也算实时处理。
导语 SuperSQL是腾讯天穹自研的下一代大数据自适应计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能化调度纳入内部系统闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。 背景 在大数据生态里，不同计算引擎适合不同的计算场景，Spark适合
在刚过去的618购物节，某大型电商企业的订单量在几小时内激增至平时的几十倍。如果该企业的大数据计算引擎无法及时处理这些数据，订单处理、库存管理和客户服务将面临严重滞后，导致客户体验下降和销售机会流失，甚至损害品牌声誉。这一场景，展示了高性能大数据计算引擎对企业运营的重要性。
LiteFlow是一个轻量且强大的国产流程引擎框架，可用于复杂的组件化业务的编排工作。通过它我们可以把业务逻辑都定义到不同组件之中，然后使用简洁的规则文件来串联整个流程，从而实现复杂的业务逻辑。
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。
流批一体是一种架构思想，这种思想说的是同一个业务，使用同一个sql逻辑，在既可以满足流处理计算同时也可以满足批处理任务的计算。
MES 是马蜂窝统一实时计算平台，为各条业务线提供稳定、高效的实时数据计算和查询服务。在整体设计方面，MES 借鉴了 Lambda 架构的思想。本篇文章，我们将从四个方面了解 MES：
4月24日，浙江大学召开OpenKS（知目）知识计算引擎开源项目发布会，宣布浙大与合作单位研发的OpenKS知识计算引擎取得重大进展。中国工程院院士、国家新一代人工智能战略咨询委员会组长、浙江大学计算机学院教授潘云鹤说，本次发布的OpenKS，作为知识计算引擎项目中的基础软件架构，定义并丰富了知识计算的内涵，是我国在大数据人工智能方向的又一次有益尝试。
答案：Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行单位，但缺点是线程之间会有资源竞争。
大规模数据处理技术如果从MapReduce论文算起，已经前后跨越了十六年。我们先沿着时间线看一下大规模数据处理的重要技术和它们产生的年代。后面从MapReduce到Spark、Flink、Beam的演进特性来看大规模数据处理计算引擎应该具备什么样的能力。
在互联网时代，图数据越来越多地呈现出海量和动态等特性，静态图计算的模型和方法难以应对数据处理的需求。而流式图计算能基于实时变化的数据，流式地构建动态图数据关系，并基于动态变化的图数据之上实时地进行分析、计算和挖掘，是图计算主流技术分支。 InfoQ 作为技术媒体对技术趋势保持着格外的关注，本次我们采访了蚂蚁流式图计算团队负责人潘臻轩。流式图计算是蚂蚁大规模图计算系统 TuGraph 的重要组成部分，可以有效地挖掘数据关系变化的趋势和异动，承担着重要的近线异步图计算等功能。潘臻轩为我们分享了蚂蚁流式图计算的应用经验，以及图计算在未来的发展趋势。
流图计算，一个基础软件领域攻坚难度极高的分支。行业首个工业级流式图计算引擎 TuGraph-Analytics，与目前世界范围内有记录的、最快的图数据库开源项目 TuGraph DB 来自于一家中国企业，这不仅仅解决了国产基础软件领域的一大难题，健全了开源生态，更重要的是向全球展示了中国的开源力量。
其列式存储可以有效的支持高效的聚合类查询，譬如groupBy等操作，分布式存储则提升了处理的数据规模。
安妮 编译整理 量子位 出品 | 公众号 QbitAI 今天凌晨，英特尔推出Movidius Myriad X视觉处理单元（VPU），它是一种低功耗系统芯片（SoC），引入了神经计算引擎（Neural Compute Engine）的新结构。 神经计算引擎是一种集成在芯片上的DNN加速器，有了它的助力，Myriad X功率低且性能强，可为无人机、相机、安全系统、VR/AR设备、360度摄像头等设备的视觉和AI应用提供高效解决方案。 这也被视为英特尔在边缘计算（Edge Computing）领域的重要步骤。
上一篇提到了Illumio实施零信任微分段的“三步走”方法论：1）获得应用程序实时地图；2）为工作负载打标签；3）实施安全策略。
今天北京初雪，但没有挡住众多机器人产业界精英对图灵机器人新品发布会的强烈好奇与热情。俞志晨是国内人工智能创业团队里最受关注的新星之一，他对机器人事业的虔诚信仰，从发布会礼品袋里一本厚重的《图灵传》可见
TuGraph Analytics（内部项目名 GeaFlow）是蚂蚁集团开源的分布式实时图计算引擎，即流式图计算。通过 SQL + GQL 融合分析语言对表模型和图模型进行统一处理，实现了流、批、图一体化计算，并支持了 Exactly Once 语义、高可用以及一站式图研发平台等生产化能力。
Nebula Graph 是一个高性能的分布式开源图数据库，本文为大家介绍 Nebula Graph 的整体架构。
本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；5、典型的数据湖应用场景；6、数据湖建设的基本过程；7、总结。受限于个人水平，谬误在所难免，欢迎同学们一起探讨，批评指正，不吝赐教。
https://mp.weixin.qq.com/s/xy6RdpAQfuC-bLrOy4_5Bw
数据猿导读 从发展趋势来看，后Hadoop时代又回到了解决大数据的4个V上。另外，分布式计算已经被证明比传统技术更加高效、更具有性价比的方案，逐渐成为了主流的计算方式。 作者 | 孙元浩 本文长度为2
来一起认识下大数据的技术框架有哪些，它们分别用于解决哪些问题？它们的内在逻辑和适用场景有哪些？OK，一起去探索下。
互联网的业务无外乎线上OLTP场景和线下OLAP场景，这两种场景，数据量增大后，我们应该分别怎么应对呢。
【新智元导读】 微软开源图数据查询语言 LIKQ，这是基于分布式大规模图数据处理引擎 Graph Engine 的一种可用于子图和路径查询的数据查询语言，强强联合，海量图数据的实时检索和集成变得触手可得。 近日，微软亚洲研究院通过 GitHub 平台开源图数据查询语言 LIKQ（Language-Integrated Knowledge Query）。LIKQ 是基于分布式大规模图数据处理引擎 Graph Engine 的一种可用于子图和路径查询的数据查询语言。它可以让开发人员无需学习新的领域相关的特定查询
一提到大数据，大多数技术人可能会想到它的4V特征：数据量、速度、多样性、价值。但同时也会想到它庞大的技术生态圈——大数据产品的数量非常丰富。
👆点击“博文视点Broadview”，获取更多书讯 随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。 目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。 图1 1 数据采集技术框架 数据采集也被称为数据同步。 随着互联网、移动互联网、物联网等技术的兴起，产生了海量数据。这些数据散落在各个地方，我们需要将这些数据融合到一起，然后从这些海量数据中计算出一些
随着智慧零售之风愈演愈烈，传统商家纷纷向线上转型升级。快消品作为营销活动最为关注的市场，俨然成为了这场战役的先行军。扫码领红包、集卡送好礼、分享得立减金...花样百出的营销活动背后，黑产分子早已伺机出动，沉浸在各大品牌的羊毛雨中乐此不疲。今天，腾讯防水墙就用一个小小的瓶盖码，带大家揭开这庞大黑产的冰山一角。 1 瓶盖码引领新趋势 千万奖励惹人追逐 还记得当年被“再来一瓶”点亮的高光时刻么？那感觉，我就是人群中最耀眼的一颗星。 但对于商家来说，由于兑换周期长、物流成本高且真假难辨，这类活动的效果往往不尽如人
由 Microsoft Research 开发的 Graph Engine 1.0 预览版正式发布。Graph Engine 是一个基于内存的分布式大规模图数据处理引擎。在此之前，它在学术界更广为人之
[ 导语 ] 2022年3月22日，JDK18正式对外发布。据Oracle官方公告[1]，腾讯Kona 蝉联JDK18中国企业贡献排名第一，连续四次对OpenJDK贡献全国排名第一（JDK15~18）[1][2][3][4]。本文将介绍Kona在高性能计算引擎方面对OpenJDK社区的贡献。 ▍Kona：连续四次全国冠军，综合贡献全国第一 Kona是腾讯基于OpenJDK研发的JDK产品，Kona JDK完全免费，并提供长期支持，所发版本均通过腾讯内部和云上超大规模应用验证，欢迎下载使用。 2019年：首次
数据，已经渗透到当今各行各业的价值创造过程中，成为核心生产要素之一。海量数据的挖掘和运用，已经初见成效。各大厂也在不断尝试用新的流式计算框架来对数据进行处理。其中Flink就是一个非常耀眼的存在。今天，这篇文章就重点介绍一下Flink作为一个实时流处理引擎，其最核心的时间和窗口机制。
数据科学是一门利用统计学、机器学习、数据挖掘、数据可视化等技术和方法，从数据中提取知识和信息的交叉学科。自上世纪60年代，统计学家John W.Tukey首次提出“数据分析”（Data Analysis）的概念起，数据科学已历经了几十年的蓬勃发展，渡过了统计分析、数据挖掘、大数据等几个不同的发展阶段，直到今天的人工智能(AI)时代。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
