腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

324

文章

454305

阅读量

124

订阅数

版本发布 | Apache InLong 持续优化提升系统稳定性

apache 集群数据系统优化

关于 Apache InLong 作为业界首个一站式开源海量数据集成框架，Apache InLong（应龙）提供了自动、安全、可靠和高性能的数据传输能力，方便业务快速构建基于流式的数据分析、建模和应用。目前 InLong 正广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域，服务上千个业务，其中高性能场景数据规模超百万亿条/天，高可靠场景数据规模超十万亿条/天。 InLong 项目定位的核心关键词是“一站式”和“海量数据”。对于“一站式”，我们希望屏蔽技术细节、提供完整数据集成及配套服务，实现开箱即

腾讯大数据

2023-04-04

6300

龙举云兴｜顶级项目 Apache InLong 核心技术探秘

apache flink sql 数据库云数据库 SQL Server

Apache 软件基金会（即 Apache Software Foundation，简称为 ASF）于近日正式宣布，Apache InLong（应龙）从孵化器成功毕业，成为基金会顶级项目！ Apache 基金会公告（点击“阅读原文”查看） Apache InLong 的毕业，标志着业界首个一站式大数据集成 Apache 顶级项目诞生，也标志着第一个由腾讯捐献的 Apache 项目孵化成功，中国本土原生的顶级项目再增一员，恭喜 InLong 社区。Apache 软件基金会是专门为支持开源软件项目而办的一个

腾讯大数据

2022-06-24

3760

官宣 | 腾讯捐赠的 InLong 正式毕业成为 Apache 顶级项目！

apache 开源大数据数据集成数据处理

全球最大的开源软件基金会Apache软件基金会正式宣布，Apache InLong 正式毕业成为社区顶级项目，这也是 Apache 社区首个一站式大数据集成顶级项目！ Apache 基金会官博（点击“阅读原文”查看） InLong 中文名“应龙”是中国神话中引流入海的神兽，意寓 InLong 在大数据社区生态中的价值：大数据接入集成。这个最初由腾讯捐献给 Apache 社区的一站式海量数据集成框架，可以为大数据开发者提供百万亿级数据流高性能处理能力，以及千亿级数据流高可靠服务。而这是继腾讯开源项目

腾讯大数据

2022-06-24

4030

1.1.0版本重磅发布 | Apache InLong(incubating)一大波特性来袭

apache kafka 数据集成数据分析编程算法

▍InLong(应龙) : 中国神话故事里的神兽，可以引流入海，借喻 InLong 系统提供数据接入能力。 Apache InLong（应龙）是一个一站式的海量数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。刚刚发布的 1.1.0 版本，InLong 发布了大量重大特性，主要包括以下内容：管控能力增强

腾讯大数据

2022-04-27

5690

直播预约 | 对话Apache InLong PPMC 张超，畅聊 InLong 开源孵化之路

apache 开源云直播大数据

「Apache Way 是什么？」「开源项目如何才能进入 Apache 软件基金会？」「Apache 软件基金会在项目孵化上理念和其他基金会又有什么不同？」带着这些疑问，腾源会联合腾讯大数据高级工程师实时连线交流，带大家揭秘「Apache way」，走进 Apache 的世界。本期直播，我们邀请到了 Apache InLong（incubating）PPMC，腾讯大数据 MQ & InLong 团队负责人张超老师作客「WeOpen Talk」直播间，与各位畅聊 Apache InLong 一站式

腾讯大数据

2022-04-27

4450

开源新发布 | Apache InLong(incubating) 进入1.0 时代！

apache 数据集成数据库数据分析 sql

点击蓝字关注 | 更多腾讯大数据资讯 Apache InLong（应龙）是一个一站式的海量数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 1 Apache InLong (incubating) 简介 Apache InLong（应龙）是腾讯捐献给 Apache 社区的一站式海量数据集成框架，提供自动

腾讯大数据

2022-03-04

7040

新手教学 | Apache InLong 使用 Apache Pulsar 创建数据入库

apache hive https 网络安全编程算法

导语：Apache InLong 增加了通过 Apache Pulsar 接入数据的能力，充分利用了 Pulsar 不同于其它 MQ 的技术优势，为金融、计费等数据质量要求更高的数据接入场景，提供完整的解决方案。在下面的内容中，我们将通过一个完整的示例介绍如何通过 Apache InLong 使用 Apache Pulsar 接入数据。 Apache InLong(incubating) 简介 Apache InLong（应龙 https://inlong.apache.org）是腾讯捐献给 Apa

腾讯大数据

2021-12-31

1.1K0

Apache InLong(incubating) 发布0.11.0版本

https github git 开源 apache

InLong(应龙) : 中国神话故事里的神兽，引流入海，借喻 InLong 系统提供数据接入能力。 Apache InLong(incubating) 由原 Apache TubeMQ（incubating）改名而来，伴随着名称的改变，InLong 也由单一的消息队列升级为一站式的数据集成解决方案，支持了大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。刚刚发布的 0.11.0-incubating 版本是改名之后的第三个版本，这个版

腾讯大数据

2021-11-19

5030

Apache InLong重磅发布 0.10.0 版本，着力降低用户使用门槛

apache hive 大数据数据处理编程算法

导语：Apache InLong 以腾讯内部使用的TDBank为原型，依托万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。 Apache InLong(孵化中) 刚刚发布了 0.10.0 版本，该版本是升级为 InLong（中文名：应龙）后的第二个版本，着力解决InLong应用门槛高问题。该版本吸引腾讯内外 10 多位开发者参与，关闭超过 120 个issue，开发超过 8 个重要Feature。 Apache InLong简介

腾讯大数据

2021-09-18

6450

星火计划 | Apache InLong一站式大数据接入平台沙龙火热报名中

apache 腾讯云开发者社区大数据数据接入平台

导语：随着数据的增长以及业务场景的多元化，消息中间件已经成为IT架构中不可或缺的组件。它可以降低系统间的耦合性与复杂度，提升系统稳定性，为大数据时代的数据采集提供巨大助力。腾讯大数据在2013年自研了分布式消息中间件系统TubeMQ，并在2019年将其开源，贡献给Apache社区。TubeMQ致力于实现大数据场景下海量数据的高性能存储和传输，承受了腾讯内部日均数十万亿的海量数据场景考验，在性能、稳定性及成本方面优势显著。近期，团队在TubeMQ已有能力的基础上扩展出数据接入全链路的能力，将其正式升级为

腾讯大数据

2021-07-19

4490

大数据架构前沿实践分享

大数据 apache 数据湖开源出行

12月19日，9：00-12：40，由来自腾讯数据湖研发负责人邵赛赛老师出品的DataFunTalk年终大会——大数据架构论坛，将邀请来自腾讯、Tubi、车好多、T3出行、滴滴出行等公司的6位嘉宾，就大数据架构相关主题进行分享。本次会议全程直播，详细信息如下： 01 专题论坛及日程论坛名称大数据架构论坛论坛时间 12月19日，09:00-12:40论坛出品邵赛赛腾讯数据湖研发负责人分享时间分享内容09:00-09:40如何让Ozone成为HDFS的下一代分布式存储系统腾讯高级工程师毛宝龙09

腾讯大数据

2020-12-14

1.3K0

腾讯大数据团队主导Apache社区新一代分布式存储系统Ozone 1.0.0发布

hadoop 开源 spark apache 腾讯云测试服务

近日，由腾讯大数据团队主导的Ozone 1.0.0版本在Apache Hadoop社区正式发布。经过2年多的社区持续开发和腾讯内部1000+节点的实际落地验证，Ozone 1.0.0已经具备了在大规模生产环境下实际部署的能力。 Ozone 是Apache Hadoop社区推出的新一代分布式存储系统，它的出现满足了大量小文件的存储问题，解决了Hadoop分布式文件系统在可扩展性上的缺陷。作为Hadoop生态圈的一款新的对象存储系统，能够支持百亿甚至千亿级文件规模的存储。腾讯大数据团队Ozone项目负

腾讯大数据

2020-09-27

1K1

让Pig在风暴中飞驰——Pig On Storm

机器学习 hadoop 数据库 apache

1以PigOnStorm直面实时应用开发面的挑战在TRC（Tencent Realtime Computing）系统中TDProcess负责为各个应用提供实时计算的能力和服务，Storm是TDProcess的核心部件，虽然Storm已经成为开源流式计算领域的实际标准，但其生态系统远没有Hadoop完善，在Storm之上没有像Hive、Pig这类解放应用开发人员的效率提升工具，所以当你决定使用Storm来实现某个应用时，必须首先去熟悉Storm的原理以及API，然后才能基于API编写程序。熟悉Hadoop

腾讯大数据

2018-01-26

7920

TDW千台Spark千亿节点对相似度计算

大数据 spark hadoop 数据库 apache

相似度计算在信息检索、数据挖掘等领域有着广泛的应用，是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长，对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架下进行相似度计算会引入大量的网络开销，导致性能低下。我们借助于Spark对内存计算的支持以及图划分的思想，大大降低了网络数据传输量；并通过在系统层次对Spark的改进优化，使其可以稳定地扩展至上千台规模。本文将介绍腾讯TDW使用千台规模的Spark集群来对千亿量级的节点对进行相似度计算这个案例，通过实验对比，我

腾讯大数据

2018-01-26

1.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态