腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
腾讯大数据的专栏
专栏成员
举报
328
文章
479961
阅读量
125
订阅数
订阅专栏
申请加入专栏
全部文章(328)
大数据(172)
机器学习(41)
数据库(37)
编程算法(33)
spark(26)
腾讯(26)
深度学习(25)
sql(24)
神经网络(24)
开源(24)
angel(24)
数据处理(20)
人工智能(18)
分布式(17)
hadoop(17)
数据(17)
jdk(16)
数据分析(16)
https(16)
apache(14)
存储(14)
网络安全(14)
微信(13)
游戏(12)
运维(12)
java(11)
云数据库 SQL Server(10)
腾讯云开发者社区(10)
联邦学习(10)
数据结构(9)
云直播(8)
hive(8)
隐私计算(7)
数据湖(7)
优化(7)
postgresql(6)
api(6)
腾讯移动推送(6)
容器(6)
安全(6)
其他(5)
ios(5)
node.js(5)
linux(5)
容器镜像服务(5)
短视频(5)
TDSQL MySQL 版(5)
kubernetes(5)
小程序(5)
系统架构(5)
腾讯移动分析(4)
数据安全(4)
缓存(4)
jvm(4)
推荐系统(4)
云计算(4)
flink(4)
数据挖掘(3)
android(3)
打包(3)
github(3)
文件存储(3)
文字识别(3)
mongodb(3)
网站(3)
企业(3)
serverless(3)
数据可视化(3)
微服务(3)
数据集成(3)
基础(3)
架构(3)
开发者(3)
模型(3)
实践(3)
视频(3)
NLP 服务(2)
自动驾驶(2)
python(2)
ide(2)
git(2)
微信小程序音视频(2)
数据迁移(2)
html5(2)
pytorch(2)
模式识别(2)
任务调度(2)
特征工程(2)
性能测试(2)
Elasticsearch Service(2)
智能客服机器人(2)
大数据存储(2)
腾讯云(2)
软件(2)
系统(2)
费用中心(1)
私有网络(1)
对象存储(1)
语音识别(1)
人脸识别(1)
创业扶持(1)
iphone(1)
php(1)
javascript(1)
jquery(1)
单片机(1)
oracle(1)
云数据库 Redis(1)
mvc(1)
svn(1)
spring(1)
mapreduce(1)
容器服务(1)
消息队列 CMQ 版(1)
SSL 证书(1)
知识图谱(1)
腾讯计费(1)
腾讯云测试服务(1)
图像处理(1)
高性能计算(1)
日志数据(1)
电商(1)
金融(1)
o2o(1)
出行(1)
http(1)
yarn(1)
云+未来(1)
devops(1)
压力测试(1)
无人驾驶(1)
图像识别(1)
强化学习(1)
sql server(1)
jdbc(1)
决策树(1)
zookeeper(1)
自动化测试(1)
tcp/ip(1)
gcc(1)
迁移学习(1)
机器人(1)
架构设计(1)
图片加速(1)
kafka(1)
虚拟化(1)
安全治理(1)
sdk(1)
迁移(1)
raft(1)
腾讯广告算法大赛(1)
数据接入平台(1)
数据库管理(1)
流计算 Oceanus(1)
移动推送(1)
可信计算(1)
教育(1)
app(1)
bi(1)
im(1)
wifi(1)
报表(1)
编程(1)
编译器(1)
并发(1)
产品(1)
行业(1)
互联网(1)
集群(1)
解决方案(1)
开发(1)
客户端(1)
论文(1)
内存(1)
搜索(1)
统计(1)
网络(1)
芯片(1)
研发(1)
硬件(1)
智慧城市(1)
搜索文章
搜索
搜索
关闭
版本发布 | Apache InLong 持续优化提升系统稳定性
apache
集群
数据
系统
优化
关于 Apache InLong 作为业界首个一站式开源海量数据集成框架,Apache InLong(应龙) 提供了自动、安全、可靠和高性能的数据传输能力,方便业务快速构建基于流式的数据分析、建模和应用。目前 InLong 正广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域,服务上千个业务,其中高性能场景数据规模超百万亿条/天,高可靠场景数据规模超十万亿条/天。 InLong 项目定位的核心关键词是“一站式”和“海量数据”。对于“一站式”,我们希望屏蔽技术细节、提供完整数据集成及配套服务,实现开箱即
腾讯大数据
2023-04-04
712
0
龙举云兴|顶级项目 Apache InLong 核心技术探秘
apache
flink
sql
数据库
云数据库 SQL Server
Apache 软件基金会(即 Apache Software Foundation,简称为 ASF)于近日正式宣布,Apache InLong(应龙) 从孵化器成功毕业,成为基金会顶级项目! Apache 基金会公告(点击“阅读原文”查看) Apache InLong 的毕业,标志着业界首个一站式大数据集成 Apache 顶级项目诞生,也标志着第一个由腾讯捐献的 Apache 项目孵化成功,中国本土原生的顶级项目再增一员,恭喜 InLong 社区。Apache 软件基金会是专门为支持开源软件项目而办的一个
腾讯大数据
2022-06-24
409
0
官宣 | 腾讯捐赠的 InLong 正式毕业成为 Apache 顶级项目!
apache
开源
大数据
数据集成
数据处理
全球最大的开源软件基金会Apache软件基金会正式宣布,Apache InLong 正式毕业成为社区顶级项目,这也是 Apache 社区首个一站式大数据集成顶级项目! Apache 基金会官博(点击“阅读原文”查看) InLong 中文名“应龙”是中国神话中引流入海的神兽,意寓 InLong 在大数据社区生态中的价值:大数据接入集成。 这个最初由腾讯捐献给 Apache 社区的一站式海量数据集成框架,可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。 而这是继腾讯开源项目
腾讯大数据
2022-06-24
433
0
1.1.0版本重磅发布 | Apache InLong(incubating)一大波特性来袭
apache
kafka
数据集成
数据分析
编程算法
▍InLong(应龙) : 中国神话故事里的神兽,可以引流入海,借喻 InLong 系统提供数据接入能力。 Apache InLong(应龙)是一个一站式的海量数据集成平台,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。刚刚发布的 1.1.0 版本,InLong 发布了大量重大特性,主要包括以下内容: 管控能力增强
腾讯大数据
2022-04-27
614
0
直播预约 | 对话Apache InLong PPMC 张超,畅聊 InLong 开源孵化之路
apache
开源
云直播
大数据
「Apache Way 是什么?」 「开源项目如何才能进入 Apache 软件基金会?」 「Apache 软件基金会在项目孵化上理念和其他基金会又有什么不同?」 带着这些疑问,腾源会联合腾讯大数据高级工程师实时连线交流,带大家揭秘 「Apache way」,走进 Apache 的世界。 本期直播,我们邀请到了 Apache InLong(incubating)PPMC,腾讯大数据 MQ & InLong 团队负责人张超老师作客「WeOpen Talk」直播间,与各位畅聊 Apache InLong 一站式
腾讯大数据
2022-04-27
493
0
开源新发布 | Apache InLong(incubating) 进入1.0 时代!
apache
数据集成
数据库
数据分析
sql
点击蓝字关注 | 更多腾讯大数据资讯 Apache InLong(应龙)是一个一站式的海量数据集成平台,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 1 Apache InLong (incubating) 简介 Apache InLong(应龙)是腾讯捐献给 Apache 社区的一站式海量数据集成框架,提供自动
腾讯大数据
2022-03-04
785
0
新手教学 | Apache InLong 使用 Apache Pulsar 创建数据入库
apache
hive
https
网络安全
编程算法
导语:Apache InLong 增加了通过 Apache Pulsar 接入数据的能力,充分利用了 Pulsar 不同于其它 MQ 的技术优势,为金融、计费等数据质量要求更高的数据接入场景,提供完整的解决方案。 在下面的内容中,我们将通过一个完整的示例介绍如何通过 Apache InLong 使用 Apache Pulsar 接入数据。 Apache InLong(incubating) 简介 Apache InLong(应龙 https://inlong.apache.org)是腾讯捐献给 Apa
腾讯大数据
2021-12-31
1.3K
0
Apache InLong(incubating) 发布0.11.0版本
https
github
git
开源
apache
InLong(应龙) : 中国神话故事里的神兽,引流入海,借喻 InLong 系统提供数据接入能力。 Apache InLong(incubating) 由原 Apache TubeMQ(incubating)改名而来,伴随着名称的改变,InLong 也由单一的消息队列升级为一站式的数据集成解决方案,支持了大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 刚刚发布的 0.11.0-incubating 版本是改名之后的第三个版本,这个版
腾讯大数据
2021-11-19
543
0
Apache InLong重磅发布 0.10.0 版本,着力降低用户使用门槛
apache
hive
大数据
数据处理
编程算法
导语:Apache InLong 以腾讯内部使用的TDBank为原型,依托万亿级别的数据接入和处理能力,整合了数据采集、汇聚、存储、分拣数据处理全流程,拥有简单易用、灵活扩展、稳定可靠等特性。 Apache InLong(孵化中) 刚刚发布了 0.10.0 版本,该版本是升级为 InLong(中文名:应龙) 后的第二个版本,着力解决InLong应用门槛高问题。该版本吸引腾讯内外 10 多位开发者参与,关闭超过 120 个issue, 开发超过 8 个重要Feature。 Apache InLong简介
腾讯大数据
2021-09-18
676
0
星火计划 | Apache InLong一站式大数据接入平台沙龙火热报名中
apache
腾讯云开发者社区
大数据
数据接入平台
导语:随着数据的增长以及业务场景的多元化,消息中间件已经成为IT架构中不可或缺的组件。它可以降低系统间的耦合性与复杂度,提升系统稳定性,为大数据时代的数据采集提供巨大助力。 腾讯大数据在2013年自研了分布式消息中间件系统TubeMQ,并在2019年将其开源,贡献给Apache社区。TubeMQ致力于实现大数据场景下海量数据的高性能存储和传输,承受了腾讯内部日均数十万亿的海量数据场景考验,在性能、稳定性及成本方面优势显著。 近期,团队在TubeMQ已有能力的基础上扩展出数据接入全链路的能力,将其正式升级为
腾讯大数据
2021-07-19
471
0
大数据架构前沿实践分享
大数据
apache
数据湖
开源
出行
12月19日,9:00-12:40,由来自腾讯数据湖研发负责人邵赛赛老师出品的DataFunTalk年终大会——大数据架构论坛,将邀请来自腾讯、Tubi、车好多、T3出行、滴滴出行等公司的6位嘉宾,就大数据架构相关主题进行分享。本次会议全程直播,详细信息如下: 01 专题论坛及日程 论坛名称 大数据架构论坛论坛时间 12月19日,09:00-12:40论坛出品邵赛赛 腾讯 数据湖研发负责人分享时间 分享内容09:00-09:40如何让Ozone成为HDFS的下一代分布式存储系统 腾讯高级工程师 毛宝龙09
腾讯大数据
2020-12-14
1.4K
0
腾讯大数据团队主导Apache社区新一代分布式存储系统Ozone 1.0.0发布
hadoop
开源
spark
apache
腾讯云测试服务
近日,由腾讯大数据团队主导的Ozone 1.0.0版本在Apache Hadoop社区正式发布。经过2年多的社区持续开发和腾讯内部1000+节点的实际落地验证,Ozone 1.0.0已经具备了在大规模生产环境下实际部署的能力。 Ozone 是Apache Hadoop社区推出的新一代分布式存储系统,它的出现满足了大量小文件的存储问题,解决了Hadoop分布式文件系统在可扩展性上的缺陷。作为Hadoop生态圈的一款新的对象存储系统,能够支持百亿甚至千亿级文件规模的存储。 腾讯大数据团队Ozone项目负
腾讯大数据
2020-09-27
1.1K
1
让Pig在风暴中飞驰——Pig On Storm
机器学习
hadoop
数据库
apache
1以PigOnStorm直面实时应用开发面的挑战 在TRC(Tencent Realtime Computing)系统中TDProcess负责为各个应用提供实时计算的能力和服务,Storm是TDProcess的核心部件,虽然Storm已经成为开源流式计算领域的实际标准,但其生态系统远没有Hadoop完善,在Storm之上没有像Hive、Pig这类解放应用开发人员的效率提升工具,所以当你决定使用Storm来实现某个应用时,必须首先去熟悉Storm的原理以及API,然后才能基于API编写程序。 熟悉Hadoop
腾讯大数据
2018-01-26
829
0
TDW千台Spark千亿节点对相似度计算
大数据
spark
hadoop
数据库
apache
相似度计算在信息检索、数据挖掘等领域有着广泛的应用,是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长,对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架下进行相似度计算会引入大量的网络开销,导致性能低下。我们借助于Spark对内存计算的支持以及图划分的思想,大大降低了网络数据传输量;并通过在系统层次对Spark的改进优化,使其可以稳定地扩展至上千台规模。本文将介绍腾讯TDW使用千台规模的Spark集群来对千亿量级的节点对进行相似度计算这个案例,通过实验对比,我
腾讯大数据
2018-01-26
1.4K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档