腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
腾讯大数据的专栏
专栏成员
举报
328
文章
478948
阅读量
125
订阅数
订阅专栏
申请加入专栏
全部文章(328)
大数据(172)
机器学习(41)
数据库(37)
编程算法(33)
spark(26)
腾讯(26)
深度学习(25)
sql(24)
神经网络(24)
开源(24)
angel(24)
数据处理(20)
人工智能(18)
分布式(17)
hadoop(17)
数据(17)
jdk(16)
数据分析(16)
https(16)
apache(14)
存储(14)
网络安全(14)
微信(13)
游戏(12)
运维(12)
java(11)
云数据库 SQL Server(10)
腾讯云开发者社区(10)
联邦学习(10)
数据结构(9)
云直播(8)
hive(8)
隐私计算(7)
数据湖(7)
优化(7)
postgresql(6)
api(6)
腾讯移动推送(6)
容器(6)
安全(6)
其他(5)
ios(5)
node.js(5)
linux(5)
容器镜像服务(5)
短视频(5)
TDSQL MySQL 版(5)
kubernetes(5)
小程序(5)
系统架构(5)
腾讯移动分析(4)
数据安全(4)
缓存(4)
jvm(4)
推荐系统(4)
云计算(4)
flink(4)
数据挖掘(3)
android(3)
打包(3)
github(3)
文件存储(3)
文字识别(3)
mongodb(3)
网站(3)
企业(3)
serverless(3)
数据可视化(3)
微服务(3)
数据集成(3)
基础(3)
架构(3)
开发者(3)
模型(3)
实践(3)
视频(3)
NLP 服务(2)
自动驾驶(2)
python(2)
ide(2)
git(2)
微信小程序音视频(2)
数据迁移(2)
html5(2)
pytorch(2)
模式识别(2)
任务调度(2)
特征工程(2)
性能测试(2)
Elasticsearch Service(2)
智能客服机器人(2)
大数据存储(2)
腾讯云(2)
软件(2)
系统(2)
费用中心(1)
私有网络(1)
对象存储(1)
语音识别(1)
人脸识别(1)
创业扶持(1)
iphone(1)
php(1)
javascript(1)
jquery(1)
单片机(1)
oracle(1)
云数据库 Redis(1)
mvc(1)
svn(1)
spring(1)
mapreduce(1)
容器服务(1)
消息队列 CMQ 版(1)
SSL 证书(1)
知识图谱(1)
腾讯计费(1)
腾讯云测试服务(1)
图像处理(1)
高性能计算(1)
日志数据(1)
电商(1)
金融(1)
o2o(1)
出行(1)
http(1)
yarn(1)
云+未来(1)
devops(1)
压力测试(1)
无人驾驶(1)
图像识别(1)
强化学习(1)
sql server(1)
jdbc(1)
决策树(1)
zookeeper(1)
自动化测试(1)
tcp/ip(1)
gcc(1)
迁移学习(1)
机器人(1)
架构设计(1)
图片加速(1)
kafka(1)
虚拟化(1)
安全治理(1)
sdk(1)
迁移(1)
raft(1)
腾讯广告算法大赛(1)
数据接入平台(1)
数据库管理(1)
流计算 Oceanus(1)
移动推送(1)
可信计算(1)
教育(1)
app(1)
bi(1)
im(1)
wifi(1)
报表(1)
编程(1)
编译器(1)
并发(1)
产品(1)
行业(1)
互联网(1)
集群(1)
解决方案(1)
开发(1)
客户端(1)
论文(1)
内存(1)
搜索(1)
统计(1)
网络(1)
芯片(1)
研发(1)
硬件(1)
智慧城市(1)
搜索文章
搜索
搜索
关闭
大数据云原生能力成熟度模型,重磅发布!
大数据
编程算法
运维
文件存储
存储
为了分享过去一年云原生产业联盟(CNIA)在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态,云原生产业联盟于2023年1月9日举办了2022年度线上年会,发布了“大数据云原生能力成熟度模型”,并进行了标准解读。 云原生时代,数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes等云原生技术与大数据系统的深度融合,可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级,已
腾讯大数据
2023-01-30
1.7K
0
腾讯Kona国密套件:从基础算法到安全协议
编程算法
jdk
https
SSL 证书
腾讯Kona国密套件(Tencent Kona SM Suite)基于JDK的标准Service Provider Interface(SPI)实现了从基础算法簇,到公钥基础设施(PKI),再到安全通信协议的全链路国密特性。该套件已在GitHub上开源:https://github.com/Tencent/TencentKonaSMSuite(点击阅读原文) 腾讯Kona国密套件包含四个Java Security Provider: KonaCrypto,它是一个Java Cryptography Exte
腾讯大数据
2022-11-30
4.7K
0
智能计算 | 天穹SuperSQL如何利用机器学习实现计算引擎自适应
sql
编程算法
大数据
神经网络
深度学习
导语 SuperSQL是腾讯天穹自研的下一代大数据自适应计算平台。通过开放融合的架构,实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能化调度纳入内部系统闭环,给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来,专注于业务逻辑的实现,像使用“数据库”一样使用“大数据”,实现业务逻辑与底层大数据技术的解耦。 背景 在大数据生态里,不同计算引擎适合不同的计算场景,Spark适合
腾讯大数据
2022-11-03
1.2K
0
Ozone社区的领航者:腾讯Ozone EC的方案剖析
node.js
大数据
大数据存储
存储
编程算法
[导语] EC(Erasure Coding, 纠删码) 是现代分布式存储系统一个重要的能力。它可以保证在相同数据持久度的基础上大幅提高存储空间利用率,对降低存储成本有极为重要的意义。腾讯大数据存储团队全程参与了 Ozone 社区 EC 的设计与开发,并先于社区在内部完成了 EC offline recovery 的开发和测试。本文主要讲解 EC 在 Ozone 中的设计与实现,并讨论其中的利弊权衡。 0.引言 Apache Ozone 做为 Hadoop 生态的下一代分布式存储系统,是 Hadoop 生态
腾讯大数据
2022-08-26
862
0
TPython在大数据领域实践和思考
python
java
gcc
编程算法
随着AI和大数据蓬勃发展,Python语言成为增长最快的语言。在TIOBE最新发布的2022年03月份编程语言指数排行榜中,Python再次成功登顶,已经不再是性能无所谓的脚本语言。 从腾讯大数据产品使用经验来看,Python正深刻影响着海量应用的功能和性能。Python的动态类型为用户提供便利的同时也成为程序bug的来源和性能优化的障碍。在实际生产环境中,我们观察到Python程序总体负载占比达12~18%,性能和资源占用不确定,成为数据中心资源可用性、系统稳定性的风险点。 Microsoft、Fa
腾讯大数据
2022-05-20
576
0
腾讯自研Java协程Kona Fiber的进阶之路
jdk
编程算法
java
jvm
作者简介:郑淼,腾讯高级工程师,深入参与腾讯自研协程Kona Fiber以及ZGC的优化 本文主要介绍腾讯大数据编译器研发团队自研的Java协程Kona Fiber最近一年来完善易用性(支持synchronized锁、死锁检测、网络操作)的工作。 ▍协程用于解决什么问题? 图1.1展示了线程模型的常见做法,图中左侧的queue是一个任务队列,线程从任务队列里取任务执行,遇到IO操作时线程让出cpu。 图1.1 互联网业务通常是高并发的,所谓高并发是指同时有多个任务被执行。如果用图1.1的线程模型去实现,就
腾讯大数据
2022-05-20
2.1K
1
1.1.0版本重磅发布 | Apache InLong(incubating)一大波特性来袭
apache
kafka
数据集成
数据分析
编程算法
▍InLong(应龙) : 中国神话故事里的神兽,可以引流入海,借喻 InLong 系统提供数据接入能力。 Apache InLong(应龙)是一个一站式的海量数据集成平台,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。刚刚发布的 1.1.0 版本,InLong 发布了大量重大特性,主要包括以下内容: 管控能力增强
腾讯大数据
2022-04-27
610
0
腾讯大数据平台自治能力探索
运维
编程算法
java
大数据
数据库
标题图来源:pexels 自治理念 一、趋势 在科幻电影中未来的太空飞船上往往有着人工智能角色,协助人类掌控飞船各方面的状况,或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远,汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中,其实也急迫需要这样一个类似大脑的角色,以腾讯大数据平台现阶段的情况为例,我们有着10万+机器的存算集群,上面每天运行千万级别的离在线任务,我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问
腾讯大数据
2021-12-31
1.6K
0
新手教学 | Apache InLong 使用 Apache Pulsar 创建数据入库
apache
hive
https
网络安全
编程算法
导语:Apache InLong 增加了通过 Apache Pulsar 接入数据的能力,充分利用了 Pulsar 不同于其它 MQ 的技术优势,为金融、计费等数据质量要求更高的数据接入场景,提供完整的解决方案。 在下面的内容中,我们将通过一个完整的示例介绍如何通过 Apache InLong 使用 Apache Pulsar 接入数据。 Apache InLong(incubating) 简介 Apache InLong(应龙 https://inlong.apache.org)是腾讯捐献给 Apa
腾讯大数据
2021-12-31
1.3K
0
Apache InLong重磅发布 0.10.0 版本,着力降低用户使用门槛
apache
hive
大数据
数据处理
编程算法
导语:Apache InLong 以腾讯内部使用的TDBank为原型,依托万亿级别的数据接入和处理能力,整合了数据采集、汇聚、存储、分拣数据处理全流程,拥有简单易用、灵活扩展、稳定可靠等特性。 Apache InLong(孵化中) 刚刚发布了 0.10.0 版本,该版本是升级为 InLong(中文名:应龙) 后的第二个版本,着力解决InLong应用门槛高问题。该版本吸引腾讯内外 10 多位开发者参与,关闭超过 120 个issue, 开发超过 8 个重要Feature。 Apache InLong简介
腾讯大数据
2021-09-18
675
0
自研Java协程在腾讯的生产实践
java
自动驾驶
性能测试
编程算法
导读 / Introduction 本文是今年QCon java专场《Java协程在腾讯的生产实践》主题分享,分享团队为腾讯大数据JVM团队。本文主要介绍协程的产生背景、java协程的发展历程、社区官方协程Project Loom的设计与实现,以及腾讯自研协程Kona Fiber的产生背景、设计与实现、性能测试和业务实践。 1. 协程产生的背景 Kona 1.1 线程模型 最经典的编程模型是线程模型,它是操作系统层面对cpu的抽象。由于线程模型是一种同步编程模型,它直观、易于理解,因此使用线程模型的开
腾讯大数据
2021-09-13
1.8K
0
腾讯Angel Graph团队刷新GNN最强榜单OGB世界纪录!
angel
数据结构
神经网络
分布式
编程算法
导读 / Introduction 近日,在国际顶级图学习标准OGB(Open Graph Benchmark)挑战赛中,腾讯大数据Angel Graph团队联合北京大学-腾讯协同创新实验室,以较大优势在三个最大的OGB分类数据集:ogbn-papers100M、ogbn-products和ogbn-mag三项任务榜单第一! OGB是目前公认最权威的图学习通用性能评价基准数据集,由斯坦福大学Jure Leskovec教授团队建立并开源,并吸引了斯坦福大学、康奈尔大学、Facebook、NVIDIA
腾讯大数据
2021-09-03
1.1K
0
Angel 3.2.0新版本出炉!图计算能力再次加强
编程算法
angel
数据结构
机器学习
神经网络
Angel项目的3.2.0版本发布啦! Angel是腾讯首个AI开源项目,经过多个版本迭代,于2019年在Linux基金会顺利毕业。作为面向机器学习的第三代高性能计算平台,Angel提供了全栈的机器学习能力,并致力于解决高维稀疏大模型训练以及大规模分布式图计算的问题。 在3.1.0的版本中,Angel首次引入了图计算能力,提供了大量开箱即用的图算法,得到了业界广泛的关注和使用。本次版本发布,Angel继续加强了图计算的能力,相较于上个版本,我们做了很多优化并提供了一些新的特性,感兴趣的话就赶紧下载体验
腾讯大数据
2021-08-04
673
0
万字长文!深度剖析《数据安全法》下多方数据协同应用和隐私计算发展趋势
数据分析
编程算法
大数据
https
隐私计算
导读 / Introduction 《数据安全法》的表决通过标志着国家鼓励数据依法合规利用、保障数据依法有序流通,明确国家实施大数据战略,推动以数据为关键生产要素的数字经济发展。《数据安全法》强调数据安全与开发利用平衡,保障数据安全与促进数据开发利用并重,在规范数据安全监管与治理的同时,也给多方数据协同应用带来了新的发展机遇。 在此形势下,亟需有效的技术和业务模式创新来实现合规的多方数据协同应用,达到数据安全和数据开发利用的平衡。隐私计算将成为平衡数据安全与应用发展的关键技术支点。本文主要探讨在《数据
腾讯大数据
2021-07-12
710
0
开源项目介绍 | Angel-高性能分布式机器学习平台
angel
https
pytorch
网络安全
编程算法
2021腾讯犀牛鸟开源人才培养计划 开源项目介绍 滑至文末报名参与开源人才培养计划 报名提交项目Proposal Angel项目介绍 Angel-高性能分布式机器学习平台,是腾讯研发并开源的面向企业级应用的高性能分布式机器学习平台。 Angel支持特征工程、模型构建、参数训练、AutoML、模型服务Serving等全栈机器学习服务,提供机器学习、深度学习、图神经网络等多种算法,支持级万亿级超大规模参数模型的训练,已在生产业务系统中大规模部署。 Angel项目导师介绍 欧阳文、李晓
腾讯大数据
2021-06-02
1.3K
0
Angel图神经网络算法在推荐场景下的实践
特征工程
编程算法
数据结构
大数据
angel
分享嘉宾:孙瑞鸿 腾讯大数据 编辑整理:赵文娇 出品平台:DataFunTalk、AI启蒙者 导读:随着数据多样性的发展,图计算已经成为业界的一个重要的研究方向,其中图神经网络广泛应用于图的表征学习,与传统的图学习相比,既能学习图网络的拓扑结构,也能聚合邻居特征,从而能够有效的学习到图网络中的信息,为后续的推荐工作起到关键作用。 01 图神经网络简介 1. 万物互联 以社交网络的构建方式为例,之前主要以“关注关系”为基础进行构建,现在则会多方位的考虑到“点赞、分享、评论”等数据。图算法的实践应
腾讯大数据
2021-01-12
960
0
Angel推荐算法在游戏推荐中的应用
spring
推荐系统
编程算法
游戏
文章作者:王培军 腾讯 高级工程师 整理编辑:李沛欣 出品平台:DataFunTalk、AI启蒙者 导读:Angel是腾讯自研的分布式高性能的机器学习平台,支持机器学习、深度学习、图计算以及联邦学习等场景。Angel的深度学习平台已应用在腾讯的很多个场景中。本次分享为大家介绍Angel推荐算法在游戏推荐中的应用。主要内容包括:游戏平台上的游戏推荐、Tesla平台上的推荐算法、经典算法的线性特点、DeepFM算法的非线性特点、DeepFM应用过程。 01 游戏平台上的游戏推荐 这张图看到的是St
腾讯大数据
2021-01-12
1.3K
0
KonaJDK – 赋能腾讯云上Java生态
jdk
java
编程算法
微服务
导语:JDK作为Java应用的基础设施,在云Java生态上的重要性不言而喻。KonaJDK作为Tencent自研JDK, 已经平稳支撑于腾讯云微服务,消息中间件,大数据等核心业务,同时在信创等场景上作为Java业务的基础支撑组件,填补了腾讯云信创场景下JDK组件的空白。 本文将主要从KonaJDK在信创云环境支撑,KonaJDK支持腾讯云产品的能力拓展与定制化以及KonaJDK在大数据场景的优化实践几个方面,介绍KonaJDK对于腾讯云Java业务的支撑与优化。 KonaJDK 信创环境支撑 信创云环境中
腾讯大数据
2020-11-02
1.9K
0
快速上手联邦学习——腾讯自研联邦学习平台PowerFL实战
联邦学习
kubernetes
编程算法
yarn
node.js
导语:近10年,机器学习在人工智能领域迅猛发展,其中一个关键的推动燃料就是人类社会积累的大量数据。然而,尽管数据规模在总体上快速增长,绝大部分数据却分散在各个公司或部门内,导致数据被严重隔离和碎片化;也正因为此,各个组织间有很强的数据合作意愿,可是基于数据隐私和安全的考量,要在合规的情况下实现数据合作面临着诸多挑战。 基于上述原因形成的数据孤岛正严重阻碍着各方协同数据共同构建人工智能模型,也因此迫切需要一种新的机制来解决上述问题。联邦学习应运而生,通过这一新兴技术,可以在确保用户隐私和数据安全的前提下,各
腾讯大数据
2020-10-26
3.7K
0
【直播】星火计划|Angel核心推荐算法及其应用探秘技术沙龙火热报名中
angel
编程算法
大数据
推荐系统
腾讯云开发者社区
导 语 “推荐系统”可以说是今天AI技术最常见的应用场景之一,从商品到新闻资讯、短视频、音乐,它能够找到用户的个性化需求,按照用户的需求喜好,将匹配的信息内容精准地推送给用户。 在这个信息过载的时代,推荐系统可以帮助用户更加高效地发现对自己有价值的信息。与此同时,对于许多应用场景而言,它已经成为了一个不可或缺的功能。 9月29日19:00-21:00,腾讯大数据星火计划系列技术沙龙第4期《Angel核心推荐算法及其应用探秘》直播专场将于线上举办。四位在人工智能领域有着丰富经验的腾讯工程师,将为大家介绍腾讯
腾讯大数据
2020-09-27
440
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档