腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

324

文章

455043

阅读量

124

订阅数

大数据云原生能力成熟度模型，重磅发布！

大数据编程算法运维文件存储存储

为了分享过去一年云原生产业联盟（CNIA）在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态，云原生产业联盟于2023年1月9日举办了2022年度线上年会，发布了“大数据云原生能力成熟度模型”，并进行了标准解读。云原生时代，数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes等云原生技术与大数据系统的深度融合，可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级，已

腾讯大数据

2023-01-30

1.6K0

腾讯Kona国密套件：从基础算法到安全协议

编程算法 jdk https SSL 证书

腾讯Kona国密套件（Tencent Kona SM Suite）基于JDK的标准Service Provider Interface（SPI）实现了从基础算法簇，到公钥基础设施（PKI），再到安全通信协议的全链路国密特性。该套件已在GitHub上开源：https://github.com/Tencent/TencentKonaSMSuite（点击阅读原文）腾讯Kona国密套件包含四个Java Security Provider： KonaCrypto，它是一个Java Cryptography Exte

腾讯大数据

2022-11-30

4K0

智能计算 | 天穹SuperSQL如何利用机器学习实现计算引擎自适应

sql 编程算法大数据神经网络深度学习

导语 SuperSQL是腾讯天穹自研的下一代大数据自适应计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能化调度纳入内部系统闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。背景在大数据生态里，不同计算引擎适合不同的计算场景，Spark适合

腾讯大数据

2022-11-03

1.1K0

Ozone社区的领航者：腾讯Ozone EC的方案剖析

node.js 大数据大数据存储存储编程算法

[导语] EC(Erasure Coding, 纠删码) 是现代分布式存储系统一个重要的能力。它可以保证在相同数据持久度的基础上大幅提高存储空间利用率，对降低存储成本有极为重要的意义。腾讯大数据存储团队全程参与了 Ozone 社区 EC 的设计与开发，并先于社区在内部完成了 EC offline recovery 的开发和测试。本文主要讲解 EC 在 Ozone 中的设计与实现，并讨论其中的利弊权衡。 0.引言 Apache Ozone 做为 Hadoop 生态的下一代分布式存储系统，是 Hadoop 生态

腾讯大数据

2022-08-26

7450

TPython在大数据领域实践和思考

python java gcc 编程算法

随着AI和大数据蓬勃发展，Python语言成为增长最快的语言。在TIOBE最新发布的2022年03月份编程语言指数排行榜中，Python再次成功登顶，已经不再是性能无所谓的脚本语言。从腾讯大数据产品使用经验来看，Python正深刻影响着海量应用的功能和性能。Python的动态类型为用户提供便利的同时也成为程序bug的来源和性能优化的障碍。在实际生产环境中，我们观察到Python程序总体负载占比达12～18%，性能和资源占用不确定，成为数据中心资源可用性、系统稳定性的风险点。 Microsoft、Fa

腾讯大数据

2022-05-20

5390

腾讯自研Java协程Kona Fiber的进阶之路

jdk 编程算法 java jvm

作者简介：郑淼，腾讯高级工程师，深入参与腾讯自研协程Kona Fiber以及ZGC的优化本文主要介绍腾讯大数据编译器研发团队自研的Java协程Kona Fiber最近一年来完善易用性（支持synchronized锁、死锁检测、网络操作）的工作。 ▍协程用于解决什么问题？图1.1展示了线程模型的常见做法，图中左侧的queue是一个任务队列，线程从任务队列里取任务执行，遇到IO操作时线程让出cpu。图1.1 互联网业务通常是高并发的，所谓高并发是指同时有多个任务被执行。如果用图1.1的线程模型去实现，就

腾讯大数据

2022-05-20

1.9K1

1.1.0版本重磅发布 | Apache InLong(incubating)一大波特性来袭

apache kafka 数据集成数据分析编程算法

▍InLong(应龙) : 中国神话故事里的神兽，可以引流入海，借喻 InLong 系统提供数据接入能力。 Apache InLong（应龙）是一个一站式的海量数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。刚刚发布的 1.1.0 版本，InLong 发布了大量重大特性，主要包括以下内容：管控能力增强

腾讯大数据

2022-04-27

5710

腾讯大数据平台自治能力探索

运维编程算法 java 大数据数据库

标题图来源：pexels 自治理念一、趋势在科幻电影中未来的太空飞船上往往有着人工智能角色，协助人类掌控飞船各方面的状况，或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远，汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中，其实也急迫需要这样一个类似大脑的角色，以腾讯大数据平台现阶段的情况为例，我们有着10万+机器的存算集群，上面每天运行千万级别的离在线任务，我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问

腾讯大数据

2021-12-31

1.4K0

新手教学 | Apache InLong 使用 Apache Pulsar 创建数据入库

apache hive https 网络安全编程算法

导语：Apache InLong 增加了通过 Apache Pulsar 接入数据的能力，充分利用了 Pulsar 不同于其它 MQ 的技术优势，为金融、计费等数据质量要求更高的数据接入场景，提供完整的解决方案。在下面的内容中，我们将通过一个完整的示例介绍如何通过 Apache InLong 使用 Apache Pulsar 接入数据。 Apache InLong(incubating) 简介 Apache InLong（应龙 https://inlong.apache.org）是腾讯捐献给 Apa

腾讯大数据

2021-12-31

1.1K0

Apache InLong重磅发布 0.10.0 版本，着力降低用户使用门槛

apache hive 大数据数据处理编程算法

导语：Apache InLong 以腾讯内部使用的TDBank为原型，依托万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。 Apache InLong(孵化中) 刚刚发布了 0.10.0 版本，该版本是升级为 InLong（中文名：应龙）后的第二个版本，着力解决InLong应用门槛高问题。该版本吸引腾讯内外 10 多位开发者参与，关闭超过 120 个issue，开发超过 8 个重要Feature。 Apache InLong简介

腾讯大数据

2021-09-18

6450

自研Java协程在腾讯的生产实践

java 自动驾驶性能测试编程算法

导读 / Introduction 本文是今年QCon java专场《Java协程在腾讯的生产实践》主题分享，分享团队为腾讯大数据JVM团队。本文主要介绍协程的产生背景、java协程的发展历程、社区官方协程Project Loom的设计与实现，以及腾讯自研协程Kona Fiber的产生背景、设计与实现、性能测试和业务实践。 1. 协程产生的背景 Kona 1.1 线程模型最经典的编程模型是线程模型，它是操作系统层面对cpu的抽象。由于线程模型是一种同步编程模型，它直观、易于理解，因此使用线程模型的开

腾讯大数据

2021-09-13

1.7K0

腾讯Angel Graph团队刷新GNN最强榜单OGB世界纪录!

angel 数据结构神经网络分布式编程算法

导读 / Introduction 近日，在国际顶级图学习标准OGB（Open Graph Benchmark）挑战赛中，腾讯大数据Angel Graph团队联合北京大学-腾讯协同创新实验室，以较大优势在三个最大的OGB分类数据集：ogbn-papers100M、ogbn-products和ogbn-mag三项任务榜单第一！ OGB是目前公认最权威的图学习通用性能评价基准数据集，由斯坦福大学Jure Leskovec教授团队建立并开源，并吸引了斯坦福大学、康奈尔大学、Facebook、NVIDIA

腾讯大数据

2021-09-03

1K0

Angel 3.2.0新版本出炉！图计算能力再次加强

编程算法 angel 数据结构机器学习神经网络

Angel项目的3.2.0版本发布啦！ Angel是腾讯首个AI开源项目，经过多个版本迭代，于2019年在Linux基金会顺利毕业。作为面向机器学习的第三代高性能计算平台，Angel提供了全栈的机器学习能力，并致力于解决高维稀疏大模型训练以及大规模分布式图计算的问题。在3.1.0的版本中，Angel首次引入了图计算能力，提供了大量开箱即用的图算法，得到了业界广泛的关注和使用。本次版本发布，Angel继续加强了图计算的能力，相较于上个版本，我们做了很多优化并提供了一些新的特性，感兴趣的话就赶紧下载体验

腾讯大数据

2021-08-04

5950

万字长文！深度剖析《数据安全法》下多方数据协同应用和隐私计算发展趋势

数据分析编程算法大数据 https 隐私计算

导读 / Introduction 《数据安全法》的表决通过标志着国家鼓励数据依法合规利用、保障数据依法有序流通，明确国家实施大数据战略，推动以数据为关键生产要素的数字经济发展。《数据安全法》强调数据安全与开发利用平衡，保障数据安全与促进数据开发利用并重，在规范数据安全监管与治理的同时，也给多方数据协同应用带来了新的发展机遇。在此形势下，亟需有效的技术和业务模式创新来实现合规的多方数据协同应用，达到数据安全和数据开发利用的平衡。隐私计算将成为平衡数据安全与应用发展的关键技术支点。本文主要探讨在《数据

腾讯大数据

2021-07-12

6590

开源项目介绍｜ Angel-高性能分布式机器学习平台

angel https pytorch 网络安全编程算法

2021腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划报名提交项目Proposal Angel项目介绍 Angel-高性能分布式机器学习平台，是腾讯研发并开源的面向企业级应用的高性能分布式机器学习平台。 Angel支持特征工程、模型构建、参数训练、AutoML、模型服务Serving等全栈机器学习服务，提供机器学习、深度学习、图神经网络等多种算法，支持级万亿级超大规模参数模型的训练，已在生产业务系统中大规模部署。 Angel项目导师介绍欧阳文、李晓

腾讯大数据

2021-06-02

1.1K0

Angel图神经网络算法在推荐场景下的实践

特征工程编程算法数据结构大数据 angel

分享嘉宾：孙瑞鸿腾讯大数据编辑整理：赵文娇出品平台：DataFunTalk、AI启蒙者导读：随着数据多样性的发展，图计算已经成为业界的一个重要的研究方向，其中图神经网络广泛应用于图的表征学习，与传统的图学习相比，既能学习图网络的拓扑结构，也能聚合邻居特征，从而能够有效的学习到图网络中的信息，为后续的推荐工作起到关键作用。 01 图神经网络简介 1. 万物互联以社交网络的构建方式为例，之前主要以“关注关系”为基础进行构建，现在则会多方位的考虑到“点赞、分享、评论”等数据。图算法的实践应

腾讯大数据

2021-01-12

9210

Angel推荐算法在游戏推荐中的应用

spring 推荐系统编程算法游戏

文章作者：王培军腾讯高级工程师整理编辑：李沛欣出品平台：DataFunTalk、AI启蒙者导读：Angel是腾讯自研的分布式高性能的机器学习平台，支持机器学习、深度学习、图计算以及联邦学习等场景。Angel的深度学习平台已应用在腾讯的很多个场景中。本次分享为大家介绍Angel推荐算法在游戏推荐中的应用。主要内容包括：游戏平台上的游戏推荐、Tesla平台上的推荐算法、经典算法的线性特点、DeepFM算法的非线性特点、DeepFM应用过程。 01 游戏平台上的游戏推荐这张图看到的是St

腾讯大数据

2021-01-12

1.3K0

KonaJDK – 赋能腾讯云上Java生态

jdk java 编程算法微服务

导语：JDK作为Java应用的基础设施，在云Java生态上的重要性不言而喻。KonaJDK作为Tencent自研JDK，已经平稳支撑于腾讯云微服务，消息中间件，大数据等核心业务，同时在信创等场景上作为Java业务的基础支撑组件，填补了腾讯云信创场景下JDK组件的空白。本文将主要从KonaJDK在信创云环境支撑，KonaJDK支持腾讯云产品的能力拓展与定制化以及KonaJDK在大数据场景的优化实践几个方面，介绍KonaJDK对于腾讯云Java业务的支撑与优化。 KonaJDK 信创环境支撑信创云环境中

腾讯大数据

2020-11-02

1.8K0

快速上手联邦学习——腾讯自研联邦学习平台PowerFL实战

联邦学习 kubernetes 编程算法 yarn node.js

导语：近10年，机器学习在人工智能领域迅猛发展，其中一个关键的推动燃料就是人类社会积累的大量数据。然而，尽管数据规模在总体上快速增长，绝大部分数据却分散在各个公司或部门内，导致数据被严重隔离和碎片化；也正因为此，各个组织间有很强的数据合作意愿，可是基于数据隐私和安全的考量，要在合规的情况下实现数据合作面临着诸多挑战。基于上述原因形成的数据孤岛正严重阻碍着各方协同数据共同构建人工智能模型，也因此迫切需要一种新的机制来解决上述问题。联邦学习应运而生，通过这一新兴技术，可以在确保用户隐私和数据安全的前提下，各

腾讯大数据

2020-10-26

3.4K0

【直播】星火计划|Angel核心推荐算法及其应用探秘技术沙龙火热报名中

angel 编程算法大数据推荐系统腾讯云开发者社区

导语 “推荐系统”可以说是今天AI技术最常见的应用场景之一，从商品到新闻资讯、短视频、音乐，它能够找到用户的个性化需求，按照用户的需求喜好，将匹配的信息内容精准地推送给用户。在这个信息过载的时代，推荐系统可以帮助用户更加高效地发现对自己有价值的信息。与此同时，对于许多应用场景而言，它已经成为了一个不可或缺的功能。 9月29日19:00-21:00，腾讯大数据星火计划系列技术沙龙第4期《Angel核心推荐算法及其应用探秘》直播专场将于线上举办。四位在人工智能领域有着丰富经验的腾讯工程师，将为大家介绍腾讯

腾讯大数据

2020-09-27

4030

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态