首页
学习
活动
专区
工具
TVP
发布

腾讯大数据的专栏

专栏作者
323
文章
452024
阅读量
124
订阅数
星火计划 | 大数据提效双引擎 直播报名中
Java 和 Python 是大数据领域的两个标志性语言。Java 作为20多年成熟的编程语言,几乎是大数据领域的“方言”,而 Python 在数据分析和 ML 场景具备显著地位。 业界对高性能 Python 虚拟机的需求越来越强烈,但长期缺乏稳定支持、高兼容性的 Python 虚拟机发行版。早在2021年,腾讯大数据的 TPython 团队,针对数据科学场景痛点,探索打造高性能执行引擎,性能已超越社区同版本30~60%,成为目前业界性能最高的通用 Python 虚拟机之一。 在 Java 领域,腾讯 Ko
腾讯大数据
2022-07-12
4060
TPython在大数据领域实践和思考
随着AI和大数据蓬勃发展,Python语言成为增长最快的语言。在TIOBE最新发布的2022年03月份编程语言指数排行榜中,Python再次成功登顶,已经不再是性能无所谓的脚本语言。 从腾讯大数据产品使用经验来看,Python正深刻影响着海量应用的功能和性能。Python的动态类型为用户提供便利的同时也成为程序bug的来源和性能优化的障碍。在实际生产环境中,我们观察到Python程序总体负载占比达12~18%,性能和资源占用不确定,成为数据中心资源可用性、系统稳定性的风险点。 Microsoft、Fa
腾讯大数据
2022-05-20
5360
腾讯自研Java协程Kona Fiber的进阶之路
作者简介:郑淼,腾讯高级工程师,深入参与腾讯自研协程Kona Fiber以及ZGC的优化 本文主要介绍腾讯大数据编译器研发团队自研的Java协程Kona Fiber最近一年来完善易用性(支持synchronized锁、死锁检测、网络操作)的工作。 ▍协程用于解决什么问题? 图1.1展示了线程模型的常见做法,图中左侧的queue是一个任务队列,线程从任务队列里取任务执行,遇到IO操作时线程让出cpu。 图1.1 互联网业务通常是高并发的,所谓高并发是指同时有多个任务被执行。如果用图1.1的线程模型去实现,就
腾讯大数据
2022-05-20
1.9K1
腾讯大数据平台自治能力探索
标题图来源:pexels 自治理念 一、趋势 在科幻电影中未来的太空飞船上往往有着人工智能角色,协助人类掌控飞船各方面的状况,或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远,汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中,其实也急迫需要这样一个类似大脑的角色,以腾讯大数据平台现阶段的情况为例,我们有着10万+机器的存算集群,上面每天运行千万级别的离在线任务,我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问
腾讯大数据
2021-12-31
1.4K0
自研Java协程在腾讯的生产实践
导读 / Introduction 本文是今年QCon java专场《Java协程在腾讯的生产实践》主题分享,分享团队为腾讯大数据JVM团队。本文主要介绍协程的产生背景、java协程的发展历程、社区官方协程Project Loom的设计与实现,以及腾讯自研协程Kona Fiber的产生背景、设计与实现、性能测试和业务实践。 1. 协程产生的背景 Kona 1.1 线程模型 最经典的编程模型是线程模型,它是操作系统层面对cpu的抽象。由于线程模型是一种同步编程模型,它直观、易于理解,因此使用线程模型的开
腾讯大数据
2021-09-13
1.7K0
星火计划 | 腾讯自研Kona JDK技术分享沙龙火热报名中
导语:近几年,“Java已死”的论调时而出现。虽然一直被唱衰,但实际上,Java的生命力依旧旺盛。在TIOBE最新公布的3月编程语言排行榜中,Java热门程度仍然名列前茅,仅次于C语言。而且,随着以OpenJDK为核心的开源社区的日益活跃,我们可以预见,在大数据与云计算时代,Java也将得到长足发展,在未来继续扮演重要角色。 腾讯既是Java的用户,也是Java开源生态的重要参与者和贡献者。作为OpenJDK开源社区的一员,腾讯积极参与,在JDK15、JDK16中入选全球贡献者榜单,分别位于全球第五、第四
腾讯大数据
2021-03-23
5500
JDK16贡献榜公布,腾讯Kona JDK蝉联全国第一
导读 / Introduction 3月16日,JDK16正式对外发布。据Oracle官方公告,腾讯Kona JDK团队蝉联JDK16中国企业贡献度排名第一,并再次作为全球Notable贡献者被Oracle点名致谢。 作为Java标准版最主流的参考实现之一,目前国际上众多顶级科技公司基于OpenJDK开源项目研发了多种JDK发行版,腾讯Kona JDK便是其中颇具特色的发行版之一。 在最新发布的JDK16中,针对最引人注目的Java新特性Vector API,腾讯Kona JDK通过内部广告大数据/
腾讯大数据
2021-03-23
1K0
2020年腾讯KonaJDK开源贡献总结
导语:在2020年发布的 JDK15 中,腾讯成为国内厂商历史首位 Notable 贡献者,全球贡献第五。 时光飞逝,一转眼,2020年已经结束,自2019年11月KonaJDK开源,也已超过一年。在过去的这一年里,KonaJDK不断提升,锐意进取,为腾讯内部及外部云上客户提供了稳定的Java运行环境。关于KonaJDK服务腾讯及云业务,我们已经在《KonaJDK 赋能云上 Java 新生态》一文中做了表述。与此同时,2020年我们也积极参与了OpenJDK开源社区贡献。2021新年伊始,我们以腾讯云JD
腾讯大数据
2021-01-19
7080
KonaJDK – 赋能腾讯云上Java生态
导语:JDK作为Java应用的基础设施,在云Java生态上的重要性不言而喻。KonaJDK作为Tencent自研JDK, 已经平稳支撑于腾讯云微服务,消息中间件,大数据等核心业务,同时在信创等场景上作为Java业务的基础支撑组件,填补了腾讯云信创场景下JDK组件的空白。 本文将主要从KonaJDK在信创云环境支撑,KonaJDK支持腾讯云产品的能力拓展与定制化以及KonaJDK在大数据场景的优化实践几个方面,介绍KonaJDK对于腾讯云Java业务的支撑与优化。 KonaJDK 信创环境支撑 信创云环境中
腾讯大数据
2020-11-02
1.8K0
大数据与云计算的新引擎 – Kona JDK 11揭秘
丨导语 时间过得真快,JDK 11已经发布近两年了,大家从最开始看到ZGC、JFR等特性的眼前一亮直到今天,似乎并没有见到广泛进入生产,Java开发者的普遍疑问是: ● JDK 11有什么突出生产价值?到底有没有开箱即用的性能提升或者功能收益? ● JDK半年即一个主版本,如何充分利用前沿版本新特性,又能避免令人眼花缭乱的Java版本变化? 腾讯JDK团队针对大数据/机器学习和云计算等业务的前沿需求,正在探索新的长期支持版本Kona JDK 11,本文将对其中部分实践进行介绍,希望从生产经验的角度为大家
腾讯大数据
2020-05-13
1.5K0
TBase 应用接入指南
上一篇:TBase Quick Start (请点击文章底部“阅读原文”查看) 介绍了TBase的架构,源码的编译安装,集群运行状态、启动停止等。本篇将介绍应用程序如何连接TBase数据库进行建库、建表、数据导入、查询等操作。 TBase兼容所有支持Postgres协议的客户端连接,这里将详细介绍JAVA、C语言、shell语言、Python、PHP、Golang 这6种最常用的开发语言连接TBase的操作方法。 1、JAVA开发 1.1、创建数据表 import java.sql.Connection;
腾讯大数据
2019-12-03
5K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档