腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

323

文章

450656

阅读量

124

订阅数

Tencent Kona JDK参与开放原子“校源行”活动

开源 jdk 安全腾讯优化

4月2日，以"聚缘于校，开源共行"为主题的开放原子校源行（北京站）活动在北京航空航天大学举行。该活动由开放原子开源基金会、央视网联合主办，北京航空航天大学承办。工业和信息化部信息技术发展司、人事教育司的相关负责领导，教育部高等教育司的相关负责领导，全国数十所高校代表，数百名北京航空航天大学学生及相关企业、开源项目的负责人等共同参加了此次活动。在此次开放原子校源行活动中，腾讯公司的多个开源项目积极参与，其中就有来自于腾讯大数据团队的开源项目Tencent Kona JDK（以下简称为Kona JDK）。该

腾讯大数据

2023-04-06

3370

回顾｜“十年一剑·数擎未来”腾讯大数据技术分享会成功举办

数据安全开源大数据数据腾讯

2023年3月21日，腾讯大数据与机械工业出版社联合举办的“十年一剑·数擎未来”腾讯大数据技术分享会在北京举办，会上隆重发布《腾讯大数据构建之道》一书，本次会议由机械工业出版社九州云播平台直播，全网近30家媒体平台转播，累计观看超14万人次。腾讯公司副总裁蒋杰和机械工业出版社副社长范兴国发来了视频致辞。腾讯云副总裁刘煜宏，中国信息研究通信院大数据与区块链部副主任（主持工作）姜春宇，中国开源推进联盟副秘书长谭中意，腾讯公司数据平台部数据中心总监罗韩梅，机械工业出版社华章分社计算机图书事业部经理杨福川出席了

腾讯大数据

2023-04-04

7700

我在腾讯造“炮弹”

开源大数据数据腾讯系统

我在腾讯造“炮弹” 文 | 史中（一）真的狠人，可以写自己的“命运剧本” 我们现在回忆起来，腾讯好像是“嗖——”地一下就成了今天这么大。但事实显然不是这样，我们的记忆最爱骗人。在腾讯的“历史相册”里，每时每刻，身边都站着至少一个强大到随时能把自己“掐死”的对手。比如2005年，这个对手就是微软。确切地说，是微软的 MSN。一边是世界首富比尔·盖茨商业帝国下银盔亮甲的正规军，一边是名不见经传的深圳寻呼系统开发程序员马化腾的“中学生聊天神器”。这一边倒的局面，连看热闹的都捂住眼镜，生怕腾讯挨打的时

腾讯大数据

2023-04-04

7040

腾讯，大数据是一碗白饭

企业开源大数据数据腾讯

导语：两千多年前，毕达哥拉斯学派提出来一个概念，即“万物皆数”，虽然从今天看当时的发现过程，不免有其偏颇之处。但是它揭示了，万物之间的关系，都可以归结为数与数之间的关系。几乎在同时代，老子也有类似观点，如《道德经》所云：道生一，一生二，二生三，三生万物。内中的含义是，事物的变迁规律，是一个数据从少到多，从简单到复杂，再从复杂归于简单的一个完整过程。这说明，人类很早就有了朴素的数据驱动思维。只不过，在电子计算机和互联网发展起来之前，人类从来都没有办法拥有足够的数据，去发现和掌握这个世界的运作规律。

腾讯大数据

2023-04-04

3080

深耕基础软件3年，他们为中国开发者“添了双筷子”

开源基础开发者软件腾讯

2019年下半年，一支“精英小队”在腾讯大数据团队内部开始集结。成员除了各处抽调的精兵强将，还有两名来到腾讯不久的资深工程师——杨晓峰和傅杰，集结他们，只为了一个艰苦而又重要的任务——自研 JDK 。有成员这样评价这个任务——“脏活、累活”，还有委婉点的说法——“非主流的技术方向”，至少在当时，这个任务并不是会让大家争抢的那种。但总有孤勇者，愿意去直面困难的挑战。三年之后，这支小分队不仅研发出了国产化的Kona JDK，还培养出了OpenJDK社区为数不多的中国Committer和Reviewer，在

腾讯大数据

2023-04-04

4590

Apache ratis-shell : Alluxio & Ozone HA 管控利器

https 网络安全 github git 开源

背景 Alluxio 的 Master 以及 Job Master 服务和 Ozone 的 Ozone Manager 以及 Storage Container Manager 服务等，都是基于 Apache Ratis 实现的 HA 高可用服务。对于这些高可用服务，在某些场景，都需要获取 Leader 信息、commit 信息等 Ratis group 内部的信息，也会用在更换机器、滚动升级等场景，需要切换 leader 等必要的功能。目前 Alluxio 和 Ozone 正在分别实现这些功能，而这些功能

腾讯大数据

2022-07-04

8110

官宣 | 腾讯捐赠的 InLong 正式毕业成为 Apache 顶级项目！

apache 开源大数据数据集成数据处理

全球最大的开源软件基金会Apache软件基金会正式宣布，Apache InLong 正式毕业成为社区顶级项目，这也是 Apache 社区首个一站式大数据集成顶级项目！ Apache 基金会官博（点击“阅读原文”查看） InLong 中文名“应龙”是中国神话中引流入海的神兽，意寓 InLong 在大数据社区生态中的价值：大数据接入集成。这个最初由腾讯捐献给 Apache 社区的一站式海量数据集成框架，可以为大数据开发者提供百万亿级数据流高性能处理能力，以及千亿级数据流高可靠服务。而这是继腾讯开源项目

腾讯大数据

2022-06-24

3950

直播预约 | 对话Apache InLong PPMC 张超，畅聊 InLong 开源孵化之路

apache 开源云直播大数据

「Apache Way 是什么？」「开源项目如何才能进入 Apache 软件基金会？」「Apache 软件基金会在项目孵化上理念和其他基金会又有什么不同？」带着这些疑问，腾源会联合腾讯大数据高级工程师实时连线交流，带大家揭秘「Apache way」，走进 Apache 的世界。本期直播，我们邀请到了 Apache InLong（incubating）PPMC，腾讯大数据 MQ & InLong 团队负责人张超老师作客「WeOpen Talk」直播间，与各位畅聊 Apache InLong 一站式

腾讯大数据

2022-04-27

4360

Apache InLong(incubating) 发布0.11.0版本

https github git 开源 apache

InLong(应龙) : 中国神话故事里的神兽，引流入海，借喻 InLong 系统提供数据接入能力。 Apache InLong(incubating) 由原 Apache TubeMQ（incubating）改名而来，伴随着名称的改变，InLong 也由单一的消息队列升级为一站式的数据集成解决方案，支持了大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。刚刚发布的 0.11.0-incubating 版本是改名之后的第三个版本，这个版

腾讯大数据

2021-11-19

4990

腾讯自研分布式远程Shuffle服务Firestorm正式开源

开源存储大数据分布式

11月4日，在2021腾讯数字生态大会上，腾讯宣布开源自主研发的分布式远程Shuffle服务Firestorm。该服务的开源不但可以助推分布式计算的云原生部署，还能解决大数据分布式计算过程中的痛点，提升计算资源的利用率。图片来源：pixabay 在分布式计算领域，Shuffle过程由于存在着磁盘IO随机读写问题，一直是分布式计算任务的性能瓶颈，除了降低计算任务的运行效率，还降低硬件资源的利用率。同时，由于Shuffle过程对于本地磁盘有容量需求(如Spark计算引擎)，对于计算引擎的云原生化也制造了

腾讯大数据

2021-11-10

8540

腾讯蝉联JDK17贡献国内第一，自研Kona JDK两大新版本正式开源

jdk api oracle 开源 https

导读 / Introduction 2021年9月14日，Oracle 正式对外发布新的长期支持版本JDK17。据Oracle官方公告，腾讯Kona JDK再次蝉联JDK17中国企业贡献度排名第一，全球企业贡献度排名第四。在积极参与社区贡献的同时，腾讯继Tencent Kona JDK8、Tencent Kona JDK11开源之后，再次开源Tencent Kona JDK17 以及Tencent Kona JDK11 向量计算版。积极社区贡献 KonaJDK 9月14日，JDK17正式对外发布。据

腾讯大数据

2021-11-05

1.9K1

北大腾讯联合共建Angel4.0，自研深度学习框架“河图”融入生态

分布式 angel 大数据深度学习开源

近日，北京大学-腾讯协同创新实验室（以下简称：实验室）宣布，北京大学与腾讯大数据团队将联合共建Angel4.0——新一代分布式深度学习平台，面向拥有海量训练数据、超大模型参数的深度学习训练场景，为产业界带来新的大规模深度学习破局之策。实验室成立于2017年，主要在人工智能、大数据等科研领域展开前沿探索和人才培养，由北京大学计算机系副主任崔斌教授担任实验室主任，腾讯公司副总裁、数据平台部总经理蒋杰出任副主任。实验室打造的Angel分布式机器学习平台（https://github.com/Angel

腾讯大数据

2021-08-09

7800

产学研合作新标杆：腾讯大数据开源项目Angel获央视点赞

angel 大数据开源 github 机器学习

导读 / Introduction 5月10日，中央广播电视总台《经济半小时》栏目播出《软件开源里的中国声音》特别节目，点赞了腾讯工程师们在技术开放和软件开源上所做的努力。目前腾讯已经开源了120+个项目，有数千位贡献者， Star 数超过35万，开源贡献居于全球前列。作为腾讯的明星开源项目，Angel机器学习平台能够支持万亿级维度的机器学习全流程开发，广泛接入了大数据和AI生态，如Spark、Pytorch等，大幅降低了海量数据规模下的机器学习开发门槛。点击观看视频：此次节目中重点介绍的就是

腾讯大数据

2021-05-13

8370

星火计划 | 腾讯自研Kona JDK技术分享沙龙火热报名中

java jdk 大数据开源

导语：近几年，“Java已死”的论调时而出现。虽然一直被唱衰，但实际上，Java的生命力依旧旺盛。在TIOBE最新公布的3月编程语言排行榜中，Java热门程度仍然名列前茅，仅次于C语言。而且，随着以OpenJDK为核心的开源社区的日益活跃，我们可以预见，在大数据与云计算时代，Java也将得到长足发展，在未来继续扮演重要角色。腾讯既是Java的用户，也是Java开源生态的重要参与者和贡献者。作为OpenJDK开源社区的一员，腾讯积极参与，在JDK15、JDK16中入选全球贡献者榜单，分别位于全球第五、第四

腾讯大数据

2021-03-23

5470

2020年腾讯KonaJDK开源贡献总结

jdk java 开源

导语：在2020年发布的 JDK15 中，腾讯成为国内厂商历史首位 Notable 贡献者，全球贡献第五。时光飞逝，一转眼，2020年已经结束，自2019年11月KonaJDK开源，也已超过一年。在过去的这一年里，KonaJDK不断提升，锐意进取，为腾讯内部及外部云上客户提供了稳定的Java运行环境。关于KonaJDK服务腾讯及云业务，我们已经在《KonaJDK 赋能云上 Java 新生态》一文中做了表述。与此同时，2020年我们也积极参与了OpenJDK开源社区贡献。2021新年伊始，我们以腾讯云JD

腾讯大数据

2021-01-19

7030

大数据江湖十年：腾讯底层技术的进化往事

开源大数据数据库数据处理 sql

生活不可能像你想象得那么好，但也不会像你想象得那么糟。人的脆弱和坚强都超乎自己的想象。有时，我们可能脆弱得一句话就泪流满面，有时，也发现自己咬着牙走了很长的路。本文转载自：鹅厂技术派人们常说，腾讯因为微信，拿到了进入移动互联网时代的一张站票，但是在互联网数据像火山一样爆发的前夕，大数据何尝不是腾讯能够屹立顶级科技公司的另外一张隐性门票。去年9月份，腾讯云对外宣布其大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过十万亿维度的数据训练

腾讯大数据

2021-01-12

9030

找准赛道在技术浪潮中厚积薄发

开源机器学习神经网络深度学习人工智能

本文转载自：光明日报作者：陶阳宇由光明日报记者龚亮采访整理陶阳宇，80后程序员，腾讯云人工智能平台总监。目前从事人工智能、大数据领域研究，主攻机器学习和安全联合计算。【观察者】 2020年4月，国家发改委正式明确将人工智能纳入新基建范围。人工智能作为智能经济发展的核心引擎，无疑将迎来发展的新风口。青年程序员正身处于前所未有的广阔实践场域，只要确定正确的目标并踏实努力，必将大有可为。我是博士毕业后开始程序员生涯的，到目前为止已超过11年了。程序员这个群体最大的特征就是聪明好学并且思维活跃，

腾讯大数据

2020-12-21

3600

大数据架构前沿实践分享

大数据 apache 数据湖开源出行

12月19日，9：00-12：40，由来自腾讯数据湖研发负责人邵赛赛老师出品的DataFunTalk年终大会——大数据架构论坛，将邀请来自腾讯、Tubi、车好多、T3出行、滴滴出行等公司的6位嘉宾，就大数据架构相关主题进行分享。本次会议全程直播，详细信息如下： 01 专题论坛及日程论坛名称大数据架构论坛论坛时间 12月19日，09:00-12:40论坛出品邵赛赛腾讯数据湖研发负责人分享时间分享内容09:00-09:40如何让Ozone成为HDFS的下一代分布式存储系统腾讯高级工程师毛宝龙09

腾讯大数据

2020-12-14

1.3K0

腾讯大数据团队主导Apache社区新一代分布式存储系统Ozone 1.0.0发布

hadoop 开源 spark apache 腾讯云测试服务

近日，由腾讯大数据团队主导的Ozone 1.0.0版本在Apache Hadoop社区正式发布。经过2年多的社区持续开发和腾讯内部1000+节点的实际落地验证，Ozone 1.0.0已经具备了在大规模生产环境下实际部署的能力。 Ozone 是Apache Hadoop社区推出的新一代分布式存储系统，它的出现满足了大量小文件的存储问题，解决了Hadoop分布式文件系统在可扩展性上的缺陷。作为Hadoop生态圈的一款新的对象存储系统，能够支持百亿甚至千亿级文件规模的存储。腾讯大数据团队Ozone项目负

腾讯大数据

2020-09-27

1K1

论坛报名 | DataFunCon：AI 平台/框架论坛

大数据 angel 开源分布式深度学习

导读 DataFunCon是由DataFun主办的线上技术大会，由20余位知名专家学者出品，设置了18场专题分享，有超过80位一线资深技术专家参与分享，汇集了2020大数据、AI领域最新技术实践。本次大会将于7月25-26日，9：30-18：00在线上举行。 7月26日，9：00-12：20，由腾讯大数据智能学习团队负责人陶阳宇先生担任出品人的DataFunCon：AI 平台/框架论坛将准时开启，感兴趣的小伙伴和小编一起来了解下吧：详细介绍：出品人：陶阳宇博士腾讯大数据 | 智能学

腾讯大数据

2020-07-23

3.9K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态