腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据成神之路

专注大数据领域的一切技术~

专栏作者

635

文章

1280281

阅读量

316

订阅数

Apache Paimon核心原理和Flink应用进阶

apache 存储 flink 数据原理

这是一篇较为完整的介绍Apache Paimon和Flink进阶应用的文章，你最好收藏一波。

王知无-import_bigdata

2023-12-12

7520

字节跳动基于 Apache Hudi 的湖仓一体方案及应用实践

apache 存储架构实践数据

目前主流的数仓架构—— Lambda 架构，能够通过实时和离线两套链路、两套代码同时兼容实时数据与离线数据，做到通过批处理提供全面及准确的数据、通过流处理提供低延迟的数据，达到平衡延迟、吞吐量和容错性的目的。在实际应用中，为满足下游的即席查询，批处理和流处理的结果会进行合并。

王知无-import_bigdata

2023-09-18

4080

Apache Linkis 正式毕业成为 Apache 顶级项目

apache 开源工具系统中间件

Apache 软件基金会（ASF）孵化器于2022年12月03日，通过了 Apache Linkis 计算中间件项目的孵化毕业投票。2023年01月18日，Apache 软件基金会官方宣布 Apache Linkis 顺利毕业，成为 Apache 顶级项目（TLP）。

王知无-import_bigdata

2023-04-07

3430

【Flink SQL】Apache Calcite 架构剖析

apache 架构框架数据优化

Apache Calcite 是一个动态的数据管理框架, 可以实现 SQL 的解析、验证、优化和执行。Calcite 是模块化和插件式的, 解析、验证、优化和执行的步骤都对应着一个相对独立的模块。用户可以选择使用其中的一个或多个模块，也可以对任意模型进行定制化扩展。

王知无-import_bigdata

2023-04-07

7430

全球第一！新一代云数仓 SelectDB 登顶 ClickBench

腾讯云测试服务 apache sql 数据库大数据

概述：分析型数据库性能排行榜 ClickBench 最近迎来了一匹黑马，那就是成立不满一年，成绩却斐然的新一代云数仓 SelectDB。其在业界最为通用的 c6a.4xlarge, 500gb gp2 机型下位居榜首，超越了此前霸占榜首的 ClickHouse，多项指标排行前列。这无疑在数据库领域掀起了大风浪，人们纷纷搜索 SelectDB 这个新名字。今天，就由小编带领大家来一探究竟吧！

王知无-import_bigdata

2022-11-11

6670

大数据调度平台分类大对比(Oozie/Azkaban/AirFlow/XXL-Job/DolphinScheduler)

apache 开源 hadoop 分布式任务调度

大数据调度系统，是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结和对比。

王知无-import_bigdata

2022-04-13

5.5K0

究极缝合怪 | Pulsar核心概念和特性解读

Pulsar 是一个用于服务器到服务器的消息系统，具有多租户、高性能等优势。Pulsar 最初由 Yahoo 开发，目前由 Apache 软件基金会管理。

王知无-import_bigdata

2022-03-11

1.6K0

Apache顶级项目Ambari正式宣告退役！

apache hadoop 网站

Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理和监控工具，曾是 Apache Software Foundation 的顶级项目。

王知无-import_bigdata

2022-03-11

1.1K0

你问我DataX是谁？对不起，我活在Apache SeaTunnel的时代！

apache spark flink yarn https

SeaTunnel正式通过世界顶级开源组织Apache软件基金会的投票决议，以全票通过的优秀表现正式成为Apache孵化器项目！

王知无-import_bigdata

2022-01-20

2.4K0

5000字阐述云原生消息中间件Apache Pulsar的核心特性和设计概览

Apache Pulsar 是 Apache 软件基金会顶级项目，自称是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

王知无-import_bigdata

2021-07-30

7990

【硬刚Kylin】Kylin入门/原理/调优/OLAP解决方案和行业典型应用

apache hbase TDSQL MySQL 版 hadoop 大数据

现今，大数据行业发展得如火如荼，新技术层出不穷，整个生态欣欣向荣。作为大数据领域最重要的技术的 Apache Hadoop 最初致力于简单的分布式存储，然后在此基础之上实现大规模并行计算，到如今在实时分析、多维分析、交互式分析、机器学习甚至人工智能等方面有了长足的发展。

王知无-import_bigdata

2021-07-12

1.1K0

360度无死角 | Pulsar与Kafka对比全解析

网络安全 https apache windows kafka

本文分别从性能、架构和功能方面比较 Pulsar 和 Kafka 的区别，并且介绍 Pulsar 的用例、支持与社区等。

王知无-import_bigdata

2021-07-12

9.7K0

尝鲜！Flink1.12.2+Hudi0.9.0集成开发

https 网络安全 flink apache github

Hudi社区最近发生了一些有趣的变化，Hudi集成Flink的方案也已经发布，我个人在官网根据文档试验了一把，整体感觉还不错。我们目前并没有在生产环境中使用，但是随着社区发展和功能越来越完善，相信会有更多的业务开始尝试使用Hudi。本文在此做一个Flink和Hudi集成的分享，作者明喆sama。

王知无-import_bigdata

2021-05-07

1.3K0

你爱或者不爱，他都在那里 - 云/边/端三协同下的边缘计算

5g 云计算分布式编程算法 apache

说实话，在下第一次接触这个概念也是「懵逼」的。然后我个人进行了一番总结和归纳，下面我用最通俗的语言来教教大家什么才是「边缘计划」。

王知无-import_bigdata

2021-03-15

9370

物联网时代的答案 - Apache IoTDB

物联网 jdbc apache 数据库数据分析

至此我们了解到Apache IoTDB(物联网数据库)是为时间序列数据设计的集成数据管理引擎。它为用户提供

王知无-import_bigdata

2021-03-14

9760

数据湖解决方案关键一环，IceBerg会不会脱颖而出？

flink apache 数据湖大数据存储

小编在之前的详细讲解过关于数据湖的发展历程和现状，《我看好数据湖的未来，但不看好数据湖的现在》，在最后一部分中提到了当前数据湖的解决方案中，目前跳的最凶的三巨头包括：Delta、Apache Iceberg 和 Apache Hudi。

王知无-import_bigdata

2021-02-05

1.7K0

Apache老母鸡又下蛋？一文俯瞰Apache Superset

apache flask postgresql 数据库 sql

想必大家已经听说了，1 月 21 日，开源的可视化工具 Apache Superset 宣布毕业并成为 Apache 软件基金会（ASF）的顶级项目（Top-Level Project）。

王知无-import_bigdata

2021-02-05

1.7K0

一站式大数据解决方案分析与设计实践 | BI无缝整合Apache Kylin

hadoop 大数据 apache spring flink

本文已收录于Github仓库：《大数据成神之路》地址：https://github.com/wangzhiwubigdata/God-Of-BigData

王知无-import_bigdata

2021-02-05

8360

后起之秀Pulsar VS. 传统强者Kafka？谁更强

kafka apache https 网络安全存储

最近，我一直在研究 Pulsar 及其与 Kafka 的比较。通过快速搜索，你会看到这两个最著名的开源消息传递系统之间正在进行的"战争"。

王知无-import_bigdata

2021-02-05

1.6K0

英雄惜英雄-当Spark遇上Zeppelin之实战案例

大数据 apache sql spark 容器镜像服务

我们在之前的文章《大数据可视化从未如此简单 - Apache Zepplien全面介绍》中提到过一文中介绍了 Zeppelin 的主要功能和特点，并且最后还用一个案例介绍了这个框架的使用。这节课我们用两个直观的小案例来介绍 Zepplin 和 Spark 如何配合使用。

王知无-import_bigdata

2021-01-06

9930

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态