腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据技术架构

纯大数据技术分享，HBase/Kafka/Flink等技术栈，原理与实践，源码分析等。欢迎订阅公众号：大数据技术架构

专栏作者

149

文章

320916

阅读量

95

订阅数

DevOps 已死？不重要！平台工程才是未来

devops https 网络安全

最近， Scott Carey 发表了一篇调查文章，喊出了一些开发者的心声：“扯淡的 DevOps，我们开发者根本不想做运维！”除此之外，软件工程师兼 DevOps 评论员 Sid Palas 也在推特上写道，“DevOps 已死，平台工程才是未来。”

大数据技术架构

2022-12-01

5130

数据湖实践 | Iceberg 在网易云音乐的实践

日志数据 spark html hive https

本文将从另一个角度为大家介绍 iceberg（结合之前推送的Iceberg快速入门，可以更深入的理解），然后分享 iceberg 在网易云音乐的一些实践，希望对大家能有所帮助。

大数据技术架构

2021-07-05

1.2K0

Flink + Iceberg 如何解决数据入湖面临的挑战

https 网络安全

本文来自4月17日 Apache Flink x Iceberg Meetup 上海站胡争老师的分享，文末有视频回顾和PPT资源下载~

大数据技术架构

2021-04-29

6240

不再需要ZooKeeper，Kafka 2.8将独立运行！

kafka apache zookeeper https 网络安全

分布式发布与订阅系统Apache Kafka在即将发布的2.8版本，使用Kafka内部的Quorum控制器来取代ZooKeeper，因此用户第一次可在完全不需要ZooKeeper的情况下执行Kafka，这不只节省运算资源，并且也使得Kafka效能更好，还可支持规模更大的集群。

大数据技术架构

2021-04-13

5720

初识ClickHouse：来自战斗民族的OLAP利器

https 网络安全数据库性能测试

ClickHouse是一个用于数据分析（OLAP）的列式数据库管理系统（column-oriented DBMS），诞生于“战斗民族”俄罗斯，由搜索巨头Yandex公司开源。目前国内不少大厂在使用，包括腾讯、今日头条、携程、快手等，集群规模多达数千节点，阿里云更是推出了云产品ClickHouse。官方介绍：

大数据技术架构

2020-06-04

2.1K0

再来聊一聊 Parquet 列式存储格式

hive 存储 https 网络安全文件存储

Parquet 是 Hadoop 生态圈中主流的列式存储格式，最早是由 Twitter 和 Cloudera 合作开发，2015 年 5 月从 Apache 孵化器里毕业成为 Apache 顶级项目。

大数据技术架构

2020-05-21

10.5K0

一文彻底搞懂 CMS GC 参数配置

企业 jvm https 网络安全 jdk

近期整理多个 HBase 集群的 JVM 参数，发现都是默认的 CMS GC 配置，如何调优 JVM 参数就成了一个绕不过的话题。因此，为了寻求一个 CMS GC 的 JVM 合理参数配置，笔者参考多篇社区文章及相关博客，总结了一些 CMS 相关的知识点，以及一套基于 CMS 的 JVM 参数配置。

大数据技术架构

2019-11-28

3.9K0

Flink State 可以代替数据库吗？

大数据 api 存储数据库 https

有状态的计算作为容错以及数据一致性的保证，是当今实时计算必不可少的特性之一，流行的实时计算引擎包括 Google Dataflow、Flink、Spark (Structure) Streaming、Kafka Streams 都分别提供对内置 State 的支持。State 的引入使得实时应用可以不依赖外部数据库来存储元数据及中间数据，部分情况下甚至可以直接用 State 存储结果数据，这让业界不禁思考: State 和 Database 是何种关系？有没有可能用 State 来代替数据库呢？

大数据技术架构

2019-11-28

2.1K0

HBase的SQL中间层——Phoenix（附大数据入门指南）

hbase TDSQL MySQL 版 sql http https

大数据依然是当前较为火热的领域，其背后的核心价值是数据。今天分享一个GitHub上一个系类文章，作者是heibaiying，大数据入门指南（2019）地址：https://github.com/heibaiying/BigData-Notes（本文末点击阅读原文进入），内容涉及下图的相关技术。

大数据技术架构

2019-09-10

1.3K0

Kafka 的 20 项最佳优化实践

kafka 编程算法 https 网络安全

本文整理于网络翻译，英文原文：https://blog.newrelic.com/engineering/kafka-best-practices/

大数据技术架构

2019-08-16

1.8K0

Spark Shuffle的技术演进

spark bash bash 指令 mapreduce https

本文原文 http://www.leonlu.cc/profession/19-spark-shuffle ，作者 LeonLu

大数据技术架构

2019-08-16

9250

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态