大数据之路-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据之路

日常工作关于spark、flink等大数据组件的总结和实践。

专栏成员

14

文章

7993

阅读量

13

订阅数

Redis：告诉我怎么顶住2000万QPS的压力

大数据 redis 腾讯技术创作特训营S7

在多年的SparkStreaming的大数据流处理开发中，除了Kafka，Redis是用的最多的组件。目前生产有多个redis集群，最大的32节点的集群的key已经达到40亿个，峰值2000万的QPS。

叫我阿柒啊

2024-06-28

901

大数据开发语言scala：源于Java，隐式转换秒杀Java

spark 大数据 flink 热点技术征文第8期最强语言 scala

在多年的学习路上，也掌握了几门比较常见的语言，例如Java、Python以及前端Vue生态中包含的语言。很多时候，各种语言相似功能的框架都会被放在一起比较，来评判语言本身的优劣。

叫我阿柒啊

2024-06-21

1330

一条指令，解决外网无法访问云服务器Kafka容器问题

容器服务 spark kafka 腾讯技术创作特训营S7

在上一篇告别Zookeeper，两条命令容器化搭建Kafka跟着官方文档使用docker，在云服务器上搭建了一个单节点的Kafka集群，在云服务器上连接成功，当我在笔记本上使用Spark尝试连接的时候，无法消费到数据。

叫我阿柒啊

2024-06-17

2120

Spark：从0实现30s内实时监控指标计算

kafka spark-streaming 腾讯技术创作特训营S7 大数据

说起Spark，大家就会自然而然地想到Flink，而且会不自觉地将这两种主流的大数据实时处理技术进行比较。然后最终得出结论：Flink实时性大于Spark。

叫我阿柒啊

2024-06-13

2200

告别Zookeeper，两条命令容器化搭建Kafka

腾讯技术创作特训营S7 大数据 kafka

在大数据的实时数据处理中，不论是使用Spark、还是Flink，都需要与其他组件进行数据交互才有意义。在整个数据流处理中，交互组件的性能决定了数据处理的效率，例如在与缓存中间件Redis的交互，QPS过高就会导致响应过慢，进而表现为程序整体数据处理延时。

叫我阿柒啊

2024-06-12

2860

2000字，探讨SparkStreaming窗口计算window的起源

大数据 spark-streaming

在大数据流数据实时开发中，常用的技术就是SparkStreaming和Flink。在初学实时处理技术时，总是围绕着处理数据的实时性，来对不同技术做一个比较。

叫我阿柒啊

2024-02-29

2953

我攻克的技术难题 - 如何快速搭建Hadoop3集群

hdfs 2024腾讯·技术创作特训营第五期 yarn hadoop

距离唯一一次搭建Hadoop集群，已是六年有余。那时候大数据的学习资料还是我从某宝25买来的，如今大数据已遍地开花。最近想写一些关于大数据的东西，例如Spark、flink等，想放在Yarn上跑，所以就从Hadoop的搭建开始写起。

叫我阿柒啊

2024-01-18

3811

大数据平台01：Ambari2.7.5的编译和安装

打包 hadoop 容器镜像服务容器大数据

终于，要开始写点大数据相关的文章了。当真的要开始写老本行的时候，还是考虑了挺久的。一是不知道从何处写起，二是如何能写点有意思的。

叫我阿柒啊

2022-05-09

8540

大数据方向毕业设计，选题和实现思路

kafka spark 数据分析爬虫 scala

最近有很多人问我，大数据专业有什么好的毕设项目，我就简单的回复了一下。也有直接问我要源码的....

叫我阿柒啊

2022-05-09

2.4K0

全网首发！SparkStreaming的mapWithState，timeout过期时间如何生效

spark 腾讯云测试服务

当我在测试SparkStreaming的状态操作mapWithState算子时，当我们设置timeout(3s)的时候，3s过后数据还是不会过期，不对此key进行操作，等到30s左右才会清除过期的数据。

叫我阿柒啊

2022-05-09

5270

我的程序员之路03：我和大数据

hadoop 运维 java hive kafka

又是一年乍暖还寒，春天的风迎面而来，凉意中夹杂着些许温暖。哦，你知道，是春天来了。就像那年的实习期，在挥手告别的毕业季，定格在了那年的七月。

叫我阿柒啊

2022-05-09

2570

JedisCluster没有Pipeline？那就写一篇最详细使用教程吧

android 云数据库 Redis 缓存编程算法

2020年4月30日，Redis 6.0.0正式发布，标志着redis从此告别单线程。在此之前，在大数据生产环境中使用的是一个30个节点的Codis集群，SparkStreaming以此作为缓存，QPS高峰大概在2000w/s。

叫我阿柒啊

2022-05-09

1.1K1

我的程序员之路03：我和大数据

大数据 hadoop spark scala

又是一年乍暖还寒，春天的风迎面而来，凉意中夹杂着些许温暖。哦，你知道，是春天来了。就像那年的实习期，在挥手告别的毕业季，定格在了那年的七月。

叫我阿柒啊

2021-05-20

3570

SparkStreaming使用mapWithState时，设置timeout()无法生效问题解决方案

当我在测试SparkStreaming的状态操作mapWithState算子时，当我们设置timeout(3s)的时候，3s过后数据还是不会过期，不对此key进行操作，等到30s左右才会清除过期的数据。

叫我阿柒啊

2021-04-13

8400

没有更多了

社区活动

AI代码助手快速上手训练营

鹅厂大牛带你玩转AI智能结对编程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态