腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
返回腾讯云官网
大数据之路
日常工作关于spark、flink等大数据组件的总结和实践。
专栏成员
举报
16
文章
14280
阅读量
13
订阅数
订阅专栏
申请加入专栏
全部文章（16）
大数据（8）
spark（7）
kafka（5）
hadoop（4）
腾讯技术创作特训营S7（4）
scala（3）
redis（2）
spark-streaming（2）
机器学习（1）
java（1）
android（1）
云数据库 Redis®（1）
打包（1）
容器镜像服务（1）
腾讯云测试服务（1）
容器服务（1）
yarn（1）
容器（1）
编程算法（1）
缓存（1）
运维（1）
爬虫（1）
hive（1）
推荐系统（1）
数据分析（1）
flink（1）
hdfs（1）
redis-cluster（1）
推荐算法（1）
2024腾讯·技术创作特训营 第五期（1）
热点技术征文第8期最强语言（1）
腾讯技术创作特训营S9（1）
搜索文章
搜索
搜索
关闭
二十行代码！我用Spark实现了电影推荐算法
机器学习
spark
推荐系统
推荐算法
腾讯技术创作特训营S9
很久之前，就有人问我如何做一个基于大数据技术的xx推荐系统。当时对于这个问题，着实难倒我了，因为当时只是知道一个协同过滤，其他的也没有过于深度研究。
叫我阿柒啊
2024-10-09
608
0
3000字 | 一文讲透redis在大数据开发中的应用场景
大数据
redis
redis-cluster
最近写了一篇关于redis的不同架构的文章：Redis：告诉我怎么顶住2000万QPS的压力，主要讲的是在日常开发中，通过哪些优化手段，来提升与redis的交互效率。
叫我阿柒啊
2024-07-12
975
1
Redis：告诉我怎么顶住2000万QPS的压力
大数据
redis
腾讯技术创作特训营S7
在多年的SparkStreaming的大数据流处理开发中，除了Kafka，Redis是用的最多的组件。目前生产有多个redis集群，最大的32节点的codis集群的key已经达到40亿个，峰值2000万的QPS。
叫我阿柒啊
2024-06-28
705
4
大数据开发语言scala：源于Java，隐式转换秒杀Java
spark
大数据
flink
热点技术征文第8期最强语言
scala
在多年的学习路上，也掌握了几门比较常见的语言，例如Java、Python以及前端Vue生态中包含的语言。很多时候，各种语言相似功能的框架都会被放在一起比较，来评判语言本身的优劣。
叫我阿柒啊
2024-06-21
244
0
一条指令，解决外网无法访问云服务器Kafka容器问题
容器服务
spark
kafka
腾讯技术创作特训营S7
在上一篇告别Zookeeper，两条命令容器化搭建Kafka跟着官方文档使用docker，在云服务器上搭建了一个单节点的Kafka集群，在云服务器上连接成功，当我在笔记本上使用Spark尝试连接的时候，无法消费到数据。
叫我阿柒啊
2024-06-17
684
1
Spark：从0实现30s内实时监控指标计算
kafka
spark-streaming
腾讯技术创作特训营S7
大数据
说起Spark，大家就会自然而然地想到Flink，而且会不自觉地将这两种主流的大数据实时处理技术进行比较。然后最终得出结论：Flink实时性大于Spark。
叫我阿柒啊
2024-06-13
394
0
告别Zookeeper，两条命令容器化搭建Kafka
腾讯技术创作特训营S7
大数据
kafka
在大数据的实时数据处理中，不论是使用Spark、还是Flink，都需要与其他组件进行数据交互才有意义。在整个数据流处理中，交互组件的性能决定了数据处理的效率，例如在与缓存中间件Redis的交互，QPS过高就会导致响应过慢，进而表现为程序整体数据处理延时。
叫我阿柒啊
2024-06-12
2.1K
0
2000字，探讨SparkStreaming窗口计算window的起源
大数据
spark-streaming
在大数据流数据实时开发中，常用的技术就是SparkStreaming和Flink。在初学实时处理技术时，总是围绕着处理数据的实时性，来对不同技术做一个比较。
叫我阿柒啊
2024-02-29
549
3
我攻克的技术难题 - 如何快速搭建Hadoop3集群
hdfs
2024腾讯·技术创作特训营 第五期
yarn
hadoop
距离唯一一次搭建Hadoop集群，已是六年有余。那时候大数据的学习资料还是我从某宝25买来的，如今大数据已遍地开花。最近想写一些关于大数据的东西，例如Spark、flink等，想放在Yarn上跑，所以就从Hadoop的搭建开始写起。
叫我阿柒啊
2024-01-18
573
1
大数据平台01：Ambari2.7.5的编译和安装
打包
hadoop
容器镜像服务
容器
大数据
终于，要开始写点大数据相关的文章了。当真的要开始写老本行的时候，还是考虑了挺久的。一是不知道从何处写起，二是如何能写点有意思的。
叫我阿柒啊
2022-05-09
1K
0
大数据方向毕业设计，选题和实现思路
kafka
spark
数据分析
爬虫
scala
最近有很多人问我，大数据专业有什么好的毕设项目，我就简单的回复了一下。也有直接问我要源码的....
叫我阿柒啊
2022-05-09
2.7K
0
全网首发！SparkStreaming的mapWithState，timeout过期时间如何生效
spark
腾讯云测试服务
当我在测试SparkStreaming的状态操作mapWithState算子时，当我们设置timeout(3s)的时候，3s过后数据还是不会过期，不对此key进行操作，等到30s左右才会清除过期的数据。
叫我阿柒啊
2022-05-09
563
0
我的程序员之路03：我和大数据
hadoop
运维
java
hive
kafka
又是一年乍暖还寒，春天的风迎面而来，凉意中夹杂着些许温暖。哦，你知道，是春天来了。就像那年的实习期，在挥手告别的毕业季，定格在了那年的七月。
叫我阿柒啊
2022-05-09
292
0
JedisCluster没有Pipeline？那就写一篇最详细使用教程吧
android
云数据库 Redis®
缓存
编程算法
2020年4月30日，Redis 6.0.0正式发布，标志着redis从此告别单线程。在此之前，在大数据生产环境中使用的是一个30个节点的Codis集群，SparkStreaming以此作为缓存，QPS高峰大概在2000w/s。
叫我阿柒啊
2022-05-09
1.5K
1
我的程序员之路03：我和大数据
大数据
hadoop
spark
scala
又是一年乍暖还寒，春天的风迎面而来，凉意中夹杂着些许温暖。哦，你知道，是春天来了。就像那年的实习期，在挥手告别的毕业季，定格在了那年的七月。
叫我阿柒啊
2021-05-20
389
0
SparkStreaming使用mapWithState时，设置timeout()无法生效问题解决方案
spark
当我在测试SparkStreaming的状态操作mapWithState算子时，当我们设置timeout(3s)的时候，3s过后数据还是不会过期，不对此key进行操作，等到30s左右才会清除过期的数据。
叫我阿柒啊
2021-04-13
857
0
没有更多了
社区活动
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
