腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

编程技术沉思录

专注后端、大数据、前端、容器开发内容分享。

专栏作者

130

文章

267075

阅读量

25

订阅数

Spark实现电商消费者画像案例

spark 画像分析 scala

可怜的打工人准备下班时，突然收到领导发来的一份电商消费者样本数据，数据内容是这样的——

2024-01-17

1560

kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境

mac os kafka 源码

最近在阅读Kafka的源码，想可以在阅读过程当中，在代码写一些注释，便决定将源码部署到本地运行。

2024-01-07

2020

Kafka异常Offset commit cannot be completed since the consumer is not part of an...

在一次测试Kafka通过consumer.subscribe()指定偏移量Offset消费过程中，因为设置参数不当，出现了一个异常提示——

2024-01-04

1.2K0

Docker部署系列之Docker Compose安装Redis三主三从集群

docker-compose 容器镜像服务容器服务

在日常开发或者编程当中，经常需要用到redis集群，若是按照传统的方式，一个机器一个机器搭建，难免过于繁琐，故而可以通过dock er-compose编排方式，快速搭建。我在搭建过程当中，将操作记录下来，方便以后需要搭建三主三从节点时，可以基于以前的成功经验，快速搭建起来。

2023-12-29

7650

作为程序员，我建议你学会写作

如果你留意观察，便会发现，随着互联网的发展，现在已经变成一个全民写作的时代。写作不再是文学爱好者的权利，也不再是知识分子的专属，你只需一台可以联网的手机或者电脑，再有一点文字组织能力，就可以在网上发表属于你的文章。

2023-12-28

960

Spring集成Activiti Modeler在线设计器页面出现问号及乱码的解决办法

java spring activiti 工作流

工作流是一个针对企业用户、开发人员、系统管理员的轻量级工作流业务管理平台，其核心是使用Java开发的快速、稳定的BPMN2.0流程引擎。在我们日常开发当中，例如oa系统里的请假功能，采购流程，以及订单流程，等等，都会涉及到流程的开发，这里面可以用工作流来进行开发，可以起到快速开发且稳定的效果，笔者最近都在研究工作流，也对这个东西有很大的兴趣。

2023-12-28

1450

基于源码去理解Iterator迭代器的Fail-Fast与Fail-Safe机制

源码源码学习源码阅读 java

在Java编程当中，Iterator迭代器是一种用于遍历如List、Set、Map等集合的工具。这类集合部分存在线程安全的问题，例如ArrayList，若在多线程环境下，迭代遍历过程中存在其他线程对这类集合进行修改的话，就可能导致不一致或者修改异常问题，因此，针对这种情况，迭代器提供了两种处理策略：Fail-Fast（快速失败）和Fail-Safe（安全失败）。

2023-12-28

2450

ChatGPT结合Xmind生成思维导图

除了ChatGPT结合MINDSHOW自动生成PPT外，是否可以在一些场景下，借助ChatGPT快速生成思维导图呢？

2023-12-25

2380

[2023年度回顾总结]凡是过往,皆为序章

第三期热点征文-年度回顾

那晚我们坐在山顶的草地上，拍下了这张照片——仿佛在秋天的枝头上，结出一颗红透的夕阳。

2023-12-25

5500

Spark大数据集群日常开发过程遇到的异常及解决思路汇总

2023腾讯·技术创作特训营第三期

我曾经在Spark大数据开发过程当中，遇到过不少问题，这些问题及解决思路都有记录下来。有道是好记性不如烂笔头，当这些错误和解决思路被记录下来后，下次再遇到时，就能根据以前的坑很快做出回应，当然，若是他人也遇到相应的问题，同样可以提供帮助。

2023-11-13

5470

ThreadLocal应用场景及源码分析

2023腾讯·技术创作特训营第三期

在登录模块里，当用户完成一次登录会话后，往往需要将其登录成功的信息进行缓存。不同的登录会话，属于不同的会话线程，彼此需要互不影响。这就意味着，登录成功的信息，只属于该次会话线程的本地变量，这时，就可以基于ThreadLocal缓存属于该会话线程的用户信息，类似线程的私有本地变量。

2023-11-12

2030

Java SPI机制总结系列之万字详细图解Java SPI机制源码分析

2023腾讯·技术创作特训营第三期

我在《Java SPI机制总结系列之开发入门实例》一文当中，分享了Java SPI的玩法，但是这只是基于表面的应用。若要明白其中的原理实现，还需深入到底层源码，分析一番。

2023-11-11

4580

Java SPI机制总结系列之开发入门实例

2023腾讯·技术创作特训营第三期

SPI，是Service Provider Interface的缩写，即服务提供者接口，单从字面上看比较抽象，你可以理解成，该机制就像Spring容器一样，通过IOC将对象的创建交给了Spring容器处理，若需要获取某个类的对象，就从Spring容器里取出使用即可。同理，在SPI机制当中，提供了一个类似Spring容器的角色，叫【服务提供者】，在代码运行过程中，若要使用到实现了某个接口的服务实现类对象，只需要将对应的接口类型交给服务提供者。服务提供者将会动态加载实现了该接口的所有服务实现类对象。

2023-11-10

2560

基于Spark对消费者行为数据进行数据分析开发案例

2023腾讯·技术创作特训营第三期

在日常工作当中，经常遇到基于Spark去读取存储在HDFS中的批量文件数据进行统计分析的案例，这些文件一般以csv或者txt文件格式存在。例如，存在这样一份消费者行为数据，字段包括消费者姓名,年龄,性别,月薪,消费偏好,消费领域,购物平台,支付方式,单次购买商品数量,优惠券获取情况,购物动机。

2023-11-09

3920

SpringCloudAlibaba Seata在Openfeign跨节点环境出现全局事务Xid失效原因底层探究

分布式事务 dtf spring boot

曾经在SpringCloudAlibaba的Seata分布式事务搭建过程中，跨节点通过openfeign调用不同服务时，发现全局事务XID在当前节点也就是TM处，是正常能通过RootContext.getXID()获取到分布式全局事务XID的，但在下游节点就出现获取为NULL的情况，导致全局事务失效，出现异常时无法正常回滚。

2023-10-20

3330

图解Spark排序算子sortBy的核心源码

2023腾讯·技术创作特训营第二期

以前刚开始学习Spark的时候，在练习排序算子sortBy的时候，曾发现一个有趣的现象是，在使用排序算子sortBy后直接打印的话，发现打印的结果是乱序的，并没有出现完整排序。

2023-09-18

3611

图解Spark Graphx基于connectedComponents函数实现连通图底层原理

对象函数数据原理 spark

按照官网的介绍，NebulaGraph Algorithm是一款基于GraphX 的 Spark 应用程序，通过提交 Spark 任务的形式，使用完整的算法工具对 NebulaGraph 数据库中的数据执行图计算。

2023-09-04

2320

图解Spark Graphx实现顶点关联邻接顶点的collectNeighbors函数原理

spark 大数据图计算服务

在一张社区网络里，可能需要查询出各个顶点邻接关联的顶点集合，类似查询某个人关系比较近的都有哪些人的场景。

2023-09-01

5731

Spark RDD惰性计算的自主优化

RDD（弹性分布式数据集）中的数据就如final定义一般，只可读而无法修改，若要对RDD进行转换或操作，那就需要创建一个新的RDD来保存结果。故而就需要用到转换和行动的算子。

2023-08-22

3650

Vue + Element ui 实现动态表单，包括新增行/删除行/动态表单验证/提交功能

element ui 表单表单验证表格

最近通过Vue + Element ui实现了动态表单功能，该功能还包括了动态表单新增行、删除行、动态表单验证、动态表单提交功能，趁热打铁，将开发心得记录下来，方便以后再遇到类似功能时，直接拿来应用。

2023-07-21

1.8K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态