Spark学习技巧-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Spark学习技巧

本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。

专栏成员

810

文章

1301890

阅读量

248

订阅数

Java几种常用 JSON 库性能比较，哪家最强？

java json api gson jackson

链接：https://xncoding.com/2018/01/09/java/jsons.html

Spark学习技巧

2023-03-21

7370

Java批量更新太慢？多线程+List分段完美解决！

java list 多线程集合线程池

相信不少开发者在遇到项目对数据进行批量操作的时候，都会有不少的烦恼，尤其是针对数据量极大的情况下，效率问题就直接提上了菜板。

Spark学习技巧

2023-03-21

1.5K0

如何正确的创建和销毁 Java 对象？

java final initialization static 单例模式

Java由Sun Microsystems发明并在1995年发布，是世界上使用最广泛的编程语言之一。Java是一个通用编程语言。由于它拥有功能强大的库、运行时、简单的语法、平台无关（Write Once, Run Anywhere - WORA）以及令人敬畏的社区从而吸引了很多的开发者。

Spark学习技巧

2023-03-21

2.3K0

几种常见的 Kafka 集群监控工具

kafka 实时监控 node.js zookeeper java

一个功能健全的kafka集群可以处理相当大的数据量，由于消息系统是很多大型应用的基石，因此broker集群在性能上的缺陷，都会引起整个应用栈的各种问题。

Spark学习技巧

2022-06-09

1.9K0

Spark DataSource API v2 版本对比 v1有哪些改进？

api java python spark scala

1. 由于其输入参数包括 DataFrame / SQLContext，因此 DataSource API 兼容性取决于这些上层的 API。

Spark学习技巧

2022-04-18

8750

为什么数据库连接池不采用IO多路复用？

自动驾驶网站容器 jdbc java

这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用 DB 时，还是经常性采用c3p0，tomcat connection pool等技术来与 DB 连接，哪怕整个程序已经变成以Netty为核心。这到底是为什么？

Spark学习技巧

2022-03-14

6730

一个33岁老程序员的感悟

java c#linux bug 创业

一、在中国你千万不要以为学习技术就可以换来稳定的生活和高的薪水待遇，你更不要认为那些从事市场开发，跑腿的人，没有前途。

Spark学习技巧

2022-03-14

2520

Java 性能优化：35 个小细节，提升你的 Java 代码运行效率

java c++编程算法

代码优化，一个很重要的课题。可能有些人觉得没用，一些细小的地方有什么好修改的，改与不改对于代码的运行效率有什么影响呢？这个问题我是这么考虑的，就像大海里面的鲸鱼一样，它吃一条小虾米有用吗？没用，但是，吃的小虾米一多之后，鲸鱼就被喂饱了。

Spark学习技巧

2022-03-14

3660

Kafka 3.0重磅发布，弃用 Java 8 的支持！

kafka tcp/ip api apache java

Kafka 具有四个核心 API，借助这些 API，Kafka 可以用于以下两大类应用：

Spark学习技巧

2022-01-13

2.2K0

为什么以及如何升级至 Java 16 或 17

jdk java maven api 容器镜像服务

在 2021 年 4 月 27 日的 InfoQ 直播中，我探讨了为什么应该考虑升级到 Java 16 或 Java 17（一旦发布），并就如何完成升级提供了一些实用的建议。

Spark学习技巧

2022-01-13

1.3K0

Java 如何实现动态脚本？

jvm 打包 groovy apache java

阿里妹导读：在平台级的 Java 系统中，动态脚本技术是不可或缺的一环。本文分享了一种 Java 动态脚本实现方案，给出了其中的关键技术点，并就类重名问题、生命周期、安全问题等做出进一步讨论，欢迎同学们共同交流。

Spark学习技巧

2021-03-05

1.9K0

安利一款 IDEA 中强大的代码生成利器

java ide 日志服务编程算法

链接 | blog.xiaohansong.com/idea-live-templates.html

Spark学习技巧

2021-03-05

3200

并发减库存，怎么保证不超卖？

数据分析 java spring 云数据库 Redis 分布式

秒杀的场景有很多，比如：抢购、抢票、抢红包等等。总之，就是在极短时间内有大量的请求。

Spark学习技巧

2021-03-05

3.4K0

一篇文章，读懂Netty的高性能架构之道

java 自动驾驶文件存储编程算法 SSL 证书

Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，作为一个异步NIO框架，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

Spark学习技巧

2021-03-05

7990

我们常用的 Integer 内部为什么会去实现 Comparable 接口？

编程算法 java

来源 blog.csdn.net/ysj4428/article/details/81195846

Spark学习技巧

2021-03-05

5320

面试｜spark刷爆磁盘与java弱引用的关系

java 编程算法

变量num值直接从6修改为了8；变量str只是修改了其保存的地址，从0x88修改为0x86，对象 “浪尖聊大数据 ”本身还在内存中，并没有被修改。只是内存中新增了对象 “浪尖是帅哥”。

Spark学习技巧

2021-03-05

3540

什么情况用ArrayList or LinkedList呢?

java 编程算法

ArrayList 和 LinkedList 是 Java 集合框架中用来存储对象引用列表的两个类。ArrayList 和 LinkedList 都实现 List 接口。先对List做一个简单的了解：

Spark学习技巧

2020-10-10

3780

利用 Kafka 设置可靠的高性能分布式消息传递基础架构

kafka 数据分析 java 分布式 apache

世界已经迈进“移动”时代，现在应用程序必须能够实时提供数据，这不仅包括数据库表中存储的重要最终结果，还包括用户使用应用程序时执行的所有操作。任何可用信息，例如，用户点击量、日志数据或传感器数据都可用于改善用户体验、生成报告、向机器学习系统提供数据，等等。现如今，开发者必须关注基于实时事件流的系统。

Spark学习技巧

2020-09-16

1K0

Flink的处理背压原理及问题-面试必备

flink 大数据数据处理编程算法 java

反压机制（BackPressure）被广泛应用到实时流处理系统中，流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。反压机制就是指系统能够自己检测到被阻塞的Operator，然后系统自适应地降低源头或者上游的发送速率。目前主流的流处理系统 Apache Storm、JStorm、Spark Streaming、S4、Apache Flink、Twitter Heron都采用反压机制解决这个问题，不过他们的实现各自不同。

Spark学习技巧

2020-09-08

5K0

高并发场景下锁的使用技巧

数据库 sql 分布式压力测试 java

如何确保一个方法，或者一块代码在高并发情况下，同一时间只能被一个线程执行，单体应用可以使用并发处理相关的 API 进行控制，但单体应用架构演变为分布式微服务架构后，跨进程的实例部署，显然就没办法通过应用层锁的机制来控制并发了。

Spark学习技巧

2020-09-08

6860

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态