Spark学习技巧

本公众号主要分享Spark使用及源码,spark 机器学习,图计算,同时会涉及到hadoop家族。

258 篇文章
68 人订阅

全部文章

Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

浪尖,请问如何确定hive分桶数?

顺便打个广告,更多优质文章和问题答疑及视频教程请点击原文链接,加入浪尖知识星球-Spark技术学院获取。

1145
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

Hive性能优化(全面)

面对这些问题,我们能有哪些有效的优化手段呢?下面列出一些在工作有效可行的优化手段:

1033
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

Java中定义常量(Constant) 的几种方法

为了方便大家交流Spark大数据,浪尖建了微信群,目前人数过多,只能通过浪尖或者在群里的朋友拉入群。纯技术交流,偶有吹水,但是打广告,不提醒,直接踢出。有兴趣加...

783
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

Spark的PIDController源码赏析及backpressure详解

浪尖一直觉得spark 的源码值得我们细细品读,帮助解决我们生产中的问题,可以学习大牛的编程思路,学习spark架构设计,学习scala及java编程,到处都是...

583
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

唠唠Zookeeper的观察者

虽然通过让客户端直接连接到集群的投票成员,ZooKeeper也表现得非常好,但是这种架构使得很难扩展到有大量的客户端情况。问题是,随着我们添加更多投票成员,写入...

612
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

案例说明flink的udf

用户自定义函数是非常重要的一个特征,因为他极大地扩展了查询的表达能力。本文除了介绍这三种udf之外,最后会介绍一个redis作为交互数据源的udf案例。

952
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

JAVA中序列化和反序列化中的静态成员问题

关于这个标题的内容是面试笔试中比较常见的考题,大家跟随我的博客一起来学习下这个过程。

712
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

程序员到底如何成为编程高手或以此创业?

每个IT企业,尤其是初创企业,非常苦恼:找不到好的程序员。现在大学、软件学院及各种培训机构,每年培养几十万的程序员,毕业的每个人都有同样困恼:找不到好的工作。问...

755
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

从架构理解价值-我的软件世界观

在浩大的软件世界里,作为一名普通程序员,显得十分渺小,甚至会感到迷茫。我们内心崇拜技术,却也对日新月异的技术抱有深深的恐惧。技术市场就像这喜怒不定的老天爷,今天...

452
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

关于Spark Streaming感知kafka动态分区的问题

本文主要是讲解Spark Streaming与kafka结合的新增分区检测的问题。读本文前关于kafka与Spark Streaming结合问题请参考下面两篇文...

674
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

为什么分布式一定要有Redis?

考虑到绝大部分写业务的程序员,在实际开发中使用 Redis 的时候,只会 Set Value 和 Get Value 两个操作,对 Redis 整体缺乏一个认知...

332
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

flink和spark Streaming中的Back Pressure

在讲flink的back pressure之前,我们先讲讲Spark Streaming的back pressure。Spark Streaming的back ...

452
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

@程序员,技术债你还清了吗?

这些话把每个开发人员的耳朵,都磨出茧自来了。更不像话的是,每个开发人员也整日把这些话挂在嘴边。

542
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

Flink与Spark Streaming在与kafka结合的区别!

本文主要是想聊聊flink与kafka结合。当然,单纯的介绍flink与kafka的结合呢,比较单调,也没有可对比性,所以的准备顺便帮大家简单回顾一下Spark...

492
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

一个人是否靠谱,闭环很重要(有深度)

而文章认为,一个人靠不靠谱,其实就看这三点:“凡事有交代,件件有着落,事事有回音。”

803
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

Spark 下操作 HBase(1.0.0 新 API)

hbase1.0.0版本提供了一些让人激动的功能,并且,在不牺牲稳定性的前提下,引入了新的API。虽然 1.0.0 兼容旧版本的 API,不过还是应该尽早地来熟...

682
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

SparkSQL的两种UDAF的讲解

Spark的dataframe提供了通用的聚合方法,比如count(),countDistinct(),avg(),max(),min()等等。然而这些函数是针...

732
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

Java面试中常问的数据库方面问题

B+树是一个平衡的多叉树,从根节点到每个叶子节点的高度差值不超过1,而且同层级的节点间有指针相互链接,是有序的

792
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

记一次使用Spark算子之用top()求Top N遇到的问题!

583
Spark学习技巧

环数科技有限公司 · 大数据 (已认证)

Java泛型详解——绝对是对泛型方法讲解最详细的,没有之一!

ArrayList可以存放任意类型,例子中添加了一个String类型,添加了一个Integer类型,再使用时都以String的方式使用,因此程序崩溃了。为了解决...

792

扫描关注云+社区