#Scala

多范式的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性

Flink KeyBy分布不均匀问题及解决方法

perayb

当Key数量较少时,Flink流执行KeyBy(),并且设置的并行度setParallelism()不唯一时,会出现分到不同task上的key数量不均匀的情况,...

91862

oracle 12C上Error 16063的解药

杨漆

TT02: Standby redo logfile selected for thread 1 sequence 289676 for destination...

15630

我的程序员之路03:我和大数据

叫我阿柒啊

大数据开发主要面向于实时计算。主要使用Java、Scala完成Flink、Spark的应用开发。相对于大数据分析来说,工作范围比较广,技术要求比较高,同时工作形...

12020

【赵强老师】Kafka的消息持久化

赵强老师

京东大学 · 大数据学院院长 (已认证)

Kakfa依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢,基于文件系统的架构能否提供优异的性能?实际上硬盘的快慢完全取决于使用方式。同时 Kaf...

14030

Spark中普通集合与RDD算子的sortBy()有什么区别

孙晨c

==结论==:普通集合的sortBy就没有**false**参数,也就是说只能默认的升序排。如果需要对普通集合中的元素需要升序排怎么办?

14920

Kafka消息存储原理

worker

Kafka作为一个高性能的消息队列中间件,有着高效的消息存储方式。我们知道在Kafka中,消息是以topic的形式进行逻辑上的隔离,一个topic又可以分为多个...

21450

大数据入门:Java和Scala编程对比

成都加米谷大数据

在学习大数据之初,很多人都会对编程语言的学习有疑问,比如说大数据编程主要用什么语言,在实际运用当中,大数据主流编程是Java,但是涉及到Spark、Kafka框...

1.3K30

大数据入门:Scala大数据黄金语言

成都加米谷大数据

在大数据的学习当中,关于编程语言选择的部分,是很多人在学习初期非常关注的。在企业大数据平台开发场景下,Java语言是主流选择,其次涉及到Spark部分,就不得不...

17920

机器学习:如何快速从Python栈过渡到Scala栈

HoLoong

我之前的技术栈主要是Java、Python,机器学习方面主要用到是pandas、numpy、sklearn、scipy、matplotlib等等,因为工作需要使...

32130

【赵强老师】Flink的DataSet算子

赵强老师

京东大学 · 大数据学院院长 (已认证)

Flink为了能够处理有边界的数据集和无边界的数据集,提供了对应的DataSet API和DataStream API。我们可以开发对应的Java程序或者Sca...

213170

Scala对于大数据开发重要吗?Scala基础学习建议

成都加米谷大数据

对于大数据稍有了解的人应该知道,大数据主要的编程语言,是使用Java来完成的,而Java之外,掌握一定的Scala,在大数据开发学习当中,能够更好地掌握相关技术...

56110

【赵强老师】Kafka的持久化

赵强老师

京东大学 · 大数据学院院长 (已认证)

Kakfa 依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢,基于文件系统的架构能否提供优异的性能?实际上硬盘的快慢完全取决于使用方式。同时 Ka...

35360

【赵强老师】大数据工作流引擎Oozie

赵强老师

京东大学 · 大数据学院院长 (已认证)

工作流(WorkFlow)就是工作流程的计算模型,即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。工作流要解决的...

27270

【赵强老师】Flink的Watermark机制(基于Flink 1.11.0实现)

赵强老师

京东大学 · 大数据学院院长 (已认证)

在使用eventTime的时候如何处理乱序数据?我们知道,流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的。虽然大部分情况下...

1.5K1090

Scala中的IO操作及ArrayBuffer线程安全问题

大数据学习与分享

通过Scala对文件进行读写操作在实际业务中应用也比较多,这里介绍几种常用的方式,直接上代码:

27140

Spring都没整明白,你还搞什么java开发?

淘课之家

中科院 · 高级工程师 (已认证)

本篇文章将带你掌握Spring框架,满满的干货,内容有点多,希望你能有耐心看完,看完后一定会有所收获。

32720

Spark+Zookeeper搭建高可用Spark集群

阿dai学长

目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 spark on YARN,详情参考。

41810

ABAP mesh expression, JavaScript and Scala expression

Jerry Wang

SAP成都研究院 · 开发专家 (已认证)

我在第10行调用了函数f,其中传入的第二个和第三个参数都是一个逗号表达式。 函数f的实现,会检查这两个参数的类型,如果是函数,则执行函数调用,再打印其返回值,...

15630

ABAP mesh表达式, JavaScript和Scala的 expression

Jerry Wang

SAP成都研究院 · 开发专家 (已认证)

函数f的实现,会检查这两个参数的类型,如果是函数,则执行函数调用,再打印其返回值,否则直接打印传入的表达式的值。

12330

Scala--spark必备

程序员爱酸奶

Scala 是 Scalable Language 的简写,是一门多范式的编程语言。

14220

扫码关注云+社区

领取腾讯云代金券