#Scala

多范式的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性

Scala基础——隐式转换

羊羽shine

Scala的隐式转换,其实最核心的就是定义隐式转换函数,即implicitconversion function。定义的隐式转换函数,只要在编写的程序内引入,就...

7010

苦涩的技术我该怎么学?Akka 实战

一猿小讲

关注“一猿小讲”公众号的小伙伴都清楚,上次《技术再深入一点又何妨?一脸懵B的聊Actor》,我们在“懵 B”的状态下,聊了聊 Actor 模型的理论知识。稍微再...

3310

Spark Core源码精读计划12 | Spark序列化及压缩机制浅析

暴走大数据

由上可见,SerializerManager取得序列化器时,会先调用canUseKryo()方法判断要序列化的对象类型是否落在8种Scala基本类型与Strin...

8840

如何阅读源码,这一篇应该够了

kk大数据

其源码质量也是非常优秀,它使用 Java 来开发底层的基础设施和中间件,使用 Scala 来开发Spark 内核,代码量很少并且非常精简。阅读起来会让你惊艳。

7420

JVM下的Scala和Kotlin

春哥大魔王

Scala彻底拥抱了函数式,我身边几个函数式编程爱好者都是Scala的忠实粉丝。但是不可否认Scala的学习曲线相当陡峭,支持的多种特性让其过于复杂了。

7520

restapi(4)- rest-mongo : MongoDB数据库前端的httpserver

用户1150956

完成了一套标准的rest风格数据库CRUD操作httpserver后发现有许多不足。主要是为了追求“通用”两个字,想把所有服务接口做的更“范generic”...

4320

Scala基础——Map(映射)

羊羽shine

Scala映射(Map)是一组键/值对的对象。键在映射中是唯一的,但值不一定是唯一的。映射也称为哈希表。映射有两种,不可变的和可变的。默认情况下,Scala使用...

6130

Spark Streaming 与 Kafka0.8 整合

smartsi

对于使用 SBT/Maven 项目定义的 Scala/Java 应用程序,请引入如下工件(请参阅主编程指南中的Linking部分以获取更多信息)。

6620

Spark源码精度计划 | SparkConf

暴走大数据

代码#1.1中的import语句是从SparkConf类的伴生对象中导入一些东西,它们主要管理过期的、旧版本兼容的配置项,以及日志输出。Scala中没有Java...

5920

Spark安装之问题

ZONGLYN

SparkSQL context 在执行sql语句时,现在使用spark.sql()替换sqlContext.sal()

5210

分布式执行代码的认知纠正

ZONGLYN

Spark是一个分布式计算系统/组件/平台,这是都知道的,其用Scala实现Spark任务也是最原生的,但万万不能认为只要是在Spark环境下执行的Scala代...

8110

IDEA-2017.2-bug-SBT项目初始化的失败

ZONGLYN

这个错误出现过若干次了,每次出现都想记录一下可是都忘了,然后下一次再遇见就又要搞很久才能解决,其实这本身是IntelliJ IDEA 2017.2的一个bug,...

9030

如何使用IDEA加载已有Spark项目

ZONGLYN

之后可以添加相应的Scala版本支持,比如假设这里需要 2.10.4 那么直接勾选即可,但是如果本机没有对应的版本,那么可以点击下方的New Liberay选择...

8820

Spark的RDDs相关内容

ZONGLYN

通常使用parallelize()函数可以创建一个简单的RDD,测试用(为了方便观察结果)。

4420

Spark2.0学习(二)--------RDD详解

实时计算

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/...

6020

Scala的基础概念

ZONGLYN

例如:调用 def Add(y:Int) = x + y 其结果为xy之和,并且调用之后没有引起x值的变换,没有副作用 所以,Add函数没有副作用

6630

Spark官方文档翻译(一)~Overview

实时计算

Spark 运行在Java 8+, Python 2.7+/3.4+ ,R 3.1+.Scala 的API使用Scala 2.11。你需要使用Scala 的版本...

7730

Scala中的Collection

ZONGLYN

Traversable 遍历 Iterable 迭代 Set无序集合 Sequence序列 Map映射

9370

Spark的运行环境及远程开发环境的搭建

ZONGLYN

2009 RAD实验室,引入内存存储 2010 开源 2011 AMP实验室,Spark Streaming 2013 Apache顶级项目

11830

Spark2.3.0 RDD操作

smartsi

下面列出了Spark支持的一些常见转换函数。 有关详细信息,请参阅RDD API文档(Scala,Java,Python,R)和RDD函数doc(Scala,J...

9020

扫码关注云+社区

领取腾讯云代金券