腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

程序萌部落

个人博客请访问 www.cxmoe.com，自19年8月起搬迁至此。

专栏作者

130

文章

288787

阅读量

27

订阅数

Spark安装之问题

scala spark 打包 sql

SparkSQL context 在执行sql语句时，现在使用spark.sql()替换sqlContext.sal()

2019-08-08

5520

分布式执行代码的认知纠正

分布式 spark scala java

Spark是一个分布式计算系统/组件/平台，这是都知道的，其用Scala实现Spark任务也是最原生的，但万万不能认为只要是在Spark环境下执行的Scala代码都是分布式执行的，这是大错特错的，一开始一直有错误的认识，但现在想想，如果拿Java和Hadoop的关系来作对比，其就很容易理解了。

2019-08-08

5900

IDEA-2017.2-bug-SBT项目初始化的失败

ide shell scala 编程算法

这个错误出现过若干次了，每次出现都想记录一下可是都忘了，然后下一次再遇见就又要搞很久才能解决，其实这本身是IntelliJ IDEA 2017.2的一个bug，只要修改一处配置就好了。

2019-08-08

1.7K0

如何使用IDEA加载已有Spark项目

scala spark 编程算法 ide

背景是这样的：手上有一个学长之前实现的Spark项目，使用到了GraphX，并且用的Scala编写，现在需要再次运行这个项目，但如果直接在IDEA中打开项目，则由于各种错误会导致运行失败，这里就记录一下该如何使用IDEA来加载老旧的Spark项目。注意：默认你的机器已有Scala环境，项目使用IDEA打开，对Sbt不做要求，因为这里采用的是NoSbt方式添加依赖的。

2019-08-08

1.9K0

Spark的RDDs相关内容

spark 编程算法 scala 分布式

通常使用parallelize()函数可以创建一个简单的RDD，测试用（为了方便观察结果）。

2019-08-08

5330

Scala的基础概念

scala 编程算法 java

例如：调用 def Add(y:Int) = x + y 其结果为xy之和，并且调用之后没有引起x值的变换，没有副作用所以，Add函数没有副作用

2019-08-08

7090

Scala中的Collection

scala 编程算法

Traversable 遍历 Iterable 迭代 Set无序集合 Sequence序列 Map映射

2019-08-08

1.1K0

Spark的运行环境及远程开发环境的搭建

spark shell scala hadoop

2009 RAD实验室，引入内存存储 2010 开源 2011 AMP实验室，Spark Streaming 2013 Apache顶级项目

2019-08-08

2.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态