腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

数据处理

专栏作者

97

文章

147373

阅读量

33

订阅数

ssh免密登陆上传下载文件直接使用scp命令

ssh spark 安全

在滴滴云申请了三台服务器，分别命名Master,Worker1,Worker2,用来配置spark环境，需要在本地远程免密操作三台机器，首先在本地生成RSA公私钥对

2018-07-25

1.2K0

提交任务到集群

Hadoop2.7.4+Spark2.2.0滴滴云分布式集群搭建过程使用IDEA+sbt构建Scala+spark应用，统计英文词频代码很简单 import org.apache.spark.{SparkConf, SparkContext} object WordCount{ def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("wordcount") val sc = ne

2018-07-04

4730

split函数使用的一个小故障

spark 大数据 scala

《Spark快速大数据分析》书中一个例子功能是把文本每行分割成单词组，并且去掉空行 val input = sc.textFile("input.txt") val tokenized = input.map(line=>line.split(" ").filter(words=>words.size>0）上面操作咋看好像没有问题，但是运行不能去除空行，原因出在split函数 scala> "".split(" ") res50: Array[String] = Array("") scala> "

2018-06-19

6060

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态