首页
学习
活动
专区
工具
TVP
发布

悠扬前奏的博客

专栏作者
333
文章
258173
阅读量
32
订阅数
Spark-实例0.Word Count
import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext}
悠扬前奏
2019-07-01
5370
一次向多台Linux机器scp传输(水)
在Spark安装和运行时,各种配置文件需要向所有服务器发送,一个个执行SCP肯定不够优雅,做个shell解决这个问题:
悠扬前奏
2019-06-24
1.7K0
多台Linux服务器执行同样的命令
在Spark安装和运行时,比如zkServer.sh start这样的命令是需要所有服务器执行的,一个个复制粘贴回车肯定不够优雅,找个shell解决这个问题:
悠扬前奏
2019-06-22
1.9K0
Spark-2.WordCount的4种写法
搭好的Spark当然要先写一个最简单的WordCount练练手。 那么,需求是: 1、统计Spark下README.md文件的词频; 2、输出较多,筛选出现次数超过10次的,词频逆序显示
悠扬前奏
2019-05-30
1.4K0
Spark-0.Spark和Hadoop
1. Spark在Hadoop生态体系中的作用 Headoop生态体系: hdfs:文件存储 zookeeper:节点协调 mapreduce/hive:计算,其中hive是为了解决mapreduce编程复杂的问题 hbase:实时增删改查 storm:流处理 mahout :机器学习 其他工具 而Spark的出现就是为了解决MapReduce计算缓慢的问题: Spark 需要替换掉Hadoop生态体系中计算部分: 1.1 能计算实施批处理 mapreduce RDD 1.2 交互式查询 hbase
悠扬前奏
2019-05-29
4980
Mac上VMware Fusion的NAT端口映射+静态IP
公司路由器未开启DHCP,这样桥接模式就上不了网。用NAT模式的话,我本机配置的虚拟机集群就不能给同事们用,这样需要做NAT的端口映射。
悠扬前奏
2019-05-29
4.3K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档