Hadoop+Hive+HBase+Spark 集群部署(三)

hadoophivehbasespark

2. spark

spark-env.sh

export SCALA_HOME=/opt/soft/scala-2.12.6
export JAVA_HOME=/usr/java/jdk1.8.0_162
export HADOOP_HOME=/opt/soft/hadoop-2.8.3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/opt/soft/spark-2.3.0-bin-hadoop2.7
export SPARK_MASTER_IP=node
export SPARK_EXECUTOR_MEMORY=4G

slaves

node1
node2
node3

启动 / 停止 命令

  • 和hadoop冲突,用绝对路径 /opt/soft/spark-2.3.0-bin-hadoop2.7/sbin/start-all.sh 启动
  • /opt/soft/spark-2.3.0-bin-hadoop2.7/sbin/stop-all.sh 停止

spark_webUI 端口

  • 8080
  • Spark context Web UI available at http://node:4040

shell

[root@node ~]# spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://node:4040
Spark context available as 'sc' (master = local[*], app id = local-1525334225269).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.3.0
      /_/
         
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_162)
Type in expressions to have them evaluated.
Type :help for more information.

scala> 8*8
res0: Int = 64

本文由 bytebye 创作 本站文章除注明转载/出处外,均为本站原创或翻译,转载前请务必署名

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Vincent-yuan

asp.net core 系列之Startup

而在 Program 中,当 host builder 上的 Build 被调用时,应用的 host 被 built 。

6620
来自专栏小满

Linux学习笔记--vi

在Linux上使用vi命令修改一个文件内容的时候,发现无法保存,每次写完使用“:q!”命令可以正常退出但是使用":wq!"命令保存文件并退出时出现一下信息提示:

9220
来自专栏孙小白

centos7搭建hadoop3.*.*系列

 最近搭建这个hadoop踩过不少坑,先是配置JDK搞错路径(普通用户和root用户下的路径不同),再就是hadoop版本不同导致的启动错误,网上找到的是ha...

17010
来自专栏Java工程师成长之路

apollo入门demo实战(二)

  通过上述测试已经实现了后台页面配置实时修改,客户端实时接收修改配置值,我们已经初步了解apollo的基本功能,接下来需要研究下客户端需要如何配置才能实现需求...

15330
来自专栏程序通事

分享一些 Windows 平台上的神器

下面分享一些 Windows 平台上日常开发使用的软件,有些软件我自认为是神器,可以大大提高效率。

13620
来自专栏Vincent-yuan

asp.net core 系列之中间件基础篇(middleware)

请求委托(request delegate)是用于建立(build)请求管道的,请求委托可以处理每个Http的请求;

6910
来自专栏RainMark 的文章

linux命令后台运行

1. command & : 后台运行,你关掉终端会停止运行 2. nohup command & : 后台运行,你关掉终端也会继续运行

28020
来自专栏Java工程师成长之路

大数据基础Hadoop 2.x入门

6020
来自专栏程序员一一涤生

Linux下JDK安装笔记

Linux版本: CentOS6.2 JDK:jdk-7u60-linux-x64.tar.gz

7210
来自专栏CV学习史

NiftyNet项目介绍

NiftyNet是一款开源的卷积神经网络平台,旨在通过实现医学图像分析的深度学习方法和模块,支持快速原型和再现性,由WEISS (Wellcome EPSRC ...

8930

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励