前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop+Hive+HBase+Spark 集群部署(三)

Hadoop+Hive+HBase+Spark 集群部署(三)

作者头像
ByteBye
发布2019-09-24 16:50:43
9540
发布2019-09-24 16:50:43
举报
文章被收录于专栏:ByteByeByteBye

hadoophivehbasespark

2. spark

spark-env.sh

代码语言:javascript
复制
export SCALA_HOME=/opt/soft/scala-2.12.6
export JAVA_HOME=/usr/java/jdk1.8.0_162
export HADOOP_HOME=/opt/soft/hadoop-2.8.3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/opt/soft/spark-2.3.0-bin-hadoop2.7
export SPARK_MASTER_IP=node
export SPARK_EXECUTOR_MEMORY=4G

slaves

代码语言:javascript
复制
node1
node2
node3

启动 / 停止 命令

  • 和hadoop冲突,用绝对路径 /opt/soft/spark-2.3.0-bin-hadoop2.7/sbin/start-all.sh 启动
  • /opt/soft/spark-2.3.0-bin-hadoop2.7/sbin/stop-all.sh 停止

spark_webUI 端口

  • 8080
  • Spark context Web UI available at http://node:4040

shell

代码语言:javascript
复制
[root@node ~]# spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://node:4040
Spark context available as 'sc' (master = local[*], app id = local-1525334225269).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.3.0
      /_/
         
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_162)
Type in expressions to have them evaluated.
Type :help for more information.

scala> 8*8
res0: Int = 64

本文由 bytebye 创作 本站文章除注明转载/出处外,均为本站原创或翻译,转载前请务必署名

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-05-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 2. spark
    • spark-env.sh
      • slaves
        • 启动 / 停止 命令
          • spark_webUI 端口
            • shell
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档