专栏首页软件开发-青出于蓝Spark之伪分布式搭建、伪分布式Hadoop、Hive安装

Spark之伪分布式搭建、伪分布式Hadoop、Hive安装

    怎么在本地安装Spark,这里就不再描述了。

List-1

#在SPARK_HOME/conf下
>cp slaves.template slaves
#之后在slaves里面写入hostname,如下
>more slaves
mjduan-host


>cp spark-env.sh.template spark-env.sh
#修改spark-env.sh,写入如下内容,SPARK_MASTER_IP写mjduan-host
>more spark-env.sh 
export JAVA_HOME=/opt/software/tool/jdk1.8
export HADOOP_HOME=/opt/software/docker/hadoop/hadoop-2.7.7
export SCALA_HOME=/opt/software/tool/scala2.12
export HADOOP_CONF_DIR=/opt/software/docker/hadoop/hadoop-2.7.7/etc/hadoop
export SPARK_MASTER_IP=mjduan-host
export SPARK_WORKER_MEMORY=2048M

    之后进入$SPARK_HOME/sbin下,执行start-all.sh,可以看下是否启动成功,之后去看localhost:8080,可以看到spark的界面。

    jps命令可以看到有个Master和Worker。

    注意,启动Spark是可以启动的,但是如果往Spark上提交程序,Spark默认会从hdfs读取数据,而不是本地。所以要安装好HADOOP,安装Hadoop的时候,带上了hdfs、yarn都安装好了。

    给Spark提交任务,master后面的URL,如果不知道,可以从日志中看到或者Spark UI界面中看到。

List-2

spark-submit  --class com.mjduan.project.SimpleApp  --master spark://mjduan-host:7077  Spark-helloworld.jar

    安装Hadoop-2.7,Hive-2.3,参考: https://blog.csdn.net/u013332124/article/details/85223496 ,左边安装Hadoop的教程里面,没有设置yarn,要配置yarn,不然在hive命令行中进入insert时会报错,配置yarn参考: https://blog.csdn.net/linbo_18874208784/article/details/74178236,在安装Hive时,报用户无法访问hive,要修改hive的配置文件,参考: https://stackoverflow.com/questions/40603714/hive-is-not-allowed-to-impersonate-hive

    Spark伪分布式的安装,参考: https://blog.csdn.net/zhihaoma/article/details/52296645

(adsbygoogle = window.adsbygoogle || []).push({});

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hive on spark的搭建记录 原

        注:Hadoop-2.7.7、Hive-2.1.1、spark-1.6.0-bin-hadoop2.6,操作系统是Ubuntu18  64bit。最近做...

    克虏伯
  • Feign源码分析之FeignClientFactoryBean

         springcloud-openfeign-core-2.1.1.release.

    克虏伯
  • Spark集群安装方式2 原

        环境: jdk1.8、hadoop-2.7、spark-1.6、三台centos7(如下List-1所示)

    克虏伯
  • C++多重继承的指针问题

    首先,可以看到&oD和pB1指针指向相同的存储地址。为什么? 这是因为当我们new一个Derive类的时候,计算机给Derive类分配的空间可以分为三...

    卡尔曼和玻尔兹曼谁曼
  • 如何为Spark应用启用Kerberos的Debug日志

    在CDH集群启用了Kerberos后,在执行Spark作业时难免会遇到由于Kerberos认证问题导致作业运行失败的时候,那我们需要针对Spark作业进行调试,...

    Fayson
  • dubbo源码解析2-项目结构

    远程通讯模块:相当于 Dubbo 协议的实现,如果 RPC 用 RMI协议则不需要使用此包。

    日薪月亿
  • 乐观主义者眼中的2014年中国互联网22条趋势

    1、4G元年,大流量和实时在线移动应用爆发; 2、互联网与传统行业有几个交叉重点:农业、健康、教育和汽车; 3、政府推出大数据刺激计划,探索数据开放; 4、可...

    罗超频道
  • vue-echarts在vue中的使用

    Vue-ECharts 默认在 webpack 环境下会引入未编译的源码版本,Vue CLI 创建项目可能会遇到默认配置把 node_modules 中的文件排...

    xing.org1^
  • dart:失之东隅收之桑榆

    一个月前,如果我要为自己最看不上的三个半语言排个名,dart 恐怕会位列其中。dart 是 google 在 2011 年就推出的编程语言,目标是成为一个结构化...

    tyrchen
  • 【自然框架】重新整理后的自然框架源码!

      整理后的自然框架源码,有九个项目,可以看下面的脑图,带“对号”的表示是一个独立的项目。后面的是主要内容。 欢迎下载http://www.naturefw....

    用户1174620

扫码关注云+社区

领取腾讯云代金券