展开

关键词

hue spark

相关内容

弹性 MapReduce

弹性 MapReduce

可靠、安全、灵活的云端托管Hadoop服务
  • 如何在退出Hue后关闭Spark会话

    设置执行引擎为SparkHive配置了Spark作为默认执行引擎,在通过Hue执行Hive查询后,退出Hue后Spark的Session并为随着Hue的退出而关闭,操作如下:登录Hue执行SQL语句,可以看到提交的是一个查看Yarn的界面显示该Spark Session正在运行?此时退出Hue界面,观察0003的作业任然在运行并为随着Hue的退出而关闭?2.解决方法----针对上述问题,有如下两种方式解决:1.从CDH5.8版本开始,在Hue上提供一个用来关闭Spark Session的按钮,用户可以使用此功能来关闭当前会话,操作如下:?3.总结----1.由于Hive使用Spark引擎,所以不同的用户登录Hue执行Hive查询都会创建一个Spark Session会话,如果不关闭会话就会产生大量的未关闭Spark作业占用集资源。2.同一个用户重复登录Hue不会重复的创建Spark Session3.上述提供两种方式来关闭会话,一种需要用户手动的操作关闭会话,另一种方式通过HiveServer2服务的会话超时时间来自动结束Spark
    来自:
    浏览:834
  • 如何在HUE上使用Spark Notebook

    放弃不难,但坚持很酷~HUE版本:3.12.0Ambari版本:2.6.1.0HDP版本:2.6.4Spark版本:2.2.0前言通过浏览器访问ip:8888登陆HUE界面,首次登陆会提示你创建用户,这里使用账号密码本篇文章再给大家讲述一下如何配置并使用Spark Notebook。一、修改hue.ini1.配置Spark打开hue.ini文件,找到【yarn_clusters】【default】,修改spark_history_server_url值。其中liuyzh2.xdata是Spark2 History Server所在机器的主机名18081端口是Spark2的spark.history.ui.port属性值HUE是通过livy server当新建了一个pySpark Notebook后,后台会以登陆HUE系统页面的用户身份(比如hue)新建一个livy-session-xx的Spark应用程序,如下图所示:?
    来自:
    浏览:1489
  • 如何在Hue中添加Spark Notebook

    、HBase、Solr等,在Hue3.8版本后也提供了Notebook组件(支持R、Scala及python语言),但在CDH中Hue默认是没有启用Spark的Notebook,使用Notebook运行Spark代码则依赖Livy服务。中添加Notebook组件并集成Spark。?6.运行Spark Notebook成功可以看到Livy中已成功创建了Spark Session会话?Yarn界面?2.创建Spark Notebook则需要依赖Livy服务,需要在集群中部署Livy服务并在Hue中配置Livy环境。
    来自:
    浏览:1956
  • 广告
    关闭

    云产品限时秒杀

    云服务器1核2G首年99元,还有多款热门云产品满足您的上云需求

  • 如何使用Hue创建Spark2的Oozie工作流(补充)

    1.文档编写目的 ---- 目前Oozie 的 SparkAction 仅支持Spark1.6, 而并不支持Spark2, 这是 CDH Spark2已知的局限性(https:www.cloudera.comdocumentationspark2latesttopicsspark2继上一篇如何使用Hue创建Spark1和Spark2的Oozie工作流的实现方式外,本文档主要讲述使用shell的方式实现Hue创建Spark2的Oozie工作流。内容概述 创建shell脚本 创建Oozie工作流 作业调度测试 测试环境 Spark2.1.0 Hue3.9.0 Oozie4.1.0 2.创建sparkJob.sh脚本 ---- 创建一个shell脚本用于提交Spark2作业,此处使用Spark2默认的例子Pi测试,内容如下: $ vim sparkJob.sh #!, 而并不支持Spark2, 这是 CDH Spark2已知的局限性,作为临时的解决方案, 您可以使用 Oozie 的 ShellAction 来调用 Spark2作业。
    来自:
    浏览:1881
  • 如何在HUE上通过oozie调用Spark工作流

    放弃不难,但坚持很酷~HUE版本:3.12.0Spark版本:1.6.3Ambari版本:2.6.1.0HDP版本:2.6.4 前言通过浏览器访问ip:8888登陆HUE界面,首次登陆会提示你创建用户,下载完成之后,访问workflow编辑器,会看到spark的程序示例。在这对该示例如何执行进行讲解。如下两图所示:??二、业务场景通过启动Spark Java程序复制文件到HDFS文件系统中。三、上传jar包点击spark示例程序,点击“工作区”,如下图所示:?七、总结在HUE上通过oozie调用Spark工作流:本篇文章是使用的HUE官方自带的Spark示例,我们需要提前下载。上传Spark相关jar包到该Spark Workflow的工作区检查Workflow配置选择输入输出参数,执行Workflow
    来自:
    浏览:1372
  • 如何使用Hue创建Spark1和Spark2的Oozie工作流

    1.文档编写目的 ---- 使用Hue可以方便的通过界面制定Oozie的工作流,支持Hive、Pig、Spark、Java、Sqoop、MapReduce、Shell等等。Spark?那能不能支持Spark2的呢,接下来本文章就主要讲述如何使用Hue创建Spark1和Spark2的Oozie工作流。的Oozie工作流 ---- 1.登录Hue,创建Oozie工作流 2.进入WorkSpace 点击lib 在命令行将Spark2自带的example例子上传到userhueoozieworkspaceshue-oozie-1507860705.24lib$ 3.添加Spark1的任务到Oozie 4.保存Oozie,然后点击提交 运行成功 5.常见问题 ---- 1.在使用Hue创建Spark2的Oozie为spark2(Oozie默认的支持Spark1),否则会运行失败报Spark2的类找不到异常。
    来自:
    浏览:3505
  • 弹性 MapReduce

    产品优势,产品功能,产品概述,应用场景,创建 EMR 集群,业务评估,HDFS 常见操作,提交 MapReduce 任务,YARN 任务队列管理,Hadoop 最佳实践,Spark 环境信息,Spark分析 COS 上的数据,通过 Spark Python 分析 COS 上的数据,SparkSQL 的使用,SparkStreaming 对接 Ckafka 服务,通过 Thrift 使用 Hbase,,新增组件,节点状态,服务状态,集群销毁,服务等级协议,Flume 简介,Kerberos 简介,Kerberos 使用说明,访问安全集群的 Hadoop,Hadoop 接入 kerberos 示例,Hue开发指南,Spark 环境信息,Spark 分析 COS 上的数据,通过 Spark Python 分析 COS 上的数据,SparkSQL 的使用,SparkStreaming 对接 Ckafka服务状态,集群销毁,服务等级协议,Flume 简介,Kerberos 开发指南,Kerberos 简介,Kerberos 使用说明,访问安全集群的 Hadoop,Hadoop 接入 kerberos 示例,Hue
    来自:
  • HUE配置与各服务集成使用

    记得重启HUE服务。九、HUE配置SPARK1.修改hue.ini配置文件hue配置Spark需要安装spark livy server组件,默认端口为8998;spark sql的配置依赖于hive,配置如图所示:image.png还需要配置Sparkspark_history_server_url=http:172.16.0.147:18080保存配置修改,重启HUE服务。2.如下图所示:image.png保存配置修改,重启Spark服务。十、HUE配置NOTEBOOK按照下图所示,配置NOTEBOOK。?重启HUE。我们可以使用NOTEBOOK内支持的Spark SQL、scala、pySpark来操作使用Spark。
    来自:
    浏览:1395
  • Spark

    操作场景Spark 框架面向使用 ScalaJava 的 Spark 用户,用户编写 Spark 应用程序并编译打包成 jar 后,可通过 Spark 框架完成部署。配置参数作业 Jar 包:通过该配置框上传您的 Spark 应用程序 Jar 包,必填项。主类名:指定您的 Spark 应用程序的入口类,即 main 函数所在的类,必填项。程序参数:您的 Spark 应用程序所需的参数,即传给 main 函数的参数,可选项。配置文件:指定您的 Spark 应用程序用到的配置文件,可选项。 配置资源在资源参数列表配置任务的资源参数。spark-conf:指定 Spark 常用参数配置,如压缩、序列化、网络等。 运行单击【保存】并运行工作流。查看 Spark 控制台和日志在 Spark 节点上单击右键菜单,可查看任务状态和详细日志。
    来自:
  • Hue 开发指南

    Hue 简介Hue 是一个开源的 Apache Hadoop UI 系统,由 Cloudera Desktop 演化而来,最后 Cloudera 公司将其贡献给 Apache 基金会的 Hadoop 社区Hue 功能Hive SQL 查询Hbase 数据查询和修改、数据展示访问 HDFS 和文件浏览Oozie 任务的开发、监控和工作流协调调度 登录 Hue 控制台使用 Hue 组件管理工作流时,请先登录Hue 控制台页面,具体步骤如下: 登录 EMR 控制台,单击对应集群 ID名称,进入集群详情页面,然后单击【集群服务】。在列表页找到 Hue 组件,单击【WebUI访问地址】进入 Hue 页面。首次登录 Hue 控制台页面,请使用 root 帐号,密码为创建集群时提供的密码。请在首次以 root 帐号登录 Hue 控制台后,新建 hadoop 帐号。后续所有作业需通过 hadoop 帐号来提交。
    来自:
  • 如何使用Hue上创建一个完整Oozie工作流

    文档编写目的 ---- 在使用CDH集群中经常会有一些特定顺序的作业需要在集群中运行,对于需要多个作业顺序执行的情况下,如何能够方便的构建一个完整的工作流在CDH集群中执行,前面Fayson也讲过关于Hue创建工作流的一系列文章具体可以参考《如何使用Hue创建Spark1和Spark2的Oozie工作流》、《如何使用Hue创建Spark2的Oozie工作流(补充)》、《如何在Hue中创建Ssh的Oozie本篇文章主要讲述如何使用Hue创建一个以特定顺序运行的Oozie工作流。Kerberos 前置条件 1.集群已安装Hue服务 2.集群已安装Oozie服务 2.创建一个Parquet格式的Hive表 ---- 创建一个Hive表,该表用于Spark作业保存数据,注意这里创建的ETL作业 ---- 将Sqoop抽取的数据通过Python的Spark作业进行ETL操作写入Hive表中 1.编写Spark脚本 #!
    来自:
    浏览:2233
  • 0536-5.15.0-如何使用Hue集成RDBMS数据库

    1文档编写目的Hue是一个以Hadoop平台为基础的Web客户端工具,Hue不仅可以集成大数据平台的Hive、Impala、HBase、Solr等组件,提供易于操作的Web界面。同样在3.8版本以后还提供了Notebook组件(支持多种编程语言),可以参考Fayson前面的文章《如何在Hue中添加Spark Notebook》。3.完成上述配置后,使用hue管理员登录,为用户组配置RDBMS访问权限?选择有权限访问的Group?完成上述配置即可,登录Hue进行测试。3Hue测试RDBMS1.登录Hue,可以看到添加的MySQL数据库?切换至MySQL查询界面?2.执行SQL操作?4总结1.Hue集成RDBMS数据库需要在librdbms和notebook两个部分都需要添加相应的配置,否则在Hue界面上无法显示。
    来自:
    浏览:225
  • 智能钛机器学习平台

    应用场景,产品概述,客户价值,Tensorflow,Spark,PySpark,关联规则,异常检测,回归算法,推荐算法,时间序列,聚类算法,分类算法,自然语言处理,计算机视觉,数据预处理,可视化,模型评估特征选择,自动建模(AutoML),数据转换,数据源,统计分析,主题模型,表算子,用 Notebook 实现手写数字识别,营销推荐策略,特征提取,TensorFlow PS,其他相关,中文词性标注,用 Spark,查询存储库列表,删除存储库,创建存储库,关联 Git 存储库与 Notebook,使用生命周期脚本配置 Notebook 实例,使用 Notebook 远程连接腾讯云 EMR,Angel 算法简介,SparkAutoML),输入,数据转换,输出,数据源,统计分析,主题模型,表算子,用 Notebook 实现手写数字识别,营销推荐策略,特征提取,TensorFlow PS,常见问题,其他相关,中文词性标注,用 Spark创建存储库,关联 Git 存储库与 Notebook,使用生命周期脚本配置 Notebook 实例,使用 Notebook 远程连接腾讯云 EMR,算法手册,Angel 算法指南,Angel 算法简介,Spark
    来自:
  • Spark 资源动态调度实践

    在创建 EMR 集群的时候,需要在软件配置界面选择 spark_hadoop 组件。新增配置项 yarn.nodemanager.aux-services.spark_shuffle.class,该配置项的值设置为 org.apache.spark.network.yarn.YarnShuffleService修改 Spark 配置在【集群服务】>【SPARK】组件中,选择【操作】>【配置管理】。选中配置文件【spark-defaults.conf】,单击【修改配置】。spark.dynamicAllocation.initialExecutors1一般情况下与 spark.dynamicAllocation.minExecutors 值相同。# cd usrlocalservicespark# su hadoop$ spark-submit --class org.apache.spark.examples.SparkPi --master
    来自:
  • Spark 环境信息

    腾讯云 EMR 提供的 Spark 版本支持 Spark2.0.2、2.2.1、2.3.2版本,软件环境信息如下: Spark 默认安装在 master 节点。Spark 软件路径在 usrlocalservicespark 下。相关日志路径在 dataemr 下。 更多详细资料请参考 社区文档,这里主要介绍基于 Spark 访问腾讯云对象存储相关操作。
    来自:
  • EMR 各版本 Spark 相关依赖说明

    +3.1+8+ v2.1.02.3.22.11.x2.7+3.4+3.1+8+ v3.0.02.4.32.12.x2.7+3.4+3.1+8+ 查找方法访问官网链接,输入版本号链接模板: https:spark.apache.orgdocs{spark.version}index.html将 {spark.version} 替换为对应的 spark 版本,例如查看2.0.2版本的依赖关系,访问链接如下:https:spark.apache.orgdocs2.0.2index.html
    来自:
  • EMR 各版本 Kafka 与 Spark 版本说明

    依赖关系 注意: 从 Spark2.3 起不再支持 Kafka0.8.2。higherspark-streaming-kafka-0-10_2.11 v3.0.02.4.30.10.0 or higherspark-streaming-kafka-0-10_2.12 查找方法访问官网链接,输入版本号链接模板:https:spark.apache.orgdocs{spark.version}streaming-kafka-integration.html将 {spark.version} 替换为对应的 Spark 版本。例如查看2.0.2版本的依赖关系,访问链接如下:https:spark.apache.orgdocs2.0.2streaming-kafka-integration.html查看依赖,单击相应链接可看到详细说明
    来自:
  • 如何在Hue中创建Ssh的Oozie工作流

    1.文档编写目的 ---- 前面Fayson讲过《如何使用Hue创建Spark1和Spark2的Oozie工作流》和《如何使用Hue创建Spark2的Oozie工作流(补充)》,在创建Oozie工作流时会遇到需要登录到其它服务器上去执行脚本或命令4.创建Oozie的Ssh Action测试 ---- 1.登录Hue创建Oozie工作流 输入ssh登录信息及执行的指令或脚本 保存新建的Oozie工作流。
    来自:
    浏览:854
  • hive on spark 测试

    Hadoop2.7.1 Apache Hbase0.98.12 Apache Hive1.2.1 Apache Tez0.7.0 Apache Pig0.15.0 Apache oozie4.2.0 Apache Spark1.6.0Cloudrea Hue3.8.1 经测试,spark1.6.0和spark1.5.x集成hive on spark有问题, 相关链接:http:apache-spark-user-list.1001560.n3.nabble.comIssue-with-spark-on-hive-td25372.html 所以只能下载spark-1.4.1然后执行如下命令,重新编译: devchange-scala-version.sh-1.4.1-hadoop2.7.1.jar 到hive的lib目录下 即可, 然后启动hive: set hive.execution.engine=spark; 执行一个查询: ??可以执行没有问题,但在测试hive关联hbase表使用spark模式运行的时候,会出现一个异常,spark的kvro序列化总是找不到hbase的一个类,但明明已经启动的时候,加入到hive的class
    来自:
    浏览:609

扫码关注云+社区

领取腾讯云代金券