腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
不
运行
spark
作业
的
情况下
对
Hadoop
运行
spark
sql
查询
、
我开发
spark
sql
来
运行
hadoop
。今天,我必须
运行
一个调用我
的
查询
的
spark
作业
。有没有其他方法可以做到这一点?我发现我花了太多
的
时间来解决在
spark
中
运行
作业
的
一些小问题。理想
情况下
,我希望能够直接针对
hadoop
/hbase编写和执行
Spark
<
浏览 20
提问于2021-05-07
得票数 0
1
回答
如何使用Azure存储目录作为流数据源执行PySpark流
、
、
、
我想用Azure Blob存储作为我
的
流
的
源来执行
Spark
结构化流
作业
。如下所示: .readStream \ .options(**blobConf) \我如何使用
浏览 4
提问于2021-12-08
得票数 0
回答已采纳
1
回答
在现有
Hadoop
集群上安装
Spark
、
、
我们有一个(远程)
Hadoop
集群,人们通常在集群上
运行
map-还原
作业
。如果您以前已经这样做过,请给我详细
的
步骤,以便可以创建星系团。
浏览 1
提问于2016-07-08
得票数 6
2
回答
星火错误
的
蜂巢java.lang.NoSuchFieldError:
SPARK
_RPC_SERVER_ADDRESS
、
、
使用简单
的
select * from table
查询
在
Spark
上
运行
Hive,
运行
平稳,但是在联接和和时,ApplicationMaster返回关联
的
火花容器
的
堆栈跟踪: at org.apache.hive.
spark
.client.rpc.RpcConfigurationat org.ap
浏览 2
提问于2019-03-29
得票数 2
回答已采纳
1
回答
Spark
作业
即使失败也能成功
我
运行
了一个
spark
作业
,它从两个来源获取输入,例如: /home/
hadoop
/base/hourly/{input1/20190701/,input2/20190701/} 问题是这两种结构有不同
的
模式我
的
情况是,
spark
作业
的
最终状态是成功
的
,但由于该问题而
不
处理该数据。由于成功
的
状
浏览 0
提问于2019-07-12
得票数 2
3
回答
Spark
、
Hadoop
和Cassandra之间
的
关系是什么
、
、
、
我
的
理解是
Spark
是
Hadoop
的
替代品。但是,当尝试安装
Spark
时,安装页面要求安装现有的
Hadoop
。我找不到任何可以澄清这种关系
的
东西。其次,
Spark
显然与Cassandra和Hive有很好
的
连接性。两者都有
sql
风格
的
界面。然而,
Spark
有它自己
的
sql
。为什么要使用Cassandra/Hive而不是
Spark<
浏览 2
提问于2015-06-27
得票数 38
1
回答
火花参数在SparkSubmitOperator - AirFlow中不起作用。
、
、
、
我已经通过下面的火花参数在火花提交操作符在conf中,但是看起来这些参数在
运行
作业
时
不
工作。'
spark
.
sql
.avro.compression.codec' : 'snappy', '
spark
.
hadoop
.dfs.domain.socket.path' : '/var/lib/
hadoop
-hdfs/dn_socket&
浏览 4
提问于2019-11-27
得票数 0
2
回答
错误:未找到:值sqlContext
我想创建一个python应用程序来使用Apache
Spark
分析twitter流数据。 是否有任何方法可以在
不
设置
Hadoop
环境
的
情况下
使用Apache
Spark
streaming
的
功能。如
何在
独立模式下
运行
Apache
Spark
?我只是下载了二进制文件,并尝试
运行
spark
-shell,获取NullPointerException。有人能帮帮忙吗。<console
浏览 0
提问于2015-11-17
得票数 1
1
回答
使用Jdk8实现纱线上
的
火花
、
、
、
我正在
hadoop
yarn上
运行
spark
作业
(
hadoop
2.7.0,但也尝试了2.4.0,都是在我
的
机器上使用apache-
hadoop
网站和
spark
1.3.1下载
的
)。我
的
spark
作业
是用scala编写
的
,但包含用jdk8编译
的
类。事实上,从我
的
spark
作业
中看不到日志记录。
浏览 0
提问于2015-05-13
得票数 1
1
回答
Spark
Jobs错误为:太多元素无法创建电源集34
、
、
、
我尝试在mesos集群中
运行
spark
作业
来
查询
弹性数据,使用
的
esJsonRDD
查询
类似于:,并且对于少于32个节点
的
多节点弹性集群
运行
良好。随着弹性中节点
的
增加,
作业
会失败,出现以下异常:正如在
浏览 18
提问于2017-07-20
得票数 1
2
回答
Spark
History服务器未列出已完成
的
jars
、
、
、
我在Windows中
运行
Spark
独立
作业
。我想使用
Spark
历史服务器监控我
的
spark
作业
。我已经用下面的命令启动了
spark
历史服务器,历史服务器启动成功。C:\Users\Documents\Prev_D_Folder\Softwares\Softwares\
spark
-2.2.0-bin-
hadoop
2.7\
spark
-2.2.0-bin-
hadoop
2.7\
sp
浏览 2
提问于2019-05-02
得票数 1
1
回答
大数据(
spark
sql
和
spark
数据帧连接)
、
、
我是大数据平台
的
新手。您能告诉我不同
的
方法:1)我们如何连接到
spark
for
Spark
sql
? 2)我们如何连接到
spark
数据帧或数据集?对于hive,我们通过unix与beeline连接,如果我们有像teradata这样
的
sql
工具,我们必须通过安装了hive驱动
的
odbc连接到hive。如何连接到
spark
sql
和
spark
数据帧或数据集? 另外,如果有人能给我提供
浏览 13
提问于2020-06-09
得票数 0
2
回答
在
spark
下载页面上,预置
的
hadoop
和用户提供
的
hadoop
有什么区别?
、
、
、
长期以来,这些问题一直困扰着我: 第二个选择器中有五种包类型,当第一个选择器选择版本2.4.4 .And时,我
对
其中
的
三个类型感到困惑:Pre-built for Apache
Hadoop
2.7、Pre-builtwith user-provided Apache
Hadoop
、Pre-built with scala 2.12 and user-provided Apache
Hadoop
.Let me逐一列出我
的
问题这是否意味着有两种不同
的
情况,我已经有了<em
浏览 1
提问于2019-11-26
得票数 1
1
回答
Spark
HBase到Google Dataproc和Bigtable
的
迁移
、
、
、
我在AWS EMR集群上
运行
了HBase
Spark
作业
。最近我们搬到了GCP。我把所有的HBase数据都传输给了BigTable。现在,我在Dataproc中
运行
相同
的
Spark
- Java/Scala
作业
。
Spark
作业
失败,因为它正在查看
spark
.hbase.zookeeper.quorum设置。请让我知道,如
何在
不
更改代码
的
情况下</
浏览 2
提问于2018-05-27
得票数 0
3
回答
通过
Spark
SQL
将tableau与Elastic search连接起来
、
、
、
我找到了一个讨论如何通过Hive
SQL
将Tableau连接到Elastic Search
的
。我想知道有没有办法通过
Spark
SQL
连接到Elastic Search,因为我
对
hive不是很熟悉。
浏览 2
提问于2015-02-24
得票数 0
1
回答
NoClassDefFoundError:org/apache/
spark
/
sql
/hive/HiveContext
、
、
、
、
我正在尝试使用oozie来调用
spark
作业
。使用
spark
-submit可以在没有oozie
的
情况下
成功
运行
spark
作业
: at
浏览 1
提问于2016-05-13
得票数 1
1
回答
org.apache.avro.SchemaParseException:未定义
的
名称
、
、
、
、
我
的
spark
工作是从kafka中读取并解码信息。我
的
spark
作业
在MAC上
的
本地
spark
集群(https://archive.apache.org/dist/
spark
/
spark
-2.2.1/
spark
-2.2.1-bin-
hadoop
2.7.tgz)上
运行
良好。但是在k8s和openstack上
对</em
浏览 42
提问于2019-01-04
得票数 1
回答已采纳
2
回答
在没有
Hadoop
的
情况下
无法
运行
Apache
Spark
我在本地
的
DEV框上包,但是在下面的中失败了,NoClassDefFoundError: org/apache/
hadoop
/fs/FSDataInputStream $ .“我需要
Hadoop
来
运行
Spark
吗?不是,但是如果您在集群上
运行
,您将需要某种形式
的
共享文件系统(例如,NFS安装在每个节点上
的
相同路径上)。如果您有这种类
浏览 1
提问于2016-11-23
得票数 2
回答已采纳
2
回答
Spark
能否取代ETL工具
、
、
、
、
现有的流程原始结构数据被复制到Redshift
的
登台层。然后使用Informatica、Telend等ETL工具对数据仓库/数据仓库
的
事实表和维度表进行增量加载。所有的连接都发生在数据库层( ETL将
查询
推到数据库中)-
Spark
可以取代ETL工具并进行相同
的
处理并将数据加载到Redshift中吗?-这种架构
的
优点和缺点是什么?
浏览 1
提问于2016-11-26
得票数 10
1
回答
SparkLaunch中
的
Java主错误
、
、
我正在CentOS 7下
的
Hadoop
上
运行
apache,我已经成功地安装了所有的东西(包括JAVA、
hadoop
、
Spark
),并且通过控制台没有问题地
运行
spark
作业
。现在,我想在tomcat中调用java中
的
星火
作业
,并使用下面的代码启动
spark
应用程序
spark
.s
浏览 1
提问于2017-04-21
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
什么是 Apache Spark?大数据分析平台详解
一文读懂Apache Spark
Spark 概述以及与Hadoop的关系
Spark四大特征分析介绍
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券