腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如
何在
.
jar
文件
中
查看
spark
job
中
的
源代码
java
、
scala
、
apache-spark
、
decompiling
我有一份.
jar
格式
的
spark
工作。我想
查看
该
文件
中
的
源代码
。我如何做到这一点,使用我需要
的
IDE来检查代码。我已经从亚马逊网络服务
的
s3位置下载了.
jar
文件
。我想检查我本地机器
中
的
代码。我应该为此下载什么,或者我可以检查aws本身
中
的
代码。 有谁能帮我一下吗?
浏览 42
提问于2021-04-17
得票数 1
1
回答
无法使用
spark
-shell从EMR集群连接到远程MongoDB
mongodb
、
scala
、
apache-spark
、
amazon-emr
基于此,我开始使用更新
的
驱动程序执行
spark
-shell,如下所示:
spark
-shell --packages com.stratio.datasource:
spark
-mongodb_2.10:0.11.2 --jars casbah-commons_2.10-3.1.1.
jar
,casbah-core_2.10-3.1.1.
jar
,casbah-query_2.10-3.1.1ja.
jar
,mongo-java-driver-2.13.0.
jar</e
浏览 16
提问于2016-07-27
得票数 0
回答已采纳
1
回答
不使用“wordcount.java - example”脚本运行
Spark
Kafka示例
java
、
apache-kafka
、
apache-spark
我正在尝试运行
Spark
中
的
字数统计示例,它将从Kafka中流式传输数据。。然而,我发现Cloudera
Spark
发行版与孵化器发行版略有不同。我运行
spark
shell和从那里运行字数统计示例都没有问题。但是,bin
文件
夹
中
没有"run- example“脚本,
如
示例
源代码
所示。 * `.zoo03 my-consumer-group topic1,topic2 1` 我是
jar<
浏览 0
提问于2014-03-03
得票数 4
1
回答
使用AWS胶
的
火花扩展
apache-spark
、
pyspark
、
aws-glue
我已经在本地创建了一个脚本,它使用
spark
扩展'uk.co.gresearch.
spark
:
spark
-extension_2.12:2.2.0-3.3‘以简单
的
方式比较不同
的
DataFrames。然而,当我在AWS上尝试这一点时,我遇到了一些问题,并收到了以下错误:ModuleNotFoundError: No模块,名为“gresearch” 我尝试从本地磁盘复制.
jar
文件
,当我在本地初始化
spark
会话并收到以下消息时引用了该
浏览 4
提问于2022-09-30
得票数 0
回答已采纳
2
回答
v2在Azure数据工厂
中
的
HDInsight/
Spark
活动没有选项指定火花提交
的
--
文件
参数
apache-spark
、
hadoop-yarn
、
azure-data-factory-2
、
azure-hdinsight
、
.net-spark
我已经在Azure
中
创建了一个HDInsight集群(v4,
Spark
2.4),并希望通过Azure Data v2活动在这个集群上运行一个
Spark
.Ne应用程序。在星火活动
中
,可以指定
jar
的
路径、-class参数和传递给
Spark
应用程序
的
参数。这些参数在运行时自动以"-args“作为前缀。但是,能够设置“--
文件
”是必要
的
,因为它告诉火花提交需要部署到工作节点
的
文件</em
浏览 15
提问于2020-10-29
得票数 0
1
回答
使用
Spark
在Oozie工作流
中
检索属性
apache-spark
、
oozie
我使用
的
是
Spark
1.3.0和Oozie 4.1.0 <
spark
xmlns="uri:oozie:
spark
-action:0.1"> <
job
-tracker>$>${nameNode}/apps/${JobN
浏览 0
提问于2015-12-10
得票数 0
1
回答
使用Yarn Rest API
的
Spark
提交[
Spark
无法解析namenode HA名称]
apache-spark
、
hadoop-yarn
我正在通过yarn rest api调用提交
spark
作业,但是得到了这个异常,
spark
无法解析namenode HA名称,而从yarn launcher提交
spark
作业,并且在launcher本身上失败JAVA_HOME=/usr/local/java7/ org.apache.hadoop.yarn.applications.distributedshell.ApplicationMaster --
jar
spark
-
job
.
jar
浏览 18
提问于2019-08-05
得票数 0
1
回答
java.lang.IllegalArgumentException:尝试多次向分布式缓存
中
添加([自定义
jar
-带火花代码].
jar
)。
java
、
apache-spark
、
oozie
、
amazon-emr
、
oozie-workflow
我试图使用EMR集群上
的
Oozie运行一个简单
的
Java作业。作业只从输入路径获取
文件
,对其执行很少
的
基本操作,并将结果放入不同
的
输出路径。当我尝试使用火花-submit从命令行运行它时,如下图所示,它工作得很好:
spark
-submit --class com.someClassName --master yarn --deploy-mode工作流
中
设置了相同
的
东西。我在上找到了一个处理类似错误
的
和另一个。但是对于他们来说,作业失
浏览 2
提问于2019-04-18
得票数 2
回答已采纳
1
回答
优步
jar
在Kubernetes没有通过火花提交找到
apache-spark
、
kubernetes
、
sbt
、
sbt-assembly
、
spark-submit
我得到
的
错误是:} Dockerfile --这只是一个包装器映像,基于星火二进制
文件
中
的
kuber
浏览 5
提问于2019-10-03
得票数 1
回答已采纳
3
回答
为什么IDEA不能识别
Spark
文件
?
intellij-idea
、
jar
、
apache-spark
我下载了星火
的
源代码
,解压缩并根据官方
文件
构建,如下所示: 不好
的
是,我
的
编辑窗口中有许多语法错误,它们都与
Spark
包和Hadoop包相关,而项目可以在这个
浏览 1
提问于2015-02-04
得票数 6
4
回答
如果在SparkAction中使用PySpark,Oozie作业将无法运行
java
、
apache-spark
、
oozie
、
pyspark
、
cloudera-quickstart-vm
我在Oozie
中
遇到过几个SparkAction作业
的
例子,其中大多数都是用Java语言编写
的
。我稍微编辑了一下,然后在Cloudera CDH Quickstart 5.4.0 (
Spark
版本为1.4.0)
中
运行了这个示例。}/user/${wf:user()}/${examplesRoot}/apps/
spark
/lib/oozie-examples.
jar
</
jar<
浏览 2
提问于2015-07-16
得票数 1
1
回答
如
何在
启动新作业之前了解
spark
作业是否已完成
apache-spark
我想通过yarn并行运行一组
spark
作业,然后等待它们全部完成,然后再启动另一组作业。我如何才能知道我
的
第一组作业何时完成?谢谢。
浏览 10
提问于2018-08-21
得票数 1
回答已采纳
1
回答
尝试使用Twitter进行
spark
流媒体时获得NPE
spark-streaming
我是SparkStreaming
的
新手,当我尝试提交
Spark
-Twitter流作业时,得到了以下错误:at org.apache.
spark
.executor.Executor$$anonfun$org$apache$
spark
$executor$Executor$$upd
浏览 0
提问于2016-04-11
得票数 0
1
回答
通过Oozie工作流提交
的
shell脚本
中
存在
的
火花提交不起作用。
shell
、
hadoop
、
oozie
、
spark-submit
、
oozie-workflow
原因火花提交是在本地
文件
系统,但我
的
脚本运行在hadoop
文件
系统与hadoop管理用户。任何解决办法都可以克服这一点。如
何在
hadoop
文件
系统
中
运行来自hadoop用户
的
本地
文件
系统命令,或者我可以在Oozi
的
帮助下将脚本从hadoop
文件
系统复制到本地
文件
系统。/usr/lib/
spark
/bin/
spark
浏览 0
提问于2019-08-08
得票数 0
回答已采纳
1
回答
Hortonworks Oozie火花行动- NullPointerException
hadoop
、
apache-spark
、
oozie
、
hortonworks-data-platform
、
oozie-workflow
Spark
作业用于从单元表
中
获取数据,处理数据并将其存储在HDFS
中
。但是当我尝试提交来自火花行动
的
火花申请时,我得到
的
是NullPointerException。xmlns="uri:oozie:
spark
-action:0.1"> <name-no
浏览 2
提问于2017-06-29
得票数 1
回答已采纳
2
回答
Oozie -
Spark
>向何处添加ojdbc.
jar
以访问oracle
oracle
、
apache-spark
、
oozie
、
ojdbc
我正试图在Oozie
中
为以下命令创建一个火花行动:这给出了Oozie
中</
浏览 2
提问于2016-07-14
得票数 0
回答已采纳
1
回答
如何将UDF中使用
的
模块传递给
spark
submit
python
、
pyspark
、
spark-submit
我有一个使用dill
的
用户定义框架
的
源代码
。我在
源代码
中使用了其他包,所有这些包都列在requirements.txt
中
。因此,我正在做以下事情,但它显示"dill“
的
"module not found”。 pip install -r requirements.txt --target .
spark
-submit --master yarn --jars example.
jar
--conf
spark
.exec
浏览 16
提问于2020-04-14
得票数 0
1
回答
我应该把jars放在dataproc集群上,这样它们才能被gcloud dataproc作业使用,提交星星之火?
google-cloud-dataproc
我有一个初始化脚本,它从本地人工存储库下载一个.
jar
,并将它放到集群上每个节点
的
/usr/local/bin
中
。我可以用 --region=us-central1 --
jar
=file:///usr/local/bin/myjar.
jar
-- arg1 arg2 但是,如
浏览 3
提问于2020-05-28
得票数 3
回答已采纳
1
回答
当火花从oozie调用蜂巢时,异常将引发“org.apache.hadoop.hive.ql.metadata.HiveException”:java.lang.ClassNotFoundException“
apache-spark
、
hadoop
、
hive
、
oozie
、
hcatalog
我有火花作业将数据保存到hdfs,然后将相同
的
数据保存到Hive表
中
。当我在木星上运行时,它成功地运行了。但是,当我在oozie
中
运行它时,当它达到写入数据到蜂箱
的
步骤时,它就会引发后续异常。下面是我
的
代码,后面跟着异常,然后是工作流.xml: JARS_HOME = "hdfs:///dataengineering- Write
Job
316245be-4c54-4
浏览 10
提问于2020-04-14
得票数 1
1
回答
如
何在
使用terraform创建电子病历时启动
Spark
作业
apache-spark
、
terraform
、
amazon-emr
我
的
用例如下。通过Terraform,我想创建一个EMR集群,启动一个
Spark
Job
,并在作业完成时终止该集群。我在Terraform文档()中找到了这个步骤机制,但我在谷歌上没有找到任何关于
Spark
Job
的
示例(一个谢谢你
的
帮忙
浏览 0
提问于2019-02-27
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在万亿级别规模的数据量上使用 Spark?
如何在万亿级别规模的数据量上使用Spark
Spark 学习笔记
Windows和PC机上搭建Spark+Python开发环境的详细步骤
MapReduce示例-WordCount
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券