腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
scala
安装
spark
依赖
项
时
是否
有
配置文件
scala
、
apache-spark
、
sbt
我在项目
依赖
中
使用
sbt
安装
了
spark
。然后,我想更改
spark
env的变量,而不是在我的代码中
使用
.setMaster()进行更改。问题是我在计算机上找不到任何
配置文件
。这是因为我
有
一个错误:org.apache.
spark
.SparkException: Invalid
Spark
URL:
spark
://HeartbeatReceiver@my-mbp.domain_
浏览 9
提问于2019-05-11
得票数 0
回答已采纳
1
回答
在项目上
安装
scala
编译器、解释器和
依赖
关系到项目的“`sbt”吗?
scala
、
apache-spark
、
sbt
如果我是对的,
Scala
通常是由sbt为每个
Scala
项目
安装
的,而不是在系统范围内
安装
的。我创建了一个简单的示例:当我在
Scala
项目上运行sbt run
时
,我看到创建了几个本地目录,例如target。sbt run在哪里
安装
什么? 它
浏览 3
提问于2020-03-18
得票数 0
回答已采纳
2
回答
编译后的jars与
Scala
和
Spark
的兼容性问题
scala
、
apache-spark
、
jar
、
compatibility
我对
Scala
和
Spark
非常陌生。我在
Scala
中出现了一些版本问题,所以我尝试更改pom.xml中的
Scala
版本,以便在集群上运行jar文件。但是,我对
Scala
版本有点好奇,因为当我在bash上命令
scala
-version (它不是2.11)
时
,我在集群上
安装
的
Scala
版本是2.10.4。更奇怪的是,当我将
scala
版本2.11更改为2.10 in pom.xml以生成相同的
scala
浏览 3
提问于2017-02-07
得票数 2
回答已采纳
3
回答
如何在Intellij IDEA中运行
spark
示例程序
scala
、
intellij-idea
、
apache-spark
首先在命令行上,从下载的
spark
项目的根目录运行它是成功的。为什么Intellij不能简单地加载和运行这个基于maven的
scala
程序?并选择Run GroupByTestException in thread "main" java.lang.NoClassDefFoundE
浏览 0
提问于2014-01-30
得票数 10
回答已采纳
1
回答
多星体
安装
和
SCALA
依赖
关系
apache-spark
但是,我
是否
需要再次专门
安装
Scala
? /home/cloudera/.ivy2/cache/org.
scala
-lang/
scala</e
浏览 0
提问于2018-06-16
得票数 0
回答已采纳
1
回答
如何在intellij中手动导入SBT
依赖
项
scala
、
apache-spark
、
sbt
我想
使用
Intellij作为
Spark
和
Scala
编辑器,所以我应该创建一个SBT项目。
安装
了
Scala
和SBT插件,但问题是当我创建SBT项目
时
,一开始它试图从获取SBT插件和
依赖
项
,但它停留在sbt getting org.
scala
-sbt 0.13.13步骤!我有权访问address SBT,希望通过浏览器获取
依赖
项
,我想知道
是否
可以手动下载
依赖
项
浏览 0
提问于2016-12-11
得票数 1
1
回答
星星星火-
Scala
在加载类文件
时
无效
依赖
项
scala
、
apache-spark
键入在加载类文件“SQLImplilis.class”
时
检测到的缺失或无效
依赖
项
。无法访问包org.apache.
spark
.sql中的类型编码器,因为缺少它(或它的
依赖
项
)。检查生成定义中缺少或冲突的
依赖
项
。(
使用
-Ylog-classpath重新运行以查看有问题的类路径。)描述资源路径位置类型丢失或在加载类文件“Package.class”
时
检测到的无效
依赖
项
。无法访问包org
浏览 2
提问于2017-01-26
得票数 1
1
回答
星火初始作业尚未接受任何资源;请检查群集用户界面,以确保员工已注册并拥有足够的资源。
java
、
apache-spark
、
cluster-computing
当我试图
使用
星火集群(
Spark
3.3,Hadoop3.2.4)运行独立管理器
时
,我遇到了问题。首先,我启动了星火群,包括主和3工人,我检查了星火UI页面,在那里我可以看到他们的启动和运行。
依赖
项
在我的项目中: <groupId>org.
scala
-lang</groupId>jac
浏览 11
提问于2022-11-08
得票数 1
1
回答
Spark
2.0.2 twitter流在apache bahir中找不到
scala
、
apache-spark
、
twitter
、
spark-streaming
我正在尝试
使用
scala
在
scala
中构建一个twitter流示例。火花版本: 2.0.2 加载类文件“TwitterUtils.class”
时
检测到的缺少或无效
依赖
关系。无法访问包中的术语twit
浏览 2
提问于2016-12-23
得票数 1
2
回答
火花提交无法检测pip中已
安装
的模数。
python-3.x
、
apache-spark
、
pip
、
pyspark
我
有
一个python代码,它有以下第三方
依赖
项
:from warcio.archiveiterator import ArchiveIteratorImportError: No module named 'boto3'
浏览 7
提问于2017-10-13
得票数 4
回答已采纳
4
回答
java.lang.NoClassDefFoundError:
scala
/reflect/ClassManifest
scala
、
apache-spark
当我试图在
spark
上运行一个例子时,我得到了一个错误。谁能请让我知道我需要对我的pom.xml做哪些更改才能运行
spark
程序。
浏览 0
提问于2013-08-07
得票数 3
1
回答
Gradle:从fat jar中排除从compileOnly中提供的
依赖
项
java
、
gradle
、
deployment
、
fatjar
我在compileOnly配置和其他几个库中
使用
了一个巨大的
依赖
项
(
Spark
)。当然,我正在尝试构建一个不
依赖
compileOnly的胖jar。但是,Gradle这样做很好,但是
有
几个库声明了compile/runtimeOnly
依赖
项
,这些
依赖
项
也是compileOnly巨大
依赖
项
的
依赖
项
,例如:|->
浏览 0
提问于2019-07-01
得票数 1
2
回答
如何在intellij和
scala
for
spark
中创建Maven项目
scala
、
maven
、
apache-spark
、
intellij-idea
我们
是否
需要单独
安装
hadoop和
spark
,并在hadoop home上设置winutils,并配置环境变量 我们创建maven项目,并在POM文件上写入所有
依赖
项
。我正在
使用
intellij
scala
插件和
spark
简而言之:如果得到一些建议,我如何
使用
spark
和
scala
在intellij中创建Maven项目非常有用。我检查了你下面的链接。Link:https://y
浏览 27
提问于2019-09-12
得票数 0
回答已采纳
2
回答
线程"main“java.lang.NoSuchMethodError
scala
.collection.immutable.hashset$出现异常
eclipse
、
scala
、
apache-spark
标题1#导入的
spark
代码在eclipse上运行,得到构建错误它在终端上运行良好/*SampleApp.
scala
:此应用程序只计算包含"val“的行数*/ import org.apache.
spark
.SparkContext/assembly/target/
scala
-2.10/
spark
-assembly-1.1.1-hadoop2.2.0.jar!$.apply(ActorSystem.
scala
浏览 1
提问于2015-08-17
得票数 0
1
回答
运行
Scala
代码
时
出错- Databricks 7.3LTS及以上版本
scala
、
azure-sql-database
、
databricks
、
azure-databricks
我正在运行databricks 7.3LTS,并且在尝试
使用
scala
批量复制
时
出错。错误是:对象sqldb不是包com.microsoft的成员。我已经
安装
了正确的sql连接器驱动程序,但不确定如何修复此错误。已
安装
的驱动程序如下:
spark
_mssql_connec
浏览 3
提问于2022-03-31
得票数 1
2
回答
在
scala
中创建自定义生产者
时
出错
kafka-producer-api
我已经
使用
scala
为Kafka中的自定义生产者写了一个小代码,它给出了下面的错误。我已经附加在代码部分的代码。我附上了一些代码作为参考。
浏览 1
提问于2019-03-28
得票数 0
1
回答
针对不同
spark
版本的交叉构建
scala
API
scala
、
apache-spark
、
sbt
我知道存在跨构建选项来生成运行在不同
scala
版本上的不同版本的
scala
API。假设我将继续
使用
相同的
scala
版本的2.11.12,我如何设置我的build.sbt来处理多个版本的
spark
。我
有
一些关于
依赖
的"provided"选项的提示,但我不确定这是处理它的最好方法。如果你已经解决了这个问题,请让我们知道。
浏览 0
提问于2018-10-25
得票数 1
4
回答
本地类不兼容异常:从IDE运行
spark
standalone
时
java
、
apache-spark
我开始测试
spark
。我在本地机器上
安装
了
spark
,并
使用
单个worker运行本地集群。当我试图通过如下方式设置sparconf从IDE执行我的作业
时
:final JavaSparkContext sc = n
浏览 1
提问于2016-02-18
得票数 16
2
回答
星星之火: package.class中的签名指compileTimeOnly类型
sbt
、
apache-spark
当尝试用
Spark
1.2.1构建MLlib示例
时
,
使用
SBT,我会得到一大堆奇怪的编译错误。同样的代码在
Spark
1.1.0中构建得很好。对于
Spark
1.2.1,我
使用
以下SBT构建文件: libraryDependencies+= "org.apache.
spark
"
浏览 0
提问于2015-02-27
得票数 1
回答已采纳
2
回答
为什么
spark
部署不需要
安装
Scala
?
apache-spark
、
pyspark
、
apache-spark-sql
Spark
是由
Scala
开发的。从理论上讲,需要
安装
Scala
。但是,
spark
部署不需要
安装
Scala
。为什么?
浏览 0
提问于2020-11-29
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据之脚踏实地学11-Spark神器的安装
Spark1.6官方文档译文系列一
Hadoop及Spark 分布式HA运行环境搭建
Python Spark安装及配置步骤
kafka源码阅读环境
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券