腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Spark
在
使用
groupie
时
无法
mkdir
python
、
docker
、
apache-spark
、
apache-kafka
、
group-by
我
在
docker中
使用
spark
来做一些处理。我们有一个Kafka容器,
Spark
master容器,两个
Spark
workers容器和一个Python容器来编排整个流程。我们
使用
docker-compose打开所有内容: version: '3.4' zookeeper-persistence:
spark
-store然而,
groupie
部分会导致以下异常: Driver
浏览 23
提问于2020-09-24
得票数 0
回答已采纳
1
回答
火花独立群集-
在
创建输出文件
时
的特权问题
apache-spark
、
privileges
、
nfs
我正在
使用
spark
独立集群(Linux平台和python应用程序),
使用
nfs
在
主计算机和工作机器之间共享文件。我正在尝试一台主机器和一台工作机器,并且能够提交应用程序,它运行在辅助机器中,但是它
无法
创建输出文件(
使用
spark
),引发
mkdir
失败的错误。
在
主计算机和辅助机器中,nfs目录都有创建和删除文件的权限,我可以手动创建它,但是当
spark
试图
在
该目录中创建文件
时
,它
浏览 4
提问于2017-04-20
得票数 2
回答已采纳
1
回答
pySpark:将Kafka流放入parquet中,并从远程会话读取parquet
python
、
docker
、
pyspark
、
apache-kafka
、
parquet
.option("subscribe", "Aleca")\ .load()
使用
select、data")\ .start()\ .awaitTermination() 我
使用
Kafka发送数据,当我检查目录"/
浏览 36
提问于2021-04-29
得票数 0
1
回答
在
亚马逊EC2中以群集模式读取
Spark
中的文件
hadoop
、
amazon-ec2
、
apache-spark
我正尝试
在
亚马逊Ec2中以群集模式执行
spark
程序
spark
-submit --master
spark
://<master-ip>:7077 --deploy-mode cluster --class我
无法
在
集群模式下读取这个txt文件,即使我可以
在
独立模式下读取。
在
集群模式下,它希望从hdfs读取数据。因此,我
使用
以下命令将文件放入hdfs中的/root/persistent
浏览 1
提问于2015-09-22
得票数 0
2
回答
groupie
适配器
在
应用程序版本中未绑定到recyclerView,但在调试中工作
android
、
android-recyclerview
我正在
使用
kotlin的语言,并收到零错误或崩溃
时
,运行我的应用程序的google play发布版本的
groupie
。它根本不会加载到recyclerView中。只有当Picasso
无法
从firebase加载uri
时
才会发生崩溃,而我收集到的唯一原因是由于适配器为空,当在适配器类中调用Picasso
时
图像布局为空,因为
在
调用Picasso之前没有
使用
null检查,但是我真的不知道为什么
Groupie
适配器
在
调试版本中
浏览 13
提问于2020-04-15
得票数 2
回答已采纳
1
回答
mkdir
:
无法
创建目录‘/mnt/var/log/smack-j观察者\r’:权限被拒绝
linux
、
apache-spark
、
permissions
、
amazon-emr
、
spark-jobserver
根据本文档"“,我试图
在
电子病历集群上部署Smark-j观察者。 能够
在
emr上安装作业服务器,但是
在
启动服务器
时
使用
./mnt/lib/smack-j观察者(您可以
在
我的集群中找到它)启动服务器
时
,它显示的是"
mkdir
:
无法
创建目录“/mnt/var/log/smack-j观察者\r‘:Permission。我尝试过
使用
ch
浏览 6
提问于2021-09-03
得票数 0
2
回答
Apache
spark
:
在
提交或
Spark
启动
时
设置
spark
.eventLog.enabled和
spark
.eventLog.dir
apache-spark
我想将
spark
.eventLog.enabled和
spark
.eventLog.dir设置
在
spark
-submit或start-all级别--不需要在scala/java/python代码中启用它。我尝试了各种方法,但都没有成功:
spark
.eventLog.enabled true
spark
.eventLog.dirhdfs://namenode:802
浏览 12
提问于2015-07-06
得票数 17
2
回答
纱线集束用SparkAction
apache-spark
、
hadoop-yarn
、
oozie
、
hortonworks-data-platform
使用
Hortonworks HDP 2.3预览沙箱( oozie :4.2.0.2.3.0.0-2130,
spark
:1.3和Hadoop:2.7.1.2.3.0.0-2130),我试图
使用
“纱线-集群中提供的示例用于
在
“本地”主版上运行星火操作。我有两个问题 我们如何使火花组装罐可用于火花行动?我应该在oozie火花动作中
使用
jar元素吗?
在
没有显式添加程序集jar的情况下提交作业<e
浏览 0
提问于2015-06-17
得票数 2
1
回答
来自服务器(BadRequest)的错误:容器“火花-库伯内特斯-驱动程序”
在
荚“测试运行-火花”中等待启动:尝试并未能提取映像。
docker
、
apache-spark
、
kubernetes
、
minikube
、
k8s-rolebinding
mac os中的minikube
无法
从docker存储库中提取坞映像。试图
在
k8s上运行星星之火
使用
相同的码头图像,我可以把码头图像拉到我的本地。只有少数相同图像的标记,我向上或向下移动
浏览 12
提问于2022-08-07
得票数 0
回答已采纳
1
回答
如何从文件中获取传递给shell脚本的单个参数的日志
linux
、
bash
、
shell
、
stdout
、
stderr
Status] $status : success" | tee -a "${success_logs}"}
spark
-submitlog_status $g_STATUS "
Spark
${table}"如
浏览 4
提问于2017-04-28
得票数 1
回答已采纳
5
回答
SparkContext错误-文件未找到/tmp/火花-事件不存在
python
、
amazon-web-services
、
apache-spark
、
amazon-ec2
、
pyspark
通过API调用运行Python火花应用程序-
在
提交应用程序-响应-失败的SSH到工作人员/root/
spark
/work/driver-id/wordcount.py. at org.apache.
spark</
浏览 15
提问于2016-07-13
得票数 24
回答已采纳
1
回答
无法
在
安装新配置
时
使用
mkdir
ubuntu
、
vim
、
neovim
然而,当我试图安装这个
时
(如果你知道一个更好的,请不要害羞,我主要
使用
的是Python、C++和LaTeX的编辑器)git clone git://github.com/rafi/vim-config.git ~/.config/nvim由于
mkdir
~/.config的缘故,我不能通过
mkdir
: cammpt create
浏览 7
提问于2021-08-27
得票数 0
回答已采纳
1
回答
PySpark
无法
将文件从本地移动到HDFS
python
、
hadoop
、
hdfs
我已经
使用
Conda安装了一个pySpark项目,并安装了pyspark和hdfs3依赖项。以下是我的代码:from hdfs3 import HDFileSystem FileNotFoundError: test.csv
浏览 2
提问于2021-06-25
得票数 1
回答已采纳
1
回答
在
Spark
程序中访问Oozie配置
scala
、
oozie
、
oozie-workflow
我
在
.bash_profile中保存了一个环境变量。我正在尝试
使用
Scala中的sys.env()方法通过
Spark
程序访问它。当我没有Oozie调度
时
,我能够正确地访问
Spark
中的环境变量。然而,当我尝试
使用
Oozie调度我的程序时,程序抛出一个错误,它
无法
读取环境变量。' /> <
spark</e
浏览 1
提问于2020-01-14
得票数 0
1
回答
无法
将
Spark
中的slaves连接到master
apache-spark
、
google-compute-engine
在
Compute Engine上
使用
4个实例,每个运行的
spark
都
使用
Cloudera Manager设置。我
在
本地浏览器中启动主服务器并进行连接没有任何问题,它以
spark
://instance-1:7077的形式连接。当我在其余实例上启动start-slave
时
,我没有得到任何错误,直到我查看了日志: 16/05/02 13:10:18 INFO worker.Worker: Started daemon with/
浏览 1
提问于2016-05-03
得票数 0
1
回答
运行
Spark
官方python机器学习纱线失败示例
python
、
hadoop
、
apache-spark
、
machine-learning
、
hadoop-yarn
我可以通过: pi.py成功地
在
纱线上运行./bin/
spark
-submit --master yarn --deploy-mode cluster examples/src/main/python/pi.py示例。 但是当我运行.
时
,失败了。还有一个问题:当我运行ml示例
时
,我必须将自己的数据文件上传到hdfs,所以我尝试
使用
--files,对吗?如果是正确的,因为我不知道hdfs上数据文件的路径,所以python脚本
无法
获
浏览 3
提问于2017-03-01
得票数 0
回答已采纳
2
回答
由%AddJar加载的星火云包1.6.4不被笔记本所用
apache-spark
、
ibm-cloud
、
data-science-experience
、
spark-cloudant
我正在尝试
使用
最新的星火云包和笔记本电脑:其中产出: Starting download from https://github.com/cloudant-labs/
spark
-
浏览 4
提问于2016-12-25
得票数 1
回答已采纳
1
回答
无法
通过PySpark访问配置单元
apache-spark
、
hadoop
、
hive
、
pyspark
我是Hadoop/
Spark
/Hive的新手!
使用
标准的Derby DB,我可以通过终端访问hive并创建数据库、表,然后很好地查询这些表。我的metastore_db位于~/hivemetastore/metastore_dbhadoop fs -
mkdir
-p /用户/配置单元/仓库(注意-我
在
$HIVE_HOME/c
浏览 0
提问于2018-10-04
得票数 1
2
回答
无法
使用
spark
-sftp api将数据帧写入目标sftp服务器
scala
、
apache-spark
、
spark-sftp
代码
在
spark
-shell中运行良好,但当我
使用
scala代码部署我的jar
时
,它会失败,并显示以下错误:我试着
在
spark
-shell中
使用
下
浏览 14
提问于2019-09-04
得票数 2
1
回答
从ECS码头集装箱运行EMR作业
amazon-emr
、
amazon-ecs
我已经将用python编写的ML作业代码包含到一个码头容器中,并能够
使用
Amazon作为码头服务运行。我想
使用
星星之火以分布式方式运行,并在亚马逊EMR.Can上部署,建立ECS和EMR之间的连接?
浏览 3
提问于2017-05-25
得票数 9
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在使用Windows系统时无法连接到网络,您可以尝试这些方法
Spark之搜狗日志查询实战
Linux基本命令操作
如何用Spark计算引擎执行FATE联邦学习任务?
如何在CDH集群上部署Python3运行环境及运行Python作业
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券