1回答
我正在尝试从Spark在集群模式下执行的scala脚本内部执行一个特定于HDFS的命令。在命令下面： val cmd = Seq("hdfs","dfs","-copyToLocal","/tmp/file.dat","/path/to/local")
val resu
浏览 60提问于2019-06-03得票数 1
我有一些在scala脚本中动态生成的shell命令，如何在scala脚本中运行它们？._
"hdfs dfs -rm " + filename 从字面上看，我想运行shell命令: hdfs dfs -rm "This File“ 非常感谢。
浏览 17提问于2019-02-12得票数 0
回答已采纳
我有一个scala文件，它执行一个类似下面的hdfs命令：当我在shell中运行该命令时，它运行得很好，因为我在.bashrc文件中设置了以下别名：...however当我使用SBT构建在Scala代码中运行
浏览 0提问于2015-08-18得票数 1
有哪些数据接收工具可用于从HDFS中的API导入数据？
我使用的也不是HBase，而是HDFS和Hive。
浏览 14提问于2016-09-15得票数 0
回答已采纳
1回答
我想从我的python脚本中执行几个Hadoop命令，这样就可以执行所有的hdfs命令了。我想做的工作是：
读取存储在hdfs中的各种文件，如文本、avro、csv和拼花文件。我希望所有这些任务都是从python脚本执行的，而不是通过从终端输入相应的命令来<e
浏览 11提问于2022-01-06得票数 -1
1回答
()现在，在运行以下命令时，我希望通过jupyter notebook.But访问头节点中的hdfs文件，该命令从hdfs获取数据。df = sqlContext.read.json('hdfs:///192.168.21.110/user/hdfs/ML/pass/Teleram_18/notefind/
浏览 1提问于2019-01-21得票数 0
我试图在Scala中将字符串动态解释为命令。为此，据我所知，我需要在power模式下调用intp.interpret("string") (其中intp代表当前解释器，string代表我的命令)，对吗？然而，我的问题是，我想从脚本内部执行此操作。因此，我正在寻找一种方法，可以从脚本内部切换到高级用户模式，然后调用intp.interpret。
有没有办法在脚本文件中实现这种切换？
浏览 1提问于2012-09-23得票数 7
我有一个shell脚本，其中包含使用oozie操作运行的星火提交命令。我们非常感谢你的帮助。$ofRef$.length$extension(ArrayOps.scala:114)
at scala.collection.mutable.ArrayOps$ofRef.length(ArrayOps.scala</configuration>
浏览 5提问于2018-12-04得票数 2
回答已采纳
2回答
在hdfs上火花写入地板
、、、、
我想把数据从rdbms带到数据帧，并将这些数据写入HDFS上的数据块中。"dfs.replication“值为1。当我使用下面的命令尝试这一点时，我已经看到所有HDFS块都位于我执行星火外壳的节点上。scala> xfact.write.parquet("hdfs://sparknode01.localdomain:9000/xfact")谢谢
浏览 2提问于2016-11-04得票数 4
回答已采纳
我有python脚本： print("hello " + line)def run(spark我可以在python脚本中访问星火会话吗？或者我可以在python脚本中创建一个文件并将其保存到hdfs文件系统中？实际上，这正是我想要做的--我想在python脚本中创建csv文件，并将它们保存到hdfs中。
还有一个小问题。是否可以向工作人员发送安装python包
浏览 1提问于2022-02-22得票数 1
1回答
获取子目录列表
、、、、
同样适用于“hdfs://hadoop_foo/”。
hadoop dfs -lsr /hadoop_foo/
用代码..。
浏览 0提问于2016-09-09得票数 0
回答已采纳
7回答
我得到以下错误 at org.apache.hadoop.util.RunJar.main(RunJar.java:187)
如何从Hadoop
浏览 417提问于2013-05-29得票数 17
回答已采纳
2回答
我不清楚从基于scala的脚本执行unix命令的最佳实践。#!/bin/sh!我检查了许多帖子，但是没有什么能清楚地勾勒出一个工作脚本，它可以从scala脚本执行unix命令并<e
浏览 1提问于2016-09-13得票数 0
回答已采纳
1回答
我使用dstream.saveAsObjectFiles("/temObj")方法将对象文件持久化在星火流中，它在hdfs中显示多个文件。我试过了hdfs.delete(new org.apache.hadoop.fs.Path(Path), true
浏览 5提问于2017-09-26得票数 1
回答已采纳
当我试图将本地文件系统移到HDFS时，我面临着这个问题。类似于copyFromLocal命令: hadoop、-copyFromLocal ~/Hadoop/test/text2.txt ~/Hadoop/test_hds/input.txt建议使用此脚本执行相反，可以使用hdfs命令。：
hadoop -put ~/test/test/test1.txt hd.txt弃用:建议使用此脚本<
浏览 0提问于2015-06-04得票数 1
回答已采纳
我需要使用Java / Scala程序在HDFS中移动多个文件，这些文件对应于给定的正则表达式。例如，我必须将名为*.xml的所有文件从文件夹a移动到文件夹b。使用shell命令，我可以使用以下命令：我可以使用Java使用以下代码(scala语言)移动单个文件，并在rename类上使用FileSystem方法：
// Prepare initial co
浏览 1提问于2015-12-04得票数 0
回答已采纳
1回答
将文件副本分发给执行者
、、、、
我有一堆数据(在S3上)，我正在复制到本地HDFS (在amazon上)。现在我正在使用org.apache.hadoop.fs.FileUtil.copy来完成这个任务，但是还不清楚这是否会将文件副本分发给执行者。当然，在星火历史服务器中什么也没有出现。Hadoop DistCp似乎是这样的(请注意，我在S3上，所以它实际上应该是构建在dist-cp之上的s3-dist-cp )，只是它是一个命令行工具。我正在寻找一种从Scala脚本(又名Java)调用这个脚本的方法
浏览 4提问于2018-12-06得票数 0
我正在尝试删除一个表(内部)表，这个表是Spark创建的，有些表是如何被删除的，但是表的位置仍然存在。有人能让我知道怎么做吗？) ROW FORMAT DELIMITED FIELDS TERMINATED BY "^"
LOCATION "hdfs
浏览 1提问于2018-07-20得票数 2
回答已采纳
1回答
有没有办法在Hdfs中列出小于特定大小的文件。使用命令行，甚至是spark脚本？Scala / spark会更好，因为与命令行相比，它可能运行得更快。
浏览 20提问于2019-10-29得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
