腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Hadoop
fs
命令
在
命令行
上
工作
,但
不在
shell
脚本
中
工作
bash
、
shell
、
hadoop
、
hdfs
我有一个包含以下
命令
的bash
shell
脚本
:
hadoop
fs
-get ${WORKING_DIRECTORY}${OUTPUT_FILE} ,它解析为
hadoop
fs
-get /tmp/out.csv 当我运行
shell
脚本
时,此
命令
不会产生任何输出,并且文件不会传输到本地实例。但是,如果我直接在
shell
上
运行
命令
ha
浏览 12
提问于2020-06-24
得票数 0
2
回答
Hadoop
fs
shell
命令
不起作用
hadoop
、
hdfs
我不能从
命令行
界面运行
hadoop
fs
shell
命令
,但是可以通过web浏览hdfs,而且其他
hadoop
命令
也
工作
得很好(例如
hadoop
version)。下面是我得到的错误。请帮帮忙。$
hadoop
fs
-ls /Usage:
hadoop
fs
浏览 1
提问于2016-04-07
得票数 0
1
回答
使用php将文件从一台计算机复制到另一台计算机
php
、
hadoop
、
ssh
、
rsync
、
scp
我已经安装了2台Ubuntu机器: 192.168.1.104和192.168.1.105已经
在
104台机器
上
生成的ssh-keygen
上
安装了ssh,并向两个ip地址添加了密钥。我通过
shell
脚本
尝试了这个
命令
scp /home/tejas/
hadoop
/conf/core-site.xml tejas@192.168.1.105:/home/tejas/
hadoop
&
浏览 1
提问于2016-04-20
得票数 1
1
回答
从oozie使用
shell
时出现无此类文件或目录错误
shell
、
hadoop
、
oozie
、
oozie-workflow
我试图从oozie运行
shell
脚本
,当我
在
shell
脚本
中使用
hadoop
命令
时,它
工作
得很好,
但
当我试图运行本地
命令
时,我没有得到这样的文件或目录异常。示例:
hadoop
fs
-touchz /user/123/test.txt 这个
脚本
工作
正常,当我使用NFS路径或本地路径时,我得到了“
浏览 1
提问于2018-05-05
得票数 0
1
回答
Shell
脚本
单独运行,但不能作为crontab作业生成正确的结果
hive
、
cron
、
hdfs
、
sh
、
hadoop2
我
在
hive
中
创建了一个托管/内部表,并第一次手动将数据加载到其中。因此,我最新的employee表(
在
hive
中
创建,仓库位于默认位置-/user/hive/created)将所有数据放在emp.csv文件
中
。现在,一旦新的用户文件到达HDFS位置/tmp/ emp.csv,我就已经编写了一个
shell
脚本
,该
脚本
将删除现有的/emp.csv/ hive /wa
浏览 0
提问于2017-11-18
得票数 0
1
回答
如何在HUE的oozie作业设计器中将文件从HDFS移动到本地文件系统?
shell
、
hdfs
、
local
、
oozie
、
hue
(不是
命令行
!)我已经尝试了以下几点:
hadoop
fs
-get /path/to/hdfs/filename.csv /path/to/namenode
hadoop
fs
-copyToLocal /path/to/hdfs/filename.csv /
浏览 1
提问于2014-10-07
得票数 1
1
回答
Windows
上
Cygwin
上
的Nutch 1.12
nutch
我试着
在
Windows的Cygwin
上
运行Nutch1.12,然后我使用了。但是当我尝试执行
命令行
"bin/nutch inject crawl/crawldb urls“时,我
在
Cygwin
中
得到了如下结果: at org.apache.
hadoop
.util.
Shell
.run(
Shel
浏览 14
提问于2017-03-10
得票数 1
2
回答
将pig
fs
命令
输出到文件或变量
apache-pig
我正试图监视HDFS系统
中
的文件。目前,我这样做是非常痛苦的:
fs
-ls -R /river/entity/files;。编辑: Thx的答案,但我还不够清楚。对不起!我不能用终端。我只执行一个猪
脚本
,我想在HDFS
中</
浏览 3
提问于2017-01-30
得票数 2
回答已采纳
2
回答
如何远程将文件从
hadoop
复制到abfs
azure
、
hadoop
我们如何将文件从
Hadoop
复制到abfs (azure文件系统),我想从
Hadoop
复制到abfs文件系统,但是它会引发一个错误--这是我运行的
命令
ls: NoFileSystem for scheme "abfs" java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.
hadoop
.
fs
.azurebfs.AzureBl
浏览 21
提问于2022-09-01
得票数 0
1
回答
可以从
命令行
读取orcserde
hadoop
文件吗?
hadoop
、
command-line
、
orc
我试图从
命令行
读取
hadoop
文件系统
中
的ORC文件,
但
以下
命令
不起作用。什么是等价的
命令
?
浏览 19
提问于2016-09-16
得票数 0
回答已采纳
3
回答
将参数传递给存储
在
HDFS
中
的
shell
脚本
bash
、
shell
、
hadoop
、
hdfs
我希望执行一个存储
在
HDFS
中
的
shell
脚本
,并选择将参数传递给
脚本
。我已经验证了以下的
工作
我想做以下
工作
hadoop
fs
-cat hdfs://path_to_script/sample.sh param1 pa
浏览 7
提问于2017-05-19
得票数 0
回答已采纳
1
回答
在
浏览器
上
运行php
脚本
,通过
shell
执行
hadoop
命令
php
、
linux
、
bash
、
shell
、
hadoop
我一直试图通过php
中
的
shell
_exec()
在
终端上执行
hadoop
命令
,并试图通过浏览器
中
的url运行该
脚本
。我一直面临一个重大问题:<?php echo
shell
_exec('
hadoop
fs
-ls /');
浏览 1
提问于2016-04-06
得票数 0
5
回答
查找HDFS正在侦听的端口号
hadoop
、
hdfs
、
cloudera
、
hortonworks-data-platform
、
mapr
我想使用完全限定的名称访问hdfs,例如:我也可以简单地使用但是,我正在编写测试用例据我所知,hdfs://machine-name:8020
在
core-site.xml中被定义为
fs
.default.name。但在不同的分布
上
,这似乎是不同的。例如,hdfs是MapR
上<
浏览 0
提问于2014-10-06
得票数 31
回答已采纳
1
回答
导出
Hadoop
库类路径的
Shell
脚本
无法
工作
。
eclipse
、
shell
、
pyarrow
from pyarrow import
fs
但是,对于成功运行的python代码,必须执行先决条件
命令
。为了避免这种不便,并使IDE配置自动化,我使
shell
脚本
文件如下所示,当我
在<
浏览 4
提问于2020-12-23
得票数 0
回答已采纳
3
回答
如何将
shell
脚本
(bash)转换为Scala代码?
scala
、
processbuilder
我有一个
shell
脚本
,其中包含一系列定义的步骤。我试图通过保持步骤的顺序将
脚本
转换为Scala代码。基本
上
,我希望我的Scala代码是
shell
脚本
的镜像。mkdir <pathToDir>rm -r <pa
浏览 0
提问于2019-01-31
得票数 3
回答已采纳
2
回答
HDFS文件比较
hadoop
、
hive
、
hdfs
由于没有diff,如何比较两个HDFS文件 我
在
考虑使用Hive表并从HDFS加载数据,然后
在
两个表
上
使用join语句。有没有更好的方法?
浏览 1
提问于2013-01-24
得票数 7
回答已采纳
3
回答
Hadoop
fs
-get仅复制特定文件
hadoop
有没有办法只复制特定的文件,比如根据文件类型使用
fs
-get或
fs
-copyToLocal?注意:我希望这是递归的,并且遍历整个集群。 for F in `
hadoop
fs
-
fs
hdfs://namenode.mycluster -lsr / | grep '/*.txt$
浏览 0
提问于2012-05-21
得票数 3
回答已采纳
3
回答
在
Hadoop
集群
中
运行bash
脚本
的
hadoop
命令
shell
、
hadoop
、
cloudera
、
oozie-workflow
我有一个
shell
脚本
(count.sh),它计算文件
中
的行数。此
脚本
已复制到hdfs
中
,目前正在使用Oozie
工作
流来执行此
脚本
。
在
unix:[myuser@myserver ~]$./count.sh
中
当count.sh位于
hadoop
集群位置‘/user/
浏览 0
提问于2018-04-04
得票数 1
回答已采纳
1
回答
带有oozie的Python子进程
python
、
shell
、
hadoop
、
oozie
我试图
在
python
脚本
中使用python,这是
在
oozie
shell
操作
中
调用的。Subprocess应该读取一个存储
在
Hadoop
的HDFS
中
的文件。我
在
伪分布式模式下使用
hadoop
-1.2.1和oozie-3.3.2。#!/usr/bin/python import subpro
浏览 0
提问于2013-09-03
得票数 2
回答已采纳
1
回答
不能通过管道传输两个
hadoop
命令
?
hadoop
、
ssh
、
elastic-map-reduce
我想运行以下
命令
:
在
ssh到主节点
上
之后,当我从
shell
调用它时,它
浏览 1
提问于2013-02-07
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hue中使用Oozie创建Shell工作流在脚本中切换不同用户
Hadoop之HDFS的shell操作
hive业务总结1
Hadoop 介绍
HDFS你必须要知道的知识点
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券