如何使用Cloudera CM API创建hdfs复制

文章/答案/技术大牛

发布

1回答

hdfs、cloudera、cloudera-manager

您好，我是hadoop新手，我想使用cloudera管理器API创建hdfs复制。如何使用Cloudera CM API创建hdfs复制？

浏览 9提问于2017-07-16得票数 0

5回答

Spark Shell无法读取有效路径下的文件

scala、shell、apache-spark、bigdata、cloudera

我正在尝试读取Spark Shell中的一个文件，该文件随本地计算机上Cloudera的CentOS发行版一起提供。以下是我在Spark Shell中输入的命令。spark-shellfileData.countval fileData = sc.textFile(&q

浏览 2提问于2015-09-22得票数 0

7回答

hadoop将本地文件系统文件夹拷贝到HDFS

hadoop、hdfs

我需要将一个文件夹从本地文件系统复制到HDFS。我找不到任何将文件夹(包括其所有子文件夹)移动到HDFS的示例 $ hadoop fs -copyFromLocal /home/ubuntu/Source-Folder-To-Copy HDFS-URI

浏览 0提问于2015-01-29得票数 76

1回答

/etc/hadoop/conf和/etc/hadoop/conf.cloudera.HDFS和/etc/hadoop/conf.cloudera.YARN下的配置文件有什么不同

hadoop、cloudera、cloudera-manager

我有cloudera 5.7，我也有Cloudera Manager。../conf.cloudera.HDFS&#x

浏览 16提问于2017-08-29得票数 1

回答已采纳

2回答

使用python API启动或停止cloudera管理器管理服务

hadoop、cloudera、cloudera-manager

我正在尝试使用Cloud era manager python API来启动和停止集群。如果您能让我知道命令或文档页面？谢谢

浏览 4提问于2013-12-19得票数 0

2回答

如何使用Flume将一组csv文件从本地目录复制到HDFS

csv、hadoop、flume、flume-ng

如何使用Flume将一组csv文件从本地目录复制到HDFS？我尝试使用假脱机目录作为我的源，但未能复制。然后，我使用了以下水槽配置来获得我的结果：agent1.channels = MemoryChannel-2 agent1.sinks.HDFS.hdfs.path = hdfs</em

浏览 0提问于2014-07-20得票数 1

回答已采纳

1回答

cloudera经理降级过程

cloudera、downgrade

在我们的集群中，我将CM5.8.3、CDH5.7.5升级到CM5.11.0、CDH5.9.1，然后我应用了Sentry和spark 2.0版本。因此，HDFS数据没有添加，但HDFS permmision和所有者更改了。yum降级cloudera-经理-代理，cloudera-经理-守护进程，

浏览 4提问于2017-05-20得票数 0

1回答

通过cm_api (优雅地)停用主机

python、api、automation、cloudera、cloudera-manager

我正在尝试使用cm_api (优雅地)让主机从cloudera管理器中退出。我尝试跟踪，但删除了角色并突然停止了在其上运行的纱线容器cloudera_password = "admin" from datetime import datetime, timedeltafrom cm_api</e

浏览 1提问于2015-10-08得票数 0

1回答

Flume-ng:将日志文件从本地复制到HDFS的源路径和类型

hadoop、hdfs、flume、flume-ng、bigdata

我正在尝试使用local将一些日志文件从HDFS复制到flume-ng。source是/home/cloudera/flume/weblogs/，sink是hdfs://localhost:8020/flume/dump/。cron作业将把日志从tomcat服务器复制到/home/cloudera/flume/weblogs

浏览 1提问于2016-03-23得票数 0

回答已采纳

2回答

用Java和Kerberos Keytab从Windows访问Cloudera上的HDFS

java、hdfs、kerberos、cloudera、keytab

我正在尝试连接到运行在Cloudera上的HDFS实例。我的第一步是启用Kerberos并创建Keytab(如所示)。conf.set("fs.defaultFS", "hdfs://cloudera:8020"); conf.set(@CLOUDERA", &qu

浏览 4提问于2017-03-17得票数 1

回答已采纳

1回答

cloudera BDR HDFS复制和快照有什么区别？

hadoop、hdfs、cloudera

测试Cloudera 5.15.1 BDR，对HDFS复制和HDFS快照有点困惑。使用BDR，它将将HDFS数据和快照复制到DR站点。HDFS复制和快照到底有什么区别？HDFS复制与BDR是如何在内部工作的？

浏览 3提问于2018-10-26得票数 1

1回答

hdfs中的权限组(默认情况下)如何工作？？为什么所有用户文件都属于超级组？

hadoop、hdfs、cloudera-cdh

我非常困惑hdfs中的权限组是如何工作的，至少在我的集群中是这样的。假设我有unix用户kranach，它属于组bla。现在，我在hdfs中的根目录具有如下权限因此，我假设，由于我kranach不属于超级组，所以不应该允许我在/下创建目录。drwxr-xr-x - kranach supergroup 0 2015-01-27 23:27 &

浏览 1提问于2015-01-27得票数 0

回答已采纳

2回答

两个文件的Hadoop Put命令

hdfs

可以使用以下命令将名为records.txt的文件从本地复制到HDFS通过使用上面的命令，文件records.txt将以相同的名称复制到HDFS中。但是我想将两个文件(records1.txt和demo.txt)存储到<em

浏览 1提问于2015-03-08得票数 3

回答已采纳

5回答

cause:org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Input path does not exist: hdfsCaused by: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfsCaused by: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Inpu

浏览 7提问于2015-11-13得票数 2

回答已采纳

1回答

Hadoop Crontab Put

bash、hadoop、hdfs、crontab

我试着用crontab编程一个简单的任务，把一些文件从本地复制到HDFS。我的代码是：echo "hdfs dfs -test -d $DIRECTORIO_HDFS">>/home/cloudera/bicing/data/logFilethen echo "hdfs dfs -mkdir -

浏览 0提问于2015-12-10得票数 1

4回答

查找Cloudera* Manager HDFS配置文件*

hadoop、cloudera、cloudera-manager

我已经通过Cloudera Manager安装了一个集群，现在需要手动启动该集群。我一直在使用以下命令：但随后dfs.name.dir被设置为/tmp。我似乎找不到cloudera管理器存放HDFS配置文件的位置。/usr/lib/hadoop-02*/conf中的那些似乎是最小的。他们缺少dfs.name.dir，这正是我特

浏览 1提问于2012-10-31得票数 3

回答已采纳

2回答

禁用Cloudera* Manager中的以下复制块警报*

hdfs、hbase、cloudera、cloudera-manager

我有一个服务器Hbase集群，我只使用它作为HBase复制的接收器端。因此，我不想在这个集群中复制任何块(因为源已经复制了块，我觉得我不需要它)。将此实例的复制因子设置为1。有人知道我如何为集群关闭这个特别的警报吗？

浏览 0提问于2014-07-17得票数 3

1回答

CDH4还原Cloudera管理器到现有集群

cloudera-cdh、data-recovery、cloudera-manager

我们希望通过使用恢复的DB，CM能够管理现有的集群和现有的配置。 sudo服务cloudera-server-db启动=>，这将创建基本角色；重新生成密码等。因此，从我

浏览 2提问于2015-02-14得票数 1

回答已采纳

3回答

如何在我的cloudera集群中找到KUDU主名或端口？

python-3.x、pyspark、cloudera、impala、apache-kudu

我使用的集群是Cloudera集群。我怎样才能在集群中找到库都大师？

浏览 1提问于2018-09-13得票数 1

回答已采纳

3回答

无法将文件写入hdfs -在安全模式下获取错误hdfs

hadoop、hdfs、cloudera-cdh

当我尝试将文件从local directory复制到HDFS中时，出现以下错误：[cloudera@localhost ~]$ su[root@localhost cloudera]# hdfs dfsadmin -safemodeSuperuser privilege is required 并进一步执行命令

浏览 2提问于2015-09-28得票数 1

点击加载更多