我正在尝试使用node.js将一个文件上传到HDFS。我使用的是,但是在HDFS上结束的文件是空的(stupidfile.txt不是)
var WebHDFS = require('webhdfs');
var hdfs = WebHDFS.createClient();
var fs = require('fs')
var localFilePath = "stupidfile.txt";
var remoteFilePath = "/user/cloudera/doesthiswork.txt";
var localFil
我已经安装了hue,hue中的文件浏览器不工作,并抛出一个"Server Error (500)“。
来自error.log的数据
webhdfs ERROR Failed to determine superuser of WebHdfs at http://namenode:50070/webhdfs/v1: SecurityException: Failed to obtain user group information: org.apache.hadoop.security.authorize.AuthorizationException: User: hue
我目前正在构建一个节点应用程序,当我的一个服务不运行时,它使用hadoop作为数据的长期存储。由于预期的传输量和最短的处理时间是首选的,所以数据不会被写入磁盘,而是直接通过管道传输到我想要做的事情。
我收到以下错误:
\nodejs_host\node_modules\webhdfs\lib\webhdfs.js:588
src.unpipe(req);
^
TypeError: src.unpipe is not a function
at Request.onPipe (\nodejs_host\node_modules\webhdfs\lib\webhd
我要禁用HDFS web UI 。我试着通过下面的配置禁用它,但是它仍然可以访问。
<property>
<name>dfs.webhdfs.enabled</name>
<value>false</value>
<description>Enable or disable webhdfs. Defaults to false</description>
</property>
我已经在windows中为hadoop-2.6.0配置了SASL的kerberos安全性。
一切都很好。但是webhdfs没有在https协议上工作。
Permission denied when trying to open /webhdfs/v1/?op=LISTSTATUS: GSSException: Defective token detected (Mechanism level: GSSHeader did not find the right tag)
我刚刚用做了测试
我已经设置了以下属性。但仍然有同样的错误。
<property>
<name>
我想下载HDFS目录中的特定文件,它们的名称以"total_conn_data_“开头。因为我有很多文件,所以我想写一个bash脚本。 下面是我要做的: myPatternFile="total_conn_data_*.csv"
for filename in `curl -i -X GET "https://knox.blabla/webhdfs/v1/path/to/the/directory/?OP=LISTSTATUS" -u username`; do
curl -i -X GET "https://knox.blabla/web