如下所示TwitterAgent.sources = Twitter TwitterAgent.sinks = HDFSTwitterAgent.channels.MemChannel.capacity = 10000TwitterAgent.channels.MemChannel.transactionCapacity = 100TwitterAgent.sinks.HDFS.channel= MemChannel
TwitterAgent.sinks.
浏览 2提问于2016-01-19得票数 0
我已经在两台机器上设置了hadoop集群。一台机器同时具有主和从-1。第二台机器有slave-2。当我使用start-all.sh启动集群时，我在secondarynamenode的.out文件中得到以下错误：
java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "ip-10-179-185-169/10.179.185.169&
浏览 1280提问于2017-06-23得票数 0
1回答
core-site.xml <name>fs.defaultFS</name> </property>( 1) 50070 ->查看hd
浏览 5提问于2017-04-14得票数 2
回答已采纳
HDFSEventSink.java:455)] HDFS IO erroragent1.sinks.PurePathSink.hdfs.fileType= DataStream
agent1.si
浏览 7提问于2017-07-20得票数 0
回答已采纳
我希望通过hdfs的服务器地址连接到cloudera虚拟机上的hadoop实例。有人知道如何找到这个IP地址吗？
如果没有，我如何在虚拟机中本地连接到hdfs，因为它们都运行在同一台计算机上。
浏览 4提问于2014-05-21得票数 0
(NameNode.java:942) at org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:1001) at org.apa
浏览 0提问于2020-07-21得票数 -2
回答已采纳
2回答
hadoop distcp -update hftp://server1:50070/hbase/test/x hdfs://server2:8020/copy/14/01tools.DistCp: srcPaths=[hftp://server1:50070/hbase/test/x]
14/01/28 19:42:43 INFO tools.DistCp: destPath=
浏览 5提问于2014-01-28得票数 0
回答已采纳
我正在尝试将FLUME与HDFS集成，我的FLUME配置文件是hdfs-agent.sinks = hdfs-writehdfs-agent.sources.netcat-collect.port = 11111
hdfs-agent.sinks.hdfs-write.type = FILE_ROLLhdfs
浏览 28提问于2014-02-14得票数 1
回答已采纳
1回答
我已经设置了hdfs连接，并且文件就在那里，但是它一直在戳文件，永远不会完成。戳取文件hdfs://user/airflow/stamps/test/ds=2018-10-15/_SUCCESShdfs_sense_open = HdfsSensor(hdfs_conn_id='hdfs_leo',
实际上，它在路径中没有文件名的情况下工作。我还想在创建hdfs
浏览 0提问于2018-10-18得票数 1
我想通过Talend Open Studio for Big Data (7.2.1)连接到Hive。例如，如果我尝试通过专用复选框/字段设置namenode URI：
然后我在执行过程中出现了一个错误：
System.setProperty("fs.default.name", "mynamenode");
浏览 0提问于2019-07-25得票数 0
1回答
我使用的代码如下：import urllib3在linux上，如果我给出一个本地路径，tika可以解析，但是对于hdfs路径，我得到一个
Spark I/O error: No such file
浏览 0提问于2018-03-13得票数 1
1回答
我想访问存储在HDFS中的视频&在web浏览器中显示它们。我在github上找到了这个项目( )，它确实做到了这一点，但无法使它工作。有人能给我提供一些信息或方法，我可以在一个网页浏览器上显示HDFS中存储的视频。另外，是否有可能获得存储在HDFS中的视频的HTTP链接，我读过关于WebHDFS和HTTPFS的文章，但不太了解。
浏览 2提问于2016-05-26得票数 1
回答已采纳
: fs.defaultFS is hdfs://localhost:9000
浏览 0提问于2016-02-04得票数 0
回答已采纳
我创建了一个由几个协调器和各自的工作流组成的oozie包。该捆绑包以前运行良好，但随着添加新的工作流，它完全停止工作。XML似乎是有效的(使用oozie进行了验证)，协调器和工作流本身也工作得很好(具有合适的属性)。仅仅运行作业就会导致包被提交，并在没有启动协调器的情况下标记为“失败”。因此
浏览 0提问于2016-04-29得票数 2
sc.textFile("hdfs://localhost:54310/home/myFiles/sampleFile")
在此中，54310是core-site.xml中指定的端口号。
浏览 2提问于2014-02-04得票数 0
我能够在hdfs上进行正常的hadoop操作，而无需使用spark。但当我在火花壳中使用下面的代码时，scala>file.count()
我得到“输入路径不存在核心-site.xml具有值为hdfs://localhost:9000的fs.defaultFS。如果我给本地主机没有端口号，我会得到“连接拒绝”错误，因为它正在侦听默
浏览 1提问于2016-07-29得票数 0
扫描后，使用扫描行，尝试在hdfs中使用csv文件。 tmp=[]
pass
try: cmd="hdfsst%50==
浏览 3提问于2019-02-10得票数 0
3回答
我正在尝试从集群外部(HDFS apis)在HDFS中创建一个文件，如下所示： conf.set("mapred.job.tracker", "192.168.56.101:54310");
FileSystem(DFSClie
浏览 4提问于2014-03-30得票数 0
2回答
我的第一个Sqoop作业出错。
、、、、
这是我正在执行的命令。错误->>Warning: /media/akshay/MyMedia/sqoop-1.4.6.bin__hadoop-1.0.0/../hbase does not exist! HBase imports will fail.
Pl
浏览 1提问于2016-05-20得票数 0
我用的是ubuntu 12.04，下载后解压hbase-0.94.1.jar。我通过以下命令在独立模式下启动了hbashstarting master, logging to /home/user/temp/hbase-0.94.1/bin/../logs/hbase-user-master-ubuntu.outhttp://localhost:60010谢谢。
浏览 3提问于2012-10-24得票数 14
云服务器
ICP备案
云直播
对象存储
腾讯会议
腾讯云开发者
