文章/答案/技术大牛

发布

社区首页 >问答首页 >java.io.IOException: Hadoop，Hadoop流中没有这样的文件或目录error=2

问java.io.IOException: Hadoop，Hadoop流中没有这样的文件或目录error=2
EN

Stack Overflow用户

提问于 2011-07-22 14:25:18

回答 2查看 1.6K关注 0票数 0

请帮助解决hadoop streaming的"-file“选项问题(在下面的链接中提到)。更新一下，我知道jar已经在那里了，在我尝试hadoop-streaming处理另一个失败的类文件后，我正在尝试这个，以便确定是否类文件本身或我使用它的方式有问题。如果您需要stderr文件，请让我知道。

Problem with Hadoop Streaming -file option for Java class files。

hadoop

mapreduce

回答 2

Stack Overflow用户

回答已采纳

发布于 2011-07-22 17:57:13

您不能真正使用-file发送jars，因为hadoop不支持多个jars (还不在CLASSPATH中)，请检查streaming docs

至少从0.14版本开始，Hadoop不支持多个jar文件。因此，在指定您自己的自定义类时，您必须将它们与流jar打包在一起，并使用自定义jar而不是默认的hadoop流jar。

票数 1

Stack Overflow用户

发布于 2011-07-26 19:56:45

要向CLASSPATH中添加多个jar文件..您可以使用hadoop中指定的-libjars选项(在页面上搜索单词"libjar“)。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/6791467

复制

fatal error: boost/algorithm/string.hpp: 没有那个文件或目录 [#c++,VM,linux]

权限终端

遇见的问题：解决方法: 在终端输入（如下），安装libboost apt-get install libboost-dev 提醒我说：权限不够 sudo su 输入你的密码 OK~

天天Lotay

2022/12/01

1.8K0

解决g++: error: /usr/lib/libuuid.a: 没有那个文件或目录

linux

****uuid是什么**** UUID含义是通用唯一识别码 (Universally Unique Identifier)，这是一个软件建构的标准。 ---- 今天编译源码竟然出现这样的问题：g++: error: /usr/lib/libuuid.a: 没有那个文件或目录。使用sudo apt-get install uuid-dev安装uuid开发接口后，头文件/usr/include/uuid/uuid.h存在，但是libuuid.so.1.*和libuuid.a找不到 ---- ****

AlicFeng

2018/06/08

2.5K0

hadoop之hadoop目录结构

include native share

首先是bin目录下：然后是etc：主要存放各种配置文件 include： native：本地库 sbin：存放着一些指令 share：

西西嘛呦

2020/08/26

8180

Hadoop的目录结构

hadoop 大数据 yarn node.js c++

-rw-r--r--@ 1 marron27 staff 106210 10 23 2019 LICENSE.txt -rw-r--r--@ 1 marron27 staff 15841 10 23 2019 NOTICE.txt -rw-r--r--@ 1 marron27 staff 1366 10 23 2019 README.txt drwxr-xr-x@ 13 marron27 staff 416 10 23 2019 bin drwxr-xr-x@ 3

栗筝i

2022/12/01

5760

Hadoop的管理目录

大数据 hadoop node.js

1、NameNode的文件结构,NameNode会创建VERSION、edits、fsimage、fstime文件目录。其中dfs.name.dir属性是一个目录列表，是每个目录的镜像文件。VERSION文件是JAVA属性文件，其中包含运行HDFS的版本信息。包含内容:

用户3003813

2018/09/06

7570

bad interpreter 没有那个文件或目录

windows linux python

今天在linux上运行一个python脚本，总是报错bad interpreter，开始我以为是解释器的路径问题，可是whereis python告诉我路径没有错！

老高的技术博客

2022/12/27

1.2K0

Hadoop集群中的日志文件

node.js javascript hadoop 面向对象编程

Hadoop存在多种日志文件，其中master上的日志文件记录全面信息，包括slave上的jobtracker与datanode也会将错误信息写到master中。而slave中的日志主要记录完成的task任务信息。

星哥玩云

2022/07/04

1.4K0

Hadoop2中的日志

yarn unix node.js 面向对象编程 hadoop

日志是定位问题最重要的手段，Hadoop2中的日志主要有三类：系统日志；应用日志（Job）；标准输出

星哥玩云

2022/06/30

2780

Hadoop阅读笔记（五）——重返Hadoop目录结构

hadoop

本文介绍了Hadoop的MapReduce编程模型、运行过程、源码目录结构及其核心包的功能。通过阅读本文，读者可以快速了解Hadoop的MapReduce实现，为进一步学习Hadoop的源码和实现细节提供有效的帮助。

JackieZheng

2018/01/08

1.2K0

Hadoop中的文件操作 FileSystem

node.js hadoop 大数据 java 文件存储

本地文件（linux）的路径要写为 file:///开头的，然后加上实际文件路径。例如：file:///home/myHadoop/test

星哥玩云

2022/06/29

5230

g++: error trying to exec 'cc1plus': execvp: 没有那个文件或目录

linux c 语言

这个错误是gcc和g++版本不兼容导致的，也有可能是安装完gcc没有安装g++ 首先安装gcc和g++及一些依赖包 sudo apt-get install build-essential sudo apt-get install g++ 安装完成后使用 gcc -v 查看版本，然后使用g++ -v 查看版本，保证版本一致如果系统中安装有多个版本的gcc 那么就需要ln一下，我的机器上边安装的是4.3的，所以执行命令如下 sudo ln -sf g++-4.3 /usr/bin/g++ sudo ln

cloudskyme

2018/03/20

3.6K0

启动hadoop，jps没有datanode

其他

启动./start-dfs.sh后jps发现没有datanode进程。查看日志 2018-02-27 13:54:27,918 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting 2018-02-27 13:54:29,140 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /home/hadoop/app/tmp/dfs/data/in_use.lock

sparkle123

2018/04/26

4.5K0

hadoop（6）——mrjob的使用（2）——交给hadoop集群

node.js hadoop python 大数据

ps：中间遇到了很多坑，比如说在执行该命令向前，一定要先hadoop fs -rm -r /output，不然已经建立了该文件夹hadoop会报错还有就是如果在虚拟环境下创建该任务，除了（3）的命令外，一定要加上– python-bin +/python解释器的位置参数还有就是一定要把safe模式关掉：hdfs dfsadmin -safemode leave

gzq大数据

2020/11/11

6550

安装 paddleocr 报错 gcc: error trying to exec ‘cc1‘: execvp: 没有那个文件或目录

linux centos

安装 paddleocr pip install paddleocr -i https://pypi.tuna.tsinghua.edu.cn/simple 报错 creating build/temp.linux-x86_64-3.8 creating build/temp.linux-x86_64-3.8/Levenshtein gcc -pthread -B /opt/bdp/data01/anaconda3/envs/pp21/compiler_compat -Wl,--sysroot=/ -Wsi

Michael阿明

2022/01/07

1.4K0

Hadoop初体验之Hadoop安装包目录结构

xml hadoop 大数据 mapreduce yarn

#在/export/data/目录中创建a.txt文件，并写入数据 cd /export/data/ touch a.txt echo "hello" > a.txt #将a.txt上传到HDFS的根目录 hadoop fs -put a.txt /

用户1880875

2021/08/26

5220

hadoop中的一些概念——数据流

大数据 hadoop 存储编程算法 mapreduce

数据流　　首先定义一些属于。MapReduce作业（job）是客户端需要执行的一个工作单元:它包括输入数据、MapReduce程序和配置信息。Hadoop将作业分成若干个小任务（task）来执行，其中包括两类任务，map任务和reduce任务。　　有两类节点控制着作业执行过程，：一个jobtracker以及一系列tasktracker。jobtracker通过调度tasktracker上运行的任务，来协调所有运行在系统上的作业。tasktracker在运行任务的同时，将运行进度报告发送给jobtracker，jobtracker由此记录每项作业任务的整体进度情况。如果其中一个任务失败，jobtracker可以再另外衣tasktracker节点上重新调度该任务。　　Hadoop将MapReduce的输入数据划分成等长的小数据块，称为输入分片（input split）或简称分片。Hadoop为每个分片构建一个map任务，并由该任务来运行用户自定义的map函数从而处理分片中的每条记录。　　拥有许多分片，意味着处理每个分片所需要的时间少于处理整个输入数据所花的时间。因此，如果我们并行处理每个分片，且每个分片数据比较小，那么整个处理过程将获得更好的负载平衡，因为一台较快的计算机能够处理的数据分片比一台较慢的计算机更多，且成一定比例。即使使用相同的机器，处理失败的作业或其他同时运行的作业也能够实现负载平衡，并且如果分片被切分的更细，负载平衡的质量会更好。　　另一方面，如果分片切分的太小，那么管理分片的总时间和构建map任务的总时间将决定着作业的整个执行时间。对于大多数作业来说，一个合理的分片大小趋向于HDFS的一个块的大小，默认是64MB，不过可以针对集群调整这个默认值，在新建所有文件或新建每个文件时具体致死那个即可。　　Hadoop在存储有输入数据（Hdfs中的数据）的节点上运行map任务，可以获得最佳性能。这就是所谓的数据本地化优化。现在我们应该清楚为什么最佳分片大小应该与块大小相同：因为它是确保可以存储在单个节点上的最大输入块的大小。如果分片跨越这两个数据块，那么对于任何一个HDFS节点，基本上不可能同时存储这两个数据块，因此分片中的部分数据需要通过网络传输到map任务节点。与使用本地数据运行整个map任务相比，这种方法显然效率更低。　　map任务将其输出写入本地硬盘，而非HDFS，这是为什么？因为map的输出是中间结果：该中间结果由reduce任务处理后才能产生最终输出结果，而且一旦作业完成，map的输出结果可以被删除。因此，如果把它存储在HDFS中并实现备份，难免有些小题大做。如果该节点上运行的map任务在将map中间结果传送给reduece任务之前失败，Hadoop将在另一个节点上重新运行这个map任务以再次构建map中间结果。　　reduce任务并不具备数据本地化的优势——单个reduce任务的输入通常来自于所有mapper的输出。在下面的李宗中，我们仅有一个reduce任务，其输入是所有map任务的输出。因此，排过序的map输出需要通过网络传输发送到运行reduce任务的节点。数据在reduce端合并，然后由用户定义的reduce函数处理。reduce的输出通常存储在HDFS中以实现可靠存储。对于每个reduce输出的HDFS块，第一个副本存储在本地节点上，其他副本存储在其他机架节点中。因此，reduce的输出写入HDFS确实需要占用网络带宽，但这与正常的HDFS流水线写入的消耗一样。　　一个reduce任务的完成数据流如下：虚线框表示节点，虚线箭头表示节点内部数据传输，实线箭头表示节点之间的数据传输。

MickyInvQ

2020/09/27

7400

Hadoop中HDFS读取文件的原理剖析

node.js hadoop 文件存储存储

上一篇文章中简单介绍了一下Hadoop文件存储的一些逻辑与简单原理（见 http://www.linuxidc.com/Linux/2015-02/113638.htm），既然后写入，那肯定要读取分析数据咯，下面我在白话一下hdfs中文件读取的逻辑与简单原理。

星哥玩云

2022/07/04

5250

Hadoop1和Hadoop2的区别

hadoop 大数据 yarn node.js 文件存储

NameNode其实是Hadoop的一个目录服务，它包含着整个集群存储的文件的元数据。

我脱下短袖

2019/12/23

1K0

Shell遍历hadoop目录的批量操作

shell

每天产生3T（约2.5W个gz压缩文件）的DPI日志文件，因存储等各种问题，需要尽可能的节约存储。日志文件中有26个字段，根据业务需求需要提取6个字段。

小小工匠

2021/08/16

6280

Hadoop中HDFS写入文件的原理剖析

node.js 大数据 hadoop 编程算法 rpc

要为即将到来的大数据时代最准备不是，下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情，位将来集群问题的排查提供一些参考依据。

星哥玩云

2022/07/04

7930

相似问题

Hadoop:没有这样的文件或目录

FileNotFoundError：[Errno 2]没有这样的文件或目录：'hadoop‘

Hadoop\HDFS：“没有这样的文件或目录”

bin/hadoop没有这样的文件或目录

hadoop get‘没有这样的文件或目录’

280

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问java.io.IOException: Hadoop，Hadoop流中没有这样的文件或目录error=2
EN

回答 2

Stack Overflow用户

Stack Overflow用户

Hadoop:没有这样的文件或目录

FileNotFoundError：[Errno 2]没有这样的文件或目录：'hadoop‘

Hadoop\HDFS：“没有这样的文件或目录”

bin/hadoop没有这样的文件或目录

hadoop get‘没有这样的文件或目录’

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问java.io.IOException: Hadoop，Hadoop流中没有这样的文件或目录error=2EN

回答 2

Stack Overflow用户

Stack Overflow用户

Hadoop:没有这样的文件或目录

FileNotFoundError：[Errno 2]没有这样的文件或目录：'hadoop‘

Hadoop\HDFS：“没有这样的文件或目录”

bin/hadoop没有这样的文件或目录

hadoop get‘没有这样的文件或目录’

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问java.io.IOException: Hadoop，Hadoop流中没有这样的文件或目录error=2
EN