在hadoop streaming中，我可以在reducer中将文件写入本地磁盘吗？
在Hadoop Streaming中，Reducer是一个独立的进程，它负责处理Map阶段的输出结果。Reducer的输出通常是写入分布式文件系统（如HDFS）中的文件，而不是写入本地磁盘。
Hadoop Streaming是一种允许使用任意编程语言来编写Map和Reduce函数的工具。它通过标准输入和输出流来接收和输出数据。在Reducer中，您可以将结果写入标准输出流，这些结果将被Hadoop框架捕获并存储在指定的输出路径中。
由于Hadoop是为分布式计算而设计的，它的目标是处理大规模数据集。因此，将文件写入本地磁盘可能会导致数据不均衡和性能问题。此外，Reducer进程在集群中的任意节点上执行，无法保证数据写入到特定节点的本地磁盘上。
如果您需要将数据写入本地磁盘，可以考虑使用其他技术或工具来完成。例如，您可以在Reducer中将数据写入分布式文件系统后，再通过其他手段将数据从分布式文件系统复制到本地磁盘。或者，您可以使用其他分布式计算框架（如Apache Spark）来处理数据，并将结果写入本地磁盘。
总结起来，在Hadoop Streaming中，不建议直接将文件写入Reducer所在节点的本地磁盘，而是将结果写入分布式文件系统或使用其他工具来完成数据的本地存储需求。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：提供高可靠、低成本的对象存储服务，适用于海量数据存储和访问场景。详情请参考：https://cloud.tencent.com/product/cos
- 腾讯云大数据计算服务（TencentDB for TDSQL）：提供PB级数据存储和分析服务，支持Hadoop、Spark等开源框架。详情请参考：https://cloud.tencent.com/product/tdsql
- 腾讯云弹性MapReduce（EMR）：提供高性能、高可靠的大数据处理服务，支持Hadoop、Spark等分布式计算框架。详情请参考：https://cloud.tencent.com/product/emr
相关·内容
2回答
在hadoop streaming中，我可以在reducer中将文件写入本地磁盘吗？
hadoop、mapreduce、hadoop-streaming、reducers
在hadoop streaming中，我可以在reducer中将文件写入本地磁盘吗？例如，在C++的reducer中，如果我编写了fout << "asdf";
这有意义吗？那么fou
浏览 9提问于2016-08-01得票数 0
3回答
流jar无法找到HDFS中的Mapper文件
java、python、hadoop、hdfs
我目前正在尝试运行Hadoop的本地版本，但我有点卡住了。我在安装过程中使用了以下教程：
:libexec me$ hadoop jar/share/hadoop/tools/lib/hadoop-streaming-2.4.0.
浏览 3提问于2014-11-20得票数 1
回答已采纳
2回答
如何使用python在hadoop流作业中使用文件？
python、hadoop、hadoop-streaming
我想从hadoop流作业中的一个文件中读取一个列表。以下是我的简单mapper.py：#!if current_id == id:现在我要说的是：
hadoop jar contrib/streaming/hadoop-
浏览 2提问于2013-11-07得票数 7
回答已采纳
1回答
是否将map任务的输出写入本地文件系统或HDFS？
hadoop、mapreduce
我读到Hadoop Map任务将其输出写入本地磁盘。
假设我只有map任务而没有任何reducer，那么map输出仍然会被写入本地文件系统吗？
浏览 0提问于2012-06-16得票数 1
回答已采纳
2回答
写入相同数据量的多个文件与写入相同数据量的单个大文件
java、hadoop、mapreduce
我想在本地磁盘上写一个大文件。我将大文件分割成许多小文件，并尝试将其写入磁盘。但我观察到，当我拆分文件并尝试写入时，磁盘写入时间会大大增加。此外，我从磁盘复制文件，并将其写入另一台计算机的磁盘(Reducer)。我观察到读取时间也有很大的增
浏览 0提问于2012-10-31得票数 2
回答已采纳
1回答
将附加文件附加到hadoop中的python streamming作业
python、hadoop、amazon-web-services、mapreduce、hadoop-streaming
我想在ec2上运行mapreduce作业。当我运行hadoop作业时，我的命令应该是什么？我应该使用-file还是-cache？我两个都试过了，但都不起作用。这是我正在使用的输入：hado
浏览 1提问于2015-05-04得票数 0
2回答
一个完全分布的Hadoop/MapReduce程序有任何方法让它的单个节点读取本地输入文件吗？
hadoop、mapreduce、hadoop-streaming
但是，我不想将所有输入任务移到HDFS上，而是想看看是否有一种方法可以从每个节点的本地文件夹读取输入数据。hadoop jar $HADOOP_STREAM/hadoop-streaming-0.20.203.0.jar \
浏览 3提问于2011-11-20得票数 1
8回答
在Hadoop中将多个文件合并为一个文件
hadoop、apache-pig
我将多个小文件放到我的输入目录中，我希望将它们合并到一个文件中，而不使用本地文件系统或编写mapred。有没有办法可以用hadoof fs命令或者Pig来做呢？
谢谢!
浏览 19提问于2010-08-23得票数 32
2回答
mapreduce中的多个文件
hadoop、mapreduce
我是mapreduce程序的新手，我遵循Tom white Hadoop的权威指南，我正在做气象数据程序，我想在这个程序中找到每年的最高气温。我有4个文件，1901年，1902年，1904年，1905年，每年一个文件(我做了一个文件每年)。
如何在mapreduce程序中设置四个输入文件。Hadoop安装在伪分布式模式上。请帮帮我。
浏览 3提问于2015-08-07得票数 0
回答已采纳
1回答
使用Python的Hadoop EMR
python、hadoop、emr
我使用Hadoop流来使用python中的mapper和还原程序代码来运行Mapreduce作业。我在s3中有输入数据，我正在尝试在工作中使用它。但是，当我像这样运行命令时->-mappera
浏览 3提问于2014-06-20得票数 0
回答已采纳
4回答
如何合并两个bzip2'ed文件？
compression、hadoop、bzip2
我想合并两个bzip2格式的文件。我尝试将一个文件附加到另一个文件：cat file1.bzip2 file2.bzip2 > out.bzip2，它似乎工作正常(该文件正确解压缩)，但我想使用该文件作为Hadoop输入文件，并且我收到关于损坏块的错误合并2个bzip2格式的文件而不解压的最好方法是什么？
浏览 2提问于2010-07-03得票数 0
回答已采纳
1回答
通过从SSH中直接调用Hadoop来启动作业
hadoop、amazon-web-services、elastic-map-reduce
我已经使用SSH登录到is，并希望启动另一个作业，但每次尝试都失败了，因为hadoop找不到输入文件。我已经尝试在本地和S3上存储输入文件。(第一次尝试使用本地文件存储，这是我通过使用SFTP上传文件创建的)
hadoop jar hadoop-0.20-<e
浏览 0提问于2011-10-05得票数 0
回答已采纳
2回答
Hadoop:没有这样的文件或目录
hadoop、putty
因此，我对Hadoop和命令行非常陌生，尽管我以前做过一些编程(作为学生)。我试着在学校机器上运行一些简单的程序(一个教程的一部分)。我以前已经使用过Hadoop命令，并运行了一个不同的简单程序，但是我仍然坚持这个程序。不，这不是作业。只是一个教程，以了解Hadoop命令。说明如下：测试守则虽然采用非分布式的方式，但它模拟Hadoop在
浏览 8提问于2015-10-22得票数 0
回答已采纳
3回答
如何在不使用repartition和copyMerge的情况下合并spark结果文件？
scala、hadoop、apache-spark
我使用下面的代码：pathToResults目录下有很多文件，比如part-0000，part我可以使用FileUtil.copyMerge()，但它真的很慢，它下载所有的文件到驱动程序，然后上传到hadoop.但是FileUtil.copyMerge()比：
csv.repartition(1saveAsTextFile(pathToResults, classOf[GzipC
浏览 0提问于2015-03-13得票数 7
回答已采纳
在Hadoop中，所有映射器输出都存储在本地磁盘中(而不是HDFS中)。任何Hadoop作业都有可能没有reducer。
在这种情况下，映射器输出仍然存储在本地磁盘中吗？如果输出存储在本地磁盘上，可靠性如何？如果没有可用的reducer，有没有办法将映射器输
浏览 0提问于2015-07-23得票数 1
3回答
在Hadoop上运行Python代码失败
python、hadoop-streaming
我已经尝试按照此页面上的说明进行操作：
$bin/hadoop jar contrib/streaming/hadoop-streaming-1.0.4.jar -input /user/root/wordcountpythontxtuser/root/wordcountpython/reducer.py -file /user/root/mapper.py -file
浏览 0提问于2013-03-12得票数 6
回答已采纳
7回答
python中出现Hadoop流作业失败错误
python、hadoop、mapreduce
在中，我已经成功地运行了示例练习。但是在运行我的mapreduce作业时，我得到了以下错误java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 2
atorg.apache.hadoop.stre
浏览 0提问于2010-12-16得票数 22
回答已采纳
1回答
将JSON参数作为字符串传递给python流应用程序
python、json、hadoop、hadoop-streaming
我想将一个JSON字符串作为命令行参数传递给我的reducer.py文件，但我无法这样做。我执行的命令是：当我在red
浏览 2提问于2015-02-11得票数 4
回答已采纳
1回答
AWS无法从S3桶中找到Mapper文件--没有这样的文件或目录
amazon-web-services、amazon-s3、amazon-emr
(PipeMapRed.java:208)我尝试修改activity命令以将完整的路径添加到wordSplitter.py文件的S3中，如下所示我找到了，实际上，在将它上传到S3之前，我在windows机器上保存了python脚本，但我删除了该文件，并将其从源位置直接复
浏览 1提问于2018-05-22得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
