blocks|key|4066089|text|fs+-copyFromLocal+-f+$LOCAL_MOUNT_SRC_PATH/yourfilename.txt+your_hdfs_file-path|type|code-block|depth|inlineStyleRanges|entityRanges|data|syntax|javascript|4066090|所以-f选项可以帮你解决这个问题。|unstyled|offset|length|style|CODE|4066091|它也适用于-copyToLocal。|4066092|entityMap^0|0|2|2|0|5|C|0^^$0|@$1|2|3|4|5|6|7|O|8|@]|9|@]|A|$B|C]]|$1|D|3|E|5|F|7|P|8|@$G|Q|H|R|I|J]]|9|@]|A|$]]|$1|K|3|L|5|F|7|S|8|@$G|T|H|U|I|J]]|9|@]|A|$]]|$1|M|3|-4|5|F|7|V|8|@]|9|@]|A|$]]]|N|$]]

<pre><code>fs -copyFromLocal -f $LOCAL_MOUNT_SRC_PATH/yourfilename.txt your_hdfs_file-path
</code></pre>

So <code>-f</code> option does the trick for you.

It also works for <code>-copyToLocal</code> as well.

blocks|key|5484607|text|您可以先删除，再写入。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|5484608|hadoop+fs+-rmr+<path>会删除hdfs中给定路径下的所有内容，包括路径本身|offset|length|style|CODE|5484609|rm+-rf+<path>在本地文件系统中删除。|5484610|确保目录中没有其他文件。|5484611|entityMap^0|0|0|L|0|0|D|0|0^^$0|@$1|2|3|4|5|6|7|N|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|O|8|@$D|P|E|Q|F|G]]|9|@]|A|$]]|$1|H|3|I|5|6|7|R|8|@$D|S|E|T|F|G]]|9|@]|A|$]]|$1|J|3|K|5|6|7|U|8|@]|9|@]|A|$]]|$1|L|3|-4|5|6|7|V|8|@]|9|@]|A|$]]]|M|$]]

You can first delete, then write. 

<code>hadoop fs -rmr &lt;path&gt;</code> removes everything under given path in hdfs including the path itself

<code>rm -rf &lt;path&gt;</code> removes in local file system. 

Make sure that there is no other file in the directory.

blocks|key|5484677|text|我使用了下面的命令，它很有帮助：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|5484678|hadoop+fs+-put+-f+<<local+path>>+<<hdfs>>|code-block|syntax|javascript|5484679|但是来自put文档：|5484680|5484681|将单个源或多个源从本地文件系统拷贝到目标文件系统。|blockquote|5484682|5484683|entityMap^0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|P|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|Q|8|@]|9|@]|A|$E|F]]|$1|G|3|H|5|6|7|R|8|@]|9|@]|A|$]]|$1|I|3|-4|5|6|7|S|8|@]|9|@]|A|$]]|$1|J|3|K|5|L|7|T|8|@]|9|@]|A|$]]|$1|M|3|-4|5|6|7|U|8|@]|9|@]|A|$]]|$1|N|3|-4|5|6|7|V|8|@]|9|@]|A|$]]]|O|$]]

I used the command below and it helped:

<pre><code>hadoop fs -put -f &lt;&lt;local path&gt;&gt; &lt;&lt;hdfs&gt;&gt;
</code></pre>

but from put docs:

<blockquote>
 Copy single src, or multiple srcs from local file system to the
 destination file system.
</blockquote>

blocks|key|5484578|text|这两个命令(get+/copytolocal)都没有强制选项。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|5484579|以下是三个选项：|5484580|使用copyToLocal/get.|5484581|Rename+|unordered-list-item|5484582|+rm命令删除本地计算机上的文件，并将本地文件命名为新名称，这样您就可以拥有与群集上的文件同名的文件。为此，请使用mv命令并使用get/copyTolocal拷贝群集本身上的文件，然后使用command.|ordered-list-item|5484583|Rename|5484584|5484585|5484586|hadoop+fs+-mv旧路径hadoop+fs+-copytolocal新路径。|5484587|entityMap|0|LINK|mutability|MUTABLE|url|http://en.wikipedia.org/wiki/Rm_%2528Unix%2529|1|http://en.wikipedia.org/wiki/Mv^0|6|3|B|B|0|0|2|F|0|0|1S|F|1|2|0|1L|2|1|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|15|8|@$9|16|A|17|B|C]|$9|18|A|19|B|C]]|D|@]|E|$]]|$1|F|3|G|5|6|7|1A|8|@]|D|@]|E|$]]|$1|H|3|I|5|6|7|1B|8|@$9|1C|A|1D|B|C]]|D|@]|E|$]]|$1|J|3|K|5|L|7|1E|8|@]|D|@]|E|$]]|$1|M|3|N|5|O|7|1F|8|@$9|1G|A|1H|B|C]]|D|@$9|1I|A|1J|1|1K]|$9|1L|A|1M|1|1N]]|E|$]]|$1|P|3|Q|5|O|7|1O|8|@]|D|@]|E|$]]|$1|R|3|-4|5|6|7|1P|8|@]|D|@]|E|$]]|$1|S|3|-4|5|6|7|1Q|8|@]|D|@]|E|$]]|$1|T|3|U|5|6|7|1R|8|@]|D|@]|E|$]]|$1|V|3|-4|5|6|7|1S|8|@]|D|@]|E|$]]]|W|$X|$5|Y|Z|10|E|$11|12]]|13|$5|Y|Z|10|E|$11|14]]]]

Force option is not there for either of the commands (<code>get</code> /<code>copytolocal</code>).

Below are three options:

<ol>
<li>Remove the file on localmachine with <a href="http://en.wikipedia.org/wiki/Rm_%28Unix%29" rel="nofollow noreferrer">rm</a> command and use <code>copyToLocal/get</code>.</li>
<li>Rename your local file to new name so that you can have the file with same name as on cluster. use <a href="http://en.wikipedia.org/wiki/Mv" rel="nofollow noreferrer">mv</a> command for that and use <code>get/copyTolocal</code> command.</li>
<li>Rename the file there on the cluster itself and use copytolocal

<pre><code>hadoop fs -mv [oldpath] [newpath]
hadoop fs -copytolocal [newpath] .
</code></pre></li>
</ol>

blocks|key|5484735|text|-f选项起到了作用|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|5484736|示例：|5484737|bin>hdfs+dfs+-put+-f+D:\DEV\hadoopsampledata\mydata.json+/input|code-block|syntax|javascript|5484738|entityMap^0|0|2|0|0|0^^$0|@$1|2|3|4|5|6|7|O|8|@$9|P|A|Q|B|C]]|D|@]|E|$]]|$1|F|3|G|5|6|7|R|8|@]|D|@]|E|$]]|$1|H|3|I|5|J|7|S|8|@]|D|@]|E|$K|L]]|$1|M|3|-4|5|6|7|T|8|@]|D|@]|E|$]]]|N|$]]

<code>-f</code> option did the trick

example:

<pre><code>bin&gt;hdfs dfs -put -f D:\DEV\hadoopsampledata\mydata.json /input
</code></pre>

blocks|key|5484705|text|您可以尝试在-update中使用distcp。主要优点是仅当文件中有更改时才会更新目标。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|5484706|hadoop+distcp目标file://source+hdfs://名称节点/+-update|5484707|hadoop+distcp+-update++file:///home/hduser/pigSample/labfiles/SampleData/books.csv++hdfs://10.184.37.158:9000/yesB|code-block|syntax|javascript|5484708|entityMap^0|0|0|0^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|L|8|@]|9|@]|A|$]]|$1|D|3|E|5|F|7|M|8|@]|9|@]|A|$G|H]]|$1|I|3|-4|5|6|7|N|8|@]|9|@]|A|$]]]|J|$]]

You can try with distcp with -update . Main advantage is it will be update the target only when there is change in the file.

hadoop distcp -update file://source hdfs://namenode/target

<pre><code>hadoop distcp -update file:///home/hduser/pigSample/labfiles/SampleData/books.csv hdfs://10.184.37.158:9000/yesB
</code></pre>

blocks|key|4066053|text|你可以试试这个：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|4066054|bin/hadoop+fs+-rm+/path_of_the_file+%7C+grep+"0"+%7C+bin/hadoop+fs+-put+~/input_path+/output_path|code-block|syntax|javascript|4066055|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|I|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|J|8|@]|9|@]|A|$E|F]]|$1|G|3|-4|5|6|7|K|8|@]|9|@]|A|$]]]|H|$]]

You could try this :

<pre><code>bin/hadoop fs -rm /path_of_the_file | grep "0" | bin/hadoop fs -put ~/input_path /output_path
</code></pre>

blocks|key|1598857|text|-f为我工作。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1598858|1598859|+hdfs+dfs+-copyFromLocal+-f+LOCALFILEPATH|blockquote|1598860|1598861|entityMap^0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|I|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|J|8|@]|9|@]|A|$]]|$1|C|3|D|5|E|7|K|8|@]|9|@]|A|$]]|$1|F|3|-4|5|6|7|L|8|@]|9|@]|A|$]]|$1|G|3|-4|5|6|7|M|8|@]|9|@]|A|$]]]|H|$]]

The -f work me.

<blockquote>
 hdfs dfs -copyFromLocal -f [LOCALFILEPATH] [HDFSFILEPAHT]
</blockquote>

Is there any way we can overwrite existing files, while coping from <code>HDFS</code> using: 

<pre><code>hadoop fs -copyToLocal &lt;HDFS PATH&gt; &lt;local path&gt;
</code></pre>

How to overwrite the existing files using hadoop fs -copyToLocal command

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

有没有什么方法可以覆盖现有的文件，同时从HDFS中使用：hadoop fs -copyToLocal <HDFS PATH> <local path>

问如何使用hadoop fs -copyToLocal命令覆盖现有文件
EN

回答 8

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何使用hadoop fs -copyToLocal命令覆盖现有文件EN

回答 8

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何使用hadoop fs -copyToLocal命令覆盖现有文件
EN