blocks|key|234369|text|iconv可以做到|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|234370|iconv+-f+cp1252+foo.txt|code-block|syntax|javascript|234371|entityMap|0|LINK|mutability|MUTABLE|url|http://linux.die.net/man/1/iconv^0|0|5|0|5|0|0|0^^$0|@$1|2|3|4|5|6|7|S|8|@$9|T|A|U|B|C]]|D|@$9|V|A|W|1|X]]|E|$]]|$1|F|3|G|5|H|7|Y|8|@]|D|@]|E|$I|J]]|$1|K|3|-4|5|6|7|Z|8|@]|D|@]|E|$]]]|L|$M|$5|N|O|P|E|$Q|R]]]]

<a href="http://linux.die.net/man/1/iconv" rel="nofollow"><code>iconv</code></a>
can do it

<pre><code>iconv -f cp1252 foo.txt
</code></pre>

blocks|key|234433|text|您的方法必须逐个字节地读取，并且完全理解和理解字符的字节结构。最简单的方法是使用编辑器，它可以读取除输出UTF-8字符以外的任何内容。Textpad是一种选择。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|234434|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

Your method must read byte by byte and fully understand and appreciate the byte wise construction of characters. The simplest method is to use an editor which will read anything but only output UTF-8 characters. Textpad is one choice.

blocks|key|452373|text|此命令：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|452374|iconv+-f+utf-8+-t+utf-8+-c+file.txt|code-block|syntax|javascript|452375|将清除您的UTF-8文件，跳过所有无效字符。|452376|-f+is+the+source+format
-t+the+target+format
-c+skips+any+invalid+sequence|452377|entityMap^0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|N|8|@]|9|@]|A|$E|F]]|$1|G|3|H|5|6|7|O|8|@]|9|@]|A|$]]|$1|I|3|J|5|D|7|P|8|@]|9|@]|A|$E|F]]|$1|K|3|-4|5|6|7|Q|8|@]|9|@]|A|$]]]|L|$]]

This command:

<pre><code>iconv -f utf-8 -t utf-8 -c file.txt
</code></pre>

will clean up your UTF-8 file, skipping all the invalid characters.

<pre><code>-f is the source format
-t the target format
-c skips any invalid sequence
</code></pre>

blocks|key|234468|text|cat+foo.txt+%7C+strings+-n+8+>+bar.txt|type|code-block|depth|inlineStyleRanges|entityRanges|data|syntax|javascript|234469|就能完成这项工作。|unstyled|234470|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|I|8|@]|9|@]|A|$B|C]]|$1|D|3|E|5|F|7|J|8|@]|9|@]|A|$]]|$1|G|3|-4|5|F|7|K|8|@]|9|@]|A|$]]]|H|$]]

<pre><code>cat foo.txt | strings -n 8 &gt; bar.txt
</code></pre>

will do the job.

blocks|key|234510|text|这里或任何其他类似问题的方法对我都不起作用。最后，只需在Sublime+Text+2中打开该文件。转到file+>+Reopen+with+Encoding+>+UTF-8。将文件的全部内容复制到新文件中并保存。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|234511|这可能不是预期的解决方案，但将它放在这里，以防它对任何人有帮助，因为我已经为此挣扎了几个小时。|234512|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|G|8|@]|9|@]|A|$]]|$1|D|3|-4|5|6|7|H|8|@]|9|@]|A|$]]]|E|$]]

None of the methods here or on any other similar questions worked for me.
In the end what worked was simply opening the file in Sublime Text 2. Go to File &gt; Reopen with Encoding &gt; UTF-8. Copy the entire content of the file into a new file and save it.
May not be the expected solution but putting this out here in case it helps anyone, since I've been struggling for hours with this.

I have a bunch of Arabic, English, Russian files which are encoded in utf-8. Trying to process these files using a Perl script, I get this error:

<pre><code>Malformed UTF-8 character (fatal)
</code></pre>

Manually checking the content of these files, I found some strange characters in them.
Now I'm looking for a way to automatically remove these characters from the files.

Is there anyway to do it?

How to remove non UTF-8 characters from text file

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

我有一堆阿拉伯语，英语，俄语文件，都是用utf-8编码的。尝试使用Perl脚本处理这些文件时，我收到以下错误：Malformed UTF-8 character (fatal)手动检查这些文件的内容，我发现其中有一些奇怪的字符。现在我正在寻找一种自动从文件中删除这些字符的方法。有没有办法做到这一点？

问如何从文本文件中删除非UTF-8字符
EN

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何从文本文件中删除非UTF-8字符EN

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何从文本文件中删除非UTF-8字符
EN