问抓取二进制文件和UTF16

EN

最简单的方法是将文本文件转换为utf-8并通过管道将其转换为grep：

iconv -f utf-16 -t utf-8 file.txt | grep query

我试图做相反的事情(将我的查询转换为utf-16)，但似乎grep不喜欢这样。我认为这可能与字符顺序有关，但我不确定。

似乎grep会将utf-16格式的查询转换为utf-8/ascii格式。这是我尝试过的：

grep `echo -n query | iconv -f utf-8 -t utf-16 | sed 's/..//'` test.txt

如果test.txt是utf-16文件，这将不起作用，但如果test.txt是ascii，它可以工作。我只能得出结论，grep正在将我的查询转换为ascii。

编辑:这是一个非常非常疯狂的方法，它可以工作，但不能给你太多有用的信息：

hexdump -e '/1 "%02x"' test.txt | grep -P `echo -n Test | iconv -f utf-8 -t utf-16 | sed 's/..//' | hexdump -e '/1 "%02x"'`

它怎麽工作?它将你的文件转换成十六进制(没有任何额外的格式，这是十六进制通常适用的)。它将其通过管道传输到grep。Grep使用的查询是通过将查询(不带换行符)回显到iconv中构造的，iconv将其转换为utf-16。然后将其通过管道传输到sed，以删除BOM (用于确定字节顺序的utf-16文件的前两个字节)。然后将其输送到十六进制转储中，以便查询和输入是相同的。

不幸的是，如果只有一个匹配项，我认为这将最终打印出整个文件。此外，如果二进制文件中的utf-16存储在与您的机器不同的字节顺序中，这将不起作用。

EDIT2:明白了！

grep -P `echo -n "Test" | iconv -f utf-8 -t utf-16 | sed 's/..//' | hexdump -e '/1 "x%02x"' | sed 's/x/\\\\x/g'` test.txt

这将在文件test.txt中搜索字符串Test ( utf-16)的十六进制版本

您可以显式地将空值(00s)包括在搜索字符串中，尽管您将获得包含空值的结果，因此您可能希望将输出重定向到一个文件，以便可以使用合理的编辑器查看它，或者通过sed来替换空值。在*.utf16.txt中搜索"bar“：

grep -Pa "b\x00a\x00r" *.utf16.txt | sed 's/\x00//g'

"-P“告诉grep接受Perl regexp语法，该语法允许\x00扩展为null，而-a则告诉它忽略Unicode对它来说像是二进制这一事实。

我发现下面的解决方案最适合我，来自https://www.splitbits.com/2015/11/11/tip-grep-and-unicode/

Grep不能很好地处理Unicode，但可以解决这个问题。例如，要查找，

Some Search Term

在UTF-16文件中，使用正则表达式忽略每个字符的第一个字节，

S.o.m.e. .S.e.a.r.c.h. .T.e.r.m 

另外，告诉grep将文件作为文本处理，使用'-a'，最后的命令如下所示，

grep -a 'S.o.m.e. .S.e.a.r.c.h. .T.e.r.m' utf-16-file.txt