使用命令行工具将JSON数组拆分为多个文件
使用命令行工具将JSON数组拆分为多个文件
提问于 2016-11-03 01:11:43
假设我们有一个长度为5的JSON数组，我们希望使用linux命令行工具将该数组拆分为多个长度为2的数组，并将分组的项保存到不同的文件中。
我使用jq和split工具进行了尝试(我对可以从bash脚本执行的任何方法都很满意)：
$ echo '[{"key1":"value1"},{"key2":"value2"},{"key3":"value3"},{"key4":"value4"},{"key5":"value5"}]' | jq -c -M '.[]' | split -l 2 -d -a 3 - meta_
$ tail -n +1 meta_*
==> meta_000 <==
{"key1":"value1"}
{"key2":"value2"}
==> meta_001 <==
{"key3":"value3"}
{"key4":"value4"}
==> meta_002 <==
{"key5":"value5"}前面的命令将这些项正确地保存到文件中，但我们需要将它们转换为有效的JSON数组格式。我厌倦了--filter选项：
$ echo '[{"key1":"value1"},{"key2":"value2"},{"key3":"value3"},{"key4":"value4"},{"key5":"value5"}]' | jq -c -M '.[]' | split -l 2 -d -a 3 - meta2_ --filter='jq --slurp -c -M'
[{"key1":"value1"},{"key2":"value2"}]
[{"key3":"value3"},{"key4":"value4"}]
[{"key5":"value5"}]
$ tail -n +1 meta2_*
tail: cannot open 'meta2_*' for reading: No such file or directory但是，它在屏幕上显示输出，但结果不是持久的。我尝试转发输出，但得到一个错误：
echo '[{"key1":"value1"},{"key2":"value2"},{"key3":"value3"},{"key4":"value4"},{"key5":"value5"}]' | jq -c -M '.[]' | split -l 2 -d -a 3 - meta2_ --filter='jq --slurp -c -M > $FILE'
...
split: with FILE=meta2_000, exit 2 from command: jq --slurp -c -M > $FILE有什么建议或更好的方法吗？
编辑:我尝试使用双引号@andlrc建议：
$ echo '[{"key1":"value1"},{"key2":"value2"},{"key3":"value3"},{"key4":"value4"},{"key5":"value5"}]' | jq -c -M '.[]' | split -l 2 -d -a 3 - meta2_ --filter="jq --slurp -c -M > $FILE"
bash: -c: line 0: syntax error near unexpected token `newline'
bash: -c: line 0: `jq --slurp -c -M > '
split: with FILE=meta2_000, exit 1 from command: jq --slurp -c -M >
$ cat meta_000 | jq --slurp -c -M
[{"key1":"value1"},{"key2":"value2"}]回答 3
Stack Overflow用户
发布于 2016-11-03 05:17:13
在jq筛选器中构建数组会更容易，然后拆分到每行的文件。无需额外的过滤。
range(0; length; 2) as $i | .[$i:$i+2]产生：
[{"key1":"value1"},{"key2":"value2"}]
[{"key3":"value3"},{"key4":"value4"}]
[{"key5":"value5"}]所以把所有这些放在一起。
$ jq -cM --argjson sublen '2' 'range(0; length; $sublen) as $i | .[$i:$i+$sublen]' \
input.json | split -l 1 -da 3 - meta2_Stack Overflow用户
发布于 2016-11-03 03:23:07
我使用jq和split工具找到了解决方案。我省略了双引号，jq中的'.'模式，以及用反斜杠分隔$。
$ echo '[{"key1":"value1"},{"key2":"value2"},{"key3":"value3"},{"key4":"value4"},{"key5":"value5"}]' |
jq -c -M '.[]' |
split -l 2 -d -a 3 - meta2_ --filter="jq --slurp -c -M '.' >\$FILE"
$ tail -n +1 meta2_*
==> meta2_000 <==
[{"key1":"value1"},{"key2":"value2"}]
==> meta2_001 <==
[{"key3":"value3"},{"key4":"value4"}]
==> meta2_002 <==
[{"key5":"value5"}]Stack Overflow用户
发布于 2019-05-13 01:16:44
jq可能是其他响应中提到的方法。因为我不熟悉jq，所以我在下面使用非常常见的命令(echo、cat、wc、head、tail、sed、expr)编写了一个bash脚本(splitjson.sh)。此脚本将json文件拆分为不超过指定字节数的块。如果在指定的字节数内无法进行拆分( json项非常长或指定的每个块的最大字节数太小)，脚本将停止写入json文件并写入错误。
下面是一个将问题中的数据作为example.json的示例：
[{"key1":"value1"},{"key2":"value2"},{"key3":"value3"},{"key4":"value4"},{"key5":"value5"}]用来执行脚本的命令是：
$ ./splitjson.sh example.json 40结果是：
$ head example.json.*
==> example.json.0 <==
[{"key1":"value1"},{"key2":"value2"}]
==> example.json.1 <==
[{"key3":"value3"},{"key4":"value4"}]
==> example.json.2 <==
[{"key5":"value5"}]该脚本在结束括号'}‘、冒号'，’和开始括号'{‘之间使用空格、制表符、换行符来处理大小写。
我在大小为82MB的json文件上成功地使用了这个脚本。我希望它能处理更大的文件。
下面是脚本(splitjson.sh)：
#!/bin/bash
if [ $# -ne 2 ]
then
echo "usage: $0 file_to_split.json nb_bytes_max_per_split"
exit 1
fi
if [[ -r $1 ]]
then
input=$1
echo "reading from file '$input'"
else
echo "cannot read from specified input file '$1'"
exit 2
fi
if [[ $2 = *[[:digit:]]* ]]; then
maxbytes=$2
echo "taking maximum bytes '$maxbytes'"
else
echo "provided maximum number of bytes '$2' is not numeric"
exit 3
fi
start=0
over=0
iteration=0
inputsize=`cat $input|wc -c`
tailwindow="$input.tail"
echo "input file size: $inputsize"
tmp="$input.tmp"
cp $input $tmp
sed -e ':a' -e 'N' -e '$!ba' -e 's/}[[:space:]]*,[[:space:]]*{/},{/g' -i'.back' $tmp
rm "$tmp.back"
inputsize=`cat $tmp|wc -c`
if [ $inputsize -eq 0 ]; then
cp $input $tmp
sed -e 's/}[[:space:]]*,[[:space:]]*{/},{/g' -i'.back' $tmp
rm "$tmp.back"
fi
inputsize=`cat $tmp|wc -c`
while [ $over -eq 0 ]; do
output="$input.$iteration"
if [ $iteration -ne 0 ]; then
echo -n "[{">$output
else
echo -n "">$output
fi
tailwindowsize=`expr $inputsize - $start`
cat $tmp|tail -c $tailwindowsize>$tailwindow
tailwindowresultsize=`cat $tailwindow|wc -c`
if [ $tailwindowresultsize -le $maxbytes ]; then
cat $tailwindow>>$output
over=1
else
cat $tailwindow|head -c $maxbytes|sed -E 's/(.*)\},\{(.*)/\1}]/'>>$output
fi
jsize=`cat $output|wc -c`
start=`expr $start + $jsize`
if [ $iteration -eq 0 ]; then
start=`expr $start + 1`
else
start=`expr $start - 1`
fi
endofj=`cat $output|tail -c 3`
if [ $over -ne 1 ]; then
if [ ${endofj:1:2} != "}]" ]; then
if [ ${endofj:0:2} != "}]" ]; then
echo -e "ERROR: at least one split pattern wasn't found. Aborting. This could be due to wrongly formatted json or due to a json entry too long compared to the provided maximum bytes. Maybe you should try increasing this parameter?\a"
exit 4
fi
fi
fi
jsizefinal=`cat $output|wc -c`
echo "wrote $jsizefinal bytes of json for iteration $iteration to $output"
iteration=`expr $iteration + 1`
done
rm $tailwindow
rm $tmp页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/40385830
复制相关文章
相似问题
腾讯云开发者
