首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >两份清单都排过序,GNU comm 为什么还会报错?

两份清单都排过序,GNU comm 为什么还会报错?

原创
作者头像
逻界软件科技工作室
发布于 2026-11-19 15:50:10
发布于 2026-11-19 15:50:10
310
举报

发布前拿「应部署」和「实际部署」两份制品 ID 清单核对,comm 却报文件没排好序。两边明明都跑了 sort -V,差别在哪?在 GNU 工具环境下,版本顺序和 comm 要求的整行排序不是一回事。更容易漏掉的是:有时默认模式不报错,严格模式报错前又可能已经写出了几行结果。下面用临时文件把这两种情况都跑出来。

排过序,还要问按什么排

为方便人读,sort -V 会把 job-2 排在 job-10 前。本文固定 LC_ALL=C,按整行做普通排序时,结果恰好相反:比较到数字部分的第一个字节,1 在 2 前面。两个列表都按版本排,只说明它们用了同一种版本顺序,不代表它们符合 comm 的比较规则。

GNU comm 手册要求输入使用当前排序规则;GNU sort 手册说明了 locale 和 -V 怎么影响顺序。做机器对账时,我会把给人看的版本表和送进比较器的文件分开:展示仍按版本排,比较前则在同一个 LC_ALL=C 环境中按整行重新排序。不要只给 comm 设置 locale,却让上游 sort 继续用别的设置。

默认不报错,不能给输入盖章

把同一份版本排序文件复制一份,两边都是先 job-2、后 job-10。在本例测试的 GNU coreutils 8.30 上,默认 comm -3 没输出也没报错;给相同输入加上 --check-order,则报告输入未按所需顺序排序,并以非零状态退出。原因在手册里:默认模式只在发现无法配对的记录时才可能诊断乱序,而严格模式不依赖这一条件。

另一个反例是把乱序放到中后部。样本左边依次为 a、c、z、b,右边是 d、q。严格模式读到乱序前,已经往标准输出写了 a、c 和 z。三行看起来挺像一份报告,但少了什么已经不能按正常结果解释。如果边跑边让后续步骤读取 stdout,即使这些步骤最后知道命令报错,也未必能撤销前面做过的事。

GNU comm 退出状态与差集
GNU comm 退出状态与差集

图:GNU comm 做清单差集时,退出 0 才读取结果;报告差集是否为空是下一层判断。

左表只管缺项,右表另查多项

这里约定左表是应部署制品、右表是实际部署制品;每行一个区分大小写的 ASCII 制品 ID,重复记录只表示同一个 ID。这才适合用 sort -u。如果重复行代表不同副本或部署节点,就应保留计数,或先构造包含节点的唯一键,而不是把数据「洗」成集合。CSV 导出也要先读字段,别把整行拼接文本当制品 ID。

-23 隐去第二、第三列,只输出左表独有的 ID;-13 则只留下右表独有的 ID。只查 -23 可以判断有没有缺项,但空结果不能说明右表没有多出来的制品。要比较两个集合是否相等,可以在比较成功后检查 -3 的结果是否为空,或者分别检查两个方向。

看到的现象

可以下的结论

输入缺失或顺序错误,命令非零退出

本次比较失败,弃用本次输出

-23 退出 0,输出非空

列出的 ID 在左表出现、在右表未出现

-23 退出 0,输出为空

左表没有缺项;要判断右表是否多项,仍要另查

复现一次晚报错,再保护上次结果

下面整段保存为 Shell 脚本后,用 Bash 运行。需要 GNU sort、GNU comm 等常规工具;所有文件都创建在临时目录。compare_left 用候选文件接 stdout,只在 comm 退出 0 后替换 missing。示例只有一个写入方,两个文件在同一个私有目录;不要把固定候选文件名直接搬进多人共享目录,也不要把留存的旧结果贴上本次时间。

代码语言:bash
复制
#!/usr/bin/env bash
set -eu
export LC_ALL=C
work=$(mktemp -d)
trap 'rm -rf -- "$work"' EXIT
cd -- "$work"

fail() { printf 'FAIL %s\n' "$1" >&2; exit 1; }
pass() { printf 'PASS %s\n' "$1"; }

printf '%s\n' job-10 job-2 > raw
sort -V -- raw > version
sort -- raw > lexical
printf '%s\n' job-2 job-10 > want-version
printf '%s\n' job-10 job-2 > want-lexical
cmp -s version want-version && cmp -s lexical want-lexical || fail sort-order
pass sort-order

# 两份同样乱序的文件,在默认模式下仍可能比较成功。
cp -- version version-copy
comm -3 -- version version-copy > out 2> err || fail default-order
[[ ! -s out && ! -s err ]] || fail default-order
pass default-order
if comm --check-order -3 -- version version-copy > out 2> err; then
  fail strict-order
fi
[[ -s err ]] || fail strict-order
pass strict-order

# 报错前已经可能写出部分结果。检查 out 只是为了复现。
printf '%s\n' a c z b > bad
printf '%s\n' d q > right
if comm --check-order -23 -- bad right > out 2> err; then
  fail partial-output
fi
[[ -s out && -s err ]] || fail partial-output
pass partial-output

# 实际对账只在上游导出成功、并确认按集合比较时去重。
printf '%s\n' job-2 job-10 job-2 > expected
printf '%s\n' job-2 job-9 > observed
sort -u -- expected > left.sorted
sort -u -- observed > right.sorted

# 先验命令状态。非零时不消费候选文件,也不盖掉上次结果。
compare_left() {
  if comm --check-order -23 -- "$1" "$2" > candidate; then
    mv -- candidate missing
  else
    rc=$?
    rm -f -- candidate
    return "$rc"
  fi
}
compare_left left.sorted right.sorted || fail directional
printf '%s\n' job-10 > want
cmp -s missing want || fail directional
comm --check-order -13 -- left.sorted right.sorted > extra || fail directional
printf '%s\n' job-9 > want-extra
cmp -s extra want-extra || fail directional
pass directional

if compare_left bad right 2> err; then
  fail protect-result
fi
[[ ! -e candidate && -s err ]] && cmp -s missing want || fail protect-result
pass protect-result

compare_left left.sorted left.sorted || fail equal
[[ ! -s missing ]] || fail equal
pass equal

if compare_left left.sorted absent 2> err; then
  fail input-error
fi
[[ ! -e candidate && ! -s missing && -s err ]] || fail input-error
pass input-error

实测八项:排序规则、默认检查漏判、严格检查、部分输出、双向差集、失败不覆盖、相等、输入不存在。测试范围是 Linux 上 GNU coreutils 8.30 的临时文本文件,不代表已经验收某个 CI 或制品仓库,也不把 --check-order 当作其他实现必备的选项。

接到发布流程前,先确认导出真的成功

我会先核对两份清单的批次、环境和来源,再检查导出命令的状态。导出失败也可能留下空文件;如果只检查文件存在,后面的 sort 和 comm 仍可能都退出 0,却是在比较不完整的数据。读到缺项时也先核对采样时间:计划表指向新版本,实际表却早于部署完成,差集只能说明两个快照不同。

最终报告最好有三个可区分的结果:「没有缺项」「发现缺项」「无法完成比较」。后两种都可以拦住流程,但一个该核对制品,另一个该修导出或输入。若需要同时禁止多项,就再加右表差集这一条政策,退出码无法替代这项业务判断。

本文使用 AI 辅助写作及配图。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 排过序,还要问按什么排
  • 默认不报错,不能给输入盖章
  • 左表只管缺项,右表另查多项
  • 复现一次晚报错,再保护上次结果
  • 接到发布流程前,先确认导出真的成功
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档