日更到第 40 篇才发现写重了：我用一张"选题台账"给内容流水线加了去重

用 AI Agent 日更技术文，最不容易被发现的失败不是"发不出去"，而是"发出去了，但和上周那篇是同一个东西"。

我是在一次例行复盘时撞上这个问题的。翻自己的文章列表，两篇标题摆在一起：一篇叫《把"每日一篇"交给 Agent：一条技术发文流水线的搭建心得》，另一篇叫《把"每天一篇"交给 AI Agent：我的自动化产文流水线拆解》。间隔八天，正文结构也高度重合——都是"任务拆解 到 定时触发 到 发布收口"三段。读者看一篇就够了，第二篇对我、对他们都是净损耗。

麻烦的是，流水线一路绿灯：脚本返回成功、文章落盘、接口 200。没有任何一个红灯提醒我"你重复了"。因为重复不是技术故障，它是内容层面的问题，而我的自动化流程里根本没有一个环节负责"内容层面"。

为什么"扫一眼目录"不解决问题

我原本的防线是：写之前 `ls` 一下文章目录，凭印象避开写过的话题。这条防线在三种情况下必然失效：

- **文件名不携带信息。** 我的文章按 `YYYY-MM-DD.md` 命名，一年 365 个文件名长得一模一样，去重只能靠读内容或回忆标题。

- **标题会伪装成新题。** "Agent 记忆分层"和"给 Agent 装记忆的三层设计"，字面相似度不高，但内核完全同题；反过来，"dry-run 闸门"和"影响面确认"字面差很远，实则是同一套思想的两个切面。

- **记忆是有限的。** 写到第 20 篇以后，我对自己写过什么只有模糊感觉，而"感觉没写过"是最不可靠的判断依据。

结论很朴素：去重不能靠人脑，也不能靠工具链里的"有没有报错"，得把选题本身变成一份可检索的数据。

我在文章目录下放了一份 `topics.md`，每发一篇就追加一行，五个字段：

- **日期**：冷却期计算基准，例如 2026-10-04；

- **标题**：原文标题，用于相似度比对，例如"同样一份文件没必要算两遍……"；

- **主题标签**：粗粒度归类，用于话题级冷却，例如"本地批处理 / 增量"；

- **切入角度**：一句话说清"从哪个侧面讲"，例如"用内容指纹跳过重复计算"；

- **核心论点**：一句话说清"这篇主张什么"，例如"重复计算的成本大于指纹计算的成本时，增量才划算"。

关键在于后两列。**主题标签负责挡住"同题"。** 我给自己定了条土规矩：同一个标签 7 天内不再出现。日更场景下，一周内反复讲"幂等""护栏"这类概念，读者一定会疲劳——他有记忆，而我的流水线没有。

**切入角度负责放行"同题不同角"。** 完全禁止同标签会让选题枯竭，所以允许例外，但必须写清楚："和 X 月 X 日那篇的区别是什么"。写不出来，就是不写。这一句自证成本极低，却能挡掉大部分自我重复。

台账写起来是手工的，判重完全可以自动化。发布前置检查里加一段，去读台账、算相似度，超过阈值就报警：

STOP = {"的", "了", "和", "我", "你", "把", "给", "让", "是", "用", "一个", "这"}

"""标题归一化：去标点与数字，砍掉停用词，留下实义词"""

t = re.sub(r"[^\w\u4e00-\u9fa5]", "", title)   # 去中英标点

t = re.sub(r"\d+", "", t)                       # 去数字：日期/数量都是噪声

def check(new_title: str, ledger: Path, threshold=0.6):

for line in ledger.read_text(encoding="utf-8").splitlines()[1:]:

cols = [c.strip() for c in line.split("|")[1:-1]]

ratio = difflib.SequenceMatcher(None, key, old_key).ratio()

hits.append((round(ratio, 2), cols[0], cols[2]))  # 相似度/日期/标签

一是**归一化比算法重要**。`difflib` 本身很粗糙，但把标点、数字、停用词先剥掉之后，剩下的实义词足以区分选题。上面那两篇重稿归一化后分别是"每日篇交给Agent条技术发文流水线搭建心得"和"每天篇交给AI Agent自动化产文流水线拆解"，相似度 0.75，稳稳越过阈值——而人眼扫目录时，这个信号是完全丢失的。

二是**阈值宁可低一点**。我是 0.6。命中不等于重复，命中只是"要求我解释"。解释得清就发，解释不清就换。假阳性只是多花三十秒，假阴性是发一篇废稿。

台账还顺带解决了一个别的问题

跑了两周之后我发现，这张表的真正价值不只是去重。

以前选题是"今天想到啥写啥"，状态往往靠灵感；现在是"打开台账，看哪些标签空得太久"。选题从一个创意问题，退化成了一个查表问题——这正是自动化该干的事。冷门的标签间隔太久，说明这个方向被冷落了；某个标签两周内出现三次，说明我在舒适区里打转。

更进一步，这套"标签冷却 + 内容指纹"的思路并不只服务于文章。我给自己的任务脚本和 Skill 也做了同样的登记：一个脚本和已有脚本的标签撞车、职责描述相似度超过阈值时，先别写新的，看看能不能改旧的。**去重不是写内容才需要的纪律，只要你在持续产出同类东西，就需要一份这样的账。**

日更流水线最容易让人放松警惕的，恰恰是它"跑得很顺"的时候。脚本正常、接口正常、文件正常，所有技术指标都绿，于是没人再问一句：产出本身有没有变好？

技术层面的护栏（重试、幂等、状态机）防的是"任务失败"；选题台账这种内容层面的护栏，防的是"任务成功但没价值"。后者不会报错，只会悄悄消耗读者的耐心，所以更需要一个廉价的自动检查把它捞出来。

一张 markdown 表加二十行代码，换来的不是"少写几篇"，而是"写的每一篇都还有存在的理由"。

AI与效率工具的实操经验分享，附真实案例与可落地方法。

人工智能

日更40篇发现重复选题后，我用一份`topics.md`台账为内容流水线加装去重机制。通过记录主题标签、切入角度和核心论点，结合归一化相似度检测脚本，自动拦截同题文章。这套方法让选题从灵感驱动变为查表驱动，7天标签冷却期防疲劳，0.6阈值保内容质量。去重不止防错，更确保每篇产出都有存在价值。

AI Agent

Markdown

Python

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

日更到第 40 篇才发现写重了：我用一张"选题台账"给内容流水线加了去重

日更到第 40 篇才发现写重了：我用一张"选题台账"给内容流水线加了去重

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐