信息抽取管道构建实用技巧

信息抽取管道构建实用技巧

什么是信息抽取

• 📝 将文本转化为数据：从收益报告、招聘信息中的技能描述、社交媒体中的产品反馈等来源创建数据库
• 🗂 多种子任务：文本分类、命名实体识别、实体链接、关系抽取都可以成为信息抽取管道的一部分
• 🎯 主要是静态模式：大多数人一次解决一个问题

信息抽取流程示例

文本："某公司筹集500万美元彻底改革搜索业务，由某机构领投"

处理流程：

• 命名实体识别：识别公司实体
• 货币标准化：处理金额信息
• 实体消歧：通过自定义数据库查找
• 关系抽取：识别投资者关系

检索方法比较

RIE：基于信息抽取的检索

• 问题 → 文本到SQL查询 → 数据
• NLP管道处理文本

RAG：检索增强生成

• 问题 → 向量化查询 → 答案
• 向量数据库存储文本片段

训练技巧

监督学习的优势

• 示例数据非常强大
• 示例数据可以完成指令无法完成的任务
• 上下文学习无法规模化使用示例

训练挑战

• 产品愿景与鸡生蛋问题
• 准确率评估
• 训练与评估
• 标注数据
• 标注方案

结果解释困难

• 😬 模型完全无法训练：数据是否有问题？
• 🤨 模型学习效果仅比随机稍好：可能是数据、超参数或建模问题
• 🥹 结果尚可：但能否更好？如何知道是否还有提升空间？
• 🤔 结果好得不真实：可能数据处理有问题

调试训练的方法

• 📉 在少量数据上训练会发生什么？模型是否收敛？
• 🔀 随机化训练标签会发生什么？模型是否仍在学习？
• 🪄 模型权重在训练期间是否发生变化？
• 🧮 梯度的均值和方差是多少？

建模建议

优先考虑鲁棒性而非准确率

• 📈 改进需要真正可见
• 📦 更大的模型通常不够实用
• 🤏 需要能在小样本上工作
• 🌪 大模型在小批量情况下不够稳定

数据迭代与规模缩减

原型阶段

• 使用GPT-4 API
• 通过spacy-llm将提示转换为结构化数据

生产阶段

• 使用蒸馏的特定任务组件
• 模块化设计
• 小而快速
• 数据私有

配置示例

[components.llm.model]
@llm_models = "spacy.GPT-4.v2"

支持的任务类型：

• 命名实体识别
• 文本分类
• 关系抽取

数据标注技巧

需要多少数据？

训练曲线诊断：使用25%、50%、75%、100%的数据分别训练4次

评估注意事项：

• ⚠ 需要足够的数据以避免报告无意义的精确度
• 📊 每个有效数字需要10个样本是一个好的经验法则
• 1,000个样本相当不错 - 足以区分94%与95%

保持任务小型化

良好实践

for annotation_type in annotation_types:
    for example in examples:
        annotate(example, annotation_type)

不良实践

for example in examples:
    for annotation_type in annotation_types:
        annotate(example, annotation_type)

使用模型辅助

• 🔮 尽可能提供标注建议：基于规则、初始训练模型、LLM或组合使用
• 🔥 建议提高效率：常见情况很常见，预设可以大大加速标注
• 📈 建议提高准确性：需要一致地标注常见情况

人机循环蒸馏流程

1. 持续评估基线
2. 提示工程
3. 迁移学习
4. 模型蒸馏

标注工具使用

$ prodigy ner.llm.correct todo_eval ./config.cfg ./examples.jsonl

关键要点总结

• 🔮 形成并证伪假设
• ⚗ 优先考虑鲁棒性
• 缩减规模并迭代
• 想象你是模型
• 完成到生产的管道
• 保持敏捷并自行标注
• 保持任务小型化
• 使用模型辅助