将LLM融入实际NLP工作流

将大语言模型融入实际的自然语言处理工作流

在本次演讲中，将展示GPT-3等大语言模型如何作为现有机器学习工作流的补充，而非替代。初始标注通过零样本或少样本学习从某机构的API获取，然后由人类决策者使用标注工具进行校正。得到的标注数据可以像往常一样用于训练和评估模型。此过程比单独使用某机构的API能获得更高的准确率，其附加好处是你可以拥有并控制用于运行时的模型。

视频地址：https://youtu.be/Bd2ciwinFUE

实际工作流

• 监督学习
• 精确告诉计算机要做什么
• 需要足够优质的数据
• 机器学习 + 业务逻辑

将LLM作为工具

1. 特定性：越具体越好
2. 速度：越快越好
3. 隐私性：私有更好
4. 效果：更好就是更好

存在的问题

• 提示工程
• 结果不一致
• 非结构化响应

与LLM协同工作

• 迭代（提示、解析）
• 评估极其重要
• 改进而非取代任务特定模型
• 可脚本化的工作流
• 人在回路
• 业务逻辑

实际应用：通过人工纠错迭代优化提示

1. 查询大语言模型并解析响应
2. 根据需要调整提示
3. 人工纠正错误
4. 将正确答案添加到提示中以优化它
5. 生成并显示推理依据

现实并非端到端的预测问题

以句子“某机构以75亿美元收购软件开发平台某代码托管平台”为例，实际NLP系统会分解为多个组件：

• 文本分类器
• 实体识别器
• 实体链接器
• 属性查找表
• 货币标准化器

总结

• 大语言模型是更快、迭代地创建更好数据的绝佳工具
• 你始终需要任务特定的数据
• 未来将有许多新的应用

未来工作

• 用于结果解析的数据结构
• 用于稳健评估的工作流
• 交互式提示测试
• 对开源模型的支持FINISHED