2023内容科技应用典型案例：农业银行大模型ChatABC

一、案例概述

农业银行大模型ChatABC，对于大模型精调、提示工程、知识增强、检索增强、人类反馈的强化学习(RLHF) 等大模型相关新技术进行了深入探索和综合应用，结合农业银行研发支持知识库、内部问答数据以及人工标注数据等金融知识进行融合训练调优，实现了全方位的金融知识理解和智能问答应用。

图：ChatABC 1.0技术支撑及能力视图

二、涵盖事项

农业银行AI研发团队深入贯彻落实数字化转型战略，始终保持对于AI新技术的跟踪和探索，全面推进全栈自主的人工智能服务平台建设，持续探索构建适应AI大模型的算力、数据、模型、工具、应用五位一体的AI大模型创新应用体系，提升大模型试点应用的水平。

算力：构建云原生异构算力新基础。基于容器化技术，推进GPU、NPU等各类AI芯片的统一封装管理，实现异构芯片的统一纳管。深度应用kubeflow等云原生编排技术，支持训练任务的细粒度动态调度，充分提升AI算力的利用效率。一体化的云原生算力基础，实现对于多种算力的统一纳管和调度，构成了AI大模型训练的强大算力基础。

数据：打通大模型持续迭代新闭环。围绕“采建管用”闭环，构建大模型训练和持续提升的基础数据闭环。优配比，合理调节内外部数据比例，清洗提升数据质量。巧回收，巧妙设计用户点赞点踩和用户回答问题的功能，采集人工用户对于问题的回答，作为模型持续优化训练的“燃料”。自强化，应用用户打分数据，持续提升奖励模型(Reward Model)精准度，依托强化学习使模型学会“左右手互博”。

模型：打造多模型融合开放新生态。AI平台采用开放式的框架，通过组件化方法快速纳入各类开源模型和商业模型。持续跟踪开源模型最新进展，逐步构建适应问答、文本向量化等不同场景的模型库。参考HELM等模型评价体系，初步构建了一套适应金融特色的模型评价体系。

工具：铺设模型流水线训练新管道。依托kubeflow等基础组件，AI平台构建了多条AI大模型的训练流水线。通过标准化流水线，AI大模型微调训练可以实现自动化流转，构建新训练的效率大幅提升。同时支持多模型并行训练，进而开展模型实验比对和模型调优。深度应用DeepSpeed、FastTransformer等加速框架，解决模型并行、数据并行等训练难题，提升AI大模型训练推理效率。

应用：探索大模型知识融合新架构。构建异构知识库，支持全文检索、知识推理等各类知识检索场景需求。深度定制全文检索框架，支持文档类知识的高性能精准检索。依托知识图谱技术，构建概念类知识的图谱，通过知识推理提升知识推理能力。打造基于置信度的模型知识问答和知识库检索的评价体系，实现多源知识的无缝融合。

三、主要成效

ChatABC大模型已在智能问答、智能客服、辅助编程、智能办公、智能风控等多个领域同步进行试点。其中智能问答场景已提供超过200万次问答服务；辅助编码场景支持代码生成、单测生成、代码翻译等功能，已超过8万行代码投入生产应用。

四、社会评价

中国农业银行人工智能研发团队秉持创新发展理念，主动拥抱AI大模型前沿技术，以技术探索创新为牵引，以场景价值赋能为目标，推出金融行业首个自主创新的金融AI大模型应用ChatABC。通过AI大模型的创新应用，持续提升农业银行服务社会、服务经济、服务三农的水平。(中关村互联网金融研究院)