【开源】度小满中文金融对话大模型
【开源】度小满中文金融对话大模型
项目开源代码获取地址:
关注微信公众号 datayx 然后回复 度小满 即可获取。
本次开源的XuanYuan-6B系列模型包含基座模型XuanYuan-6B，经指令微调和强化对齐的chat模型XuanYuan-6B-Chat，以及chat模型的量化版本XuanYuan-6B-Chat-4bit和XuanYuan-6B-Chat-8bit。
主要特点：
- 收集多个领域大量的训练语料，进行了多维度数据清洗和去重，保证数据的量级和质量
- 从零开始预训练，预训练中动态调整数据配比，模型基座能力较强
- 结合Self-QA方法构建高质量问答数据，采用混合训练方式进行监督微调
- 构建高质量人类偏好数据训练奖励模型并进行强化训练，对齐模型表现和人类偏好
- 模型尺寸小并包含量化版本，硬件要求低，适用性更强
- 在多个榜单和人工评估中均展现出良好的性能，具备领先的金融能力
性能评测
基础评测
金融一直是轩辕大模型重点关注的领域和主要应用目标，因此我们首先在金融场景评测了XuanYuan-6B模型。我们使用自己构建并开源的FinanceIQ数据集，该数据集是一份专业的大模型金融能力评估数据集，涵盖了10个金融大类，36个金融小类，总计7173题。评估结果如下表所示。从表中可以看出，XuanYuan-6B模型在该评估数据中的性能甚至超越了GPT4，显示出了其强大的金融能力。
除金融外，我们也注重轩辕大模型的通用能力，因此我们也在多个主流评测集上进行了模型评测，观察轩辕大模型在知识、逻辑、代码等通用能力上的表现。评测结果如下表所示。
从表中结果可以看出，在五个评测集上，XuanYuan-6B的表现均超越了类似尺寸的LLaMA2-7B和LLaMA2-13B模型，展现出了强大的通用能力。在中文相关场景下，XuanYuan-6B甚至可超越更大尺寸的LLaMA2-70B模型。
值得注意的是，在上述所有评测中，XuanYuan-6B均进行了考试场景增强，具体细节可见我们的技术报告。另外榜单结果也不代表模型在真实场景中的实际能力。为进一步验证模型的实际能力，我们对模型进行了人工评测。
人工评测
除在各榜单进行评测外，我们进一步对XuanYuan-6B-Chat模型进行了人工评估，来公正客观地评估chat模型在对话场景中的真实能力。评估集包含一定量级的问题且对研发人员完全封闭，每个问题均由三个不同的人员进行评估来减轻偏见。评估对比对象为业界开源的类似尺寸的主流大模型，我们并采用GSB（Good，Same，Bad）指标来展示评估结果，具体结果如下图所示。从图中可以看出，在通用性（安全性在评估时被纳入了通用性）和金融能力上，XuanYuan-6B-Chat模型均超过了对比对象，显示出更强的模型能力。
推理部署
XuanYuan-6B系列模型均已上传到HuggingFace和modelscope网站，请点击上述链接进行下载。XuanYuan-6B基座模型、chat模型及其量化模型的使用方法和XuanYuan-70B，XuanYuan2-70B类似，但是tokenizer加载方式和在对话场景中使用的prompt格式不同（不包含system message）。下面以XuanYuan-6B-Chat模型为例，来展示XuanYuan-6B系列模型的使用方法。
XuanYuan-13B
介绍
最懂金融领域的开源大模型“轩辕”系列，继176B、70B之后推出更小参数版本——XuanYuan-13B。这一版本在保持强大功能的同时，采用了更小的参数配置，专注于提升在不同场景下的应用效果。同时，我们也开源了XuanYuan-13B-Chat模型的4bit和8bit量化版本，降低了硬件需求，方便在不同的设备上部署。
主要特点：
- “以小搏大”的对话能力：在知识理解、创造、分析和对话能力上，可与千亿级别的模型相媲美
- 金融领域专家：在预训练和微调阶段均融入大量金融数据，大幅提升金融领域专业能力。在金融知识理解、金融业务分析、金融内容创作、金融客服对话几大方面展示出远超一般通用模型的优异表现
- 人类偏好对齐：通过人类反馈的强化学习(RLHF)训练，在通用领域和金融领域均与人类偏好进行对齐
模型训练与创新
在模型训练中，团队在模型预训练阶段动态调整不同语种与领域知识的比例，融入了大量的专业金融语料，并在指令微调中灵活运用之前提出的Self-QA和混合训练方法，显著提升了模型在对话中的性能表现。此外，本次“轩辕13B”还通过强化学习训练，与人类偏好进行对齐。相比于原始模型，RLHF对齐后的模型，在文本创作、内容生成 、指令理解与遵循、安全性等方面都有较大的提升。
通用评测
XuanYuan-13B在各评测集（通用评测、金融评测）上的结果已在XuanYuan-6B的评测内容中给出，请参考。从评测结果来看，XuanYuan-13B具备很强的通用能力和金融能力，其性能甚至可比肩更大尺寸的模型，做到了以小搏大。和XuanYuan-6B类似，XuanYuan-13B在评测中也进行了考试场景优化。此外，由于评测集是固定且有限的，因此相关评测结果并不完全代表模型的真实能力。
除在固定测试集进行评估外，我们非常关注模型在实际对话中的能力，组建专业的人工评测团队将XuanYuan-13B与其他开源系列的70B左右参数模型进行GSB比较，结果显示：在通用评测中的绝大部分指标，XuanYuan-13B都可以与其他开源系列的70B左右参数模型相媲美。
金融评测
XuanYuan-13B在金融评测也表现出极高的水平，以小博大获得了很好的表现。金融的主要评测指标如下（轩辕vs其他）：
推理部署
XuanYuan-13B的Chat模型已发布在Hugging Face，请根据上述的链接进行下载。下面我们给出Chat模型的推理部署使用方法。
财务报表分析输入：已知该公司的财务报表如下：“2013财年第三季度和前9个月与2012财年第三季度和前9个月相比的亮点。截至2012年12月1日的第三季度,综合净销售额比上年同期增长了8.9% ,即1560万美元,9个月期间增长了2670万美元,即5.4% 。该季度的增长主要来自安装业务的份额增长和地域扩张,以及建筑玻璃业务的更好定价。年初至今的增长是由于安装业务的增长以及店面业务的扩张,以及LSO板块中增值玻璃和丙烯酸的较高组合,部分被建筑玻璃业务的成交量下降所抵消。截至2012年12月1日的这一财季,毛利润占销售额的比例从上年同期的19.9%增至22.2% ,增长了2.3个百分点。9个月的销售毛利为21.0% ,比上年同期提高3.9个百分点。毛利率的增加主要是由于建筑玻璃的定价更高,店面和安装业务的增长对利润率的影响,更好的项目组合和公司所有业务的良好运营表现。今年年初至今,LSO板块中附加值更高的图片框玻璃和丙烯酸的组合也得到了积极的影响。第三季度的销售、总务和行政开支比上年同期增加了330万美元,占净销售额的百分比从上年同期的15.8%增加到16.2% 。9个月期间,销售、总务和行政开支增长了490万美元,持平于净销售额的16.9% 。三个月和九个月期间的支出增加主要是由于激励和长期高管薪酬计划的支出增加,因为公司的经营业绩有所改善。此外,公司增加研发和销售及营销成本,因为公司继续投资于新产品、市场和地理区域。在9个月期间,与首席执行干事过渡费用有关的支出减少180万美元部分抵消了这些项目。” 投资者提出这样的疑问：销售毛利占销售额的比例增加能否提高公司的盈利能力。
输出：根据所提供的财务报表，可以分析销售毛利占销售额的比例增加对公司盈利能力的影响。
- 毛利率的提高：报告中提到，第三季度的毛利率从上年同期的19.9%增至22.2%，增长了2.3个百分点。这意味着公司在销售商品或提供服务时，每单位的销售收入中，有更多的部分可以转化为毛利。这是一个积极的信号，因为它表明公司在控制成本和提高效率方面取得了进展。
- 毛利率提高的原因：报告指出，毛利率的提高主要归因于建筑玻璃的定价更高，店面和安装业务的增长对利润率的影响，更好的项目组合以及公司所有业务的良好运营表现。这些因素表明公司在市场上具有竞争优势，能够通过提高产品价格或改进业务流程来提高毛利率。
- 对盈利能力的影响：销售毛利占销售额的比例是衡量公司盈利能力的一个重要指标。随着毛利率的提高，公司的盈利能力也会相应提高。这意味着公司能够在销售额不变的情况下，获得更多的利润，或者在保持利润水平的情况下，实现更高的销售额。
- 其他因素：尽管毛利率的提高是积极的信号，但还需要考虑其他因素，如销售、总务和行政开支的增加。报告中指出，这些开支的增加主要是由于激励和长期高管薪酬计划的支出增加，以及公司继续投资于新产品、市场和地理区域。这些开支的增加可能会对公司的盈利能力产生负面影响。
综上所述，销售毛利占销售额的比例增加通常会提高公司的盈利能力。然而，还需要考虑其他因素，如销售、总务和行政开支的增加，以及市场竞争等因素。投资者可以通过进一步分析这些因素来评估公司的整体盈利能力和未来发展潜力。