大模型精调作为腾讯云 TI 平台的内置大模型库，帮助用户发现、精调和部署平台预置的大语言模型。平台预置多种预训练及指令微调大模型，覆盖各类下游任务，如多轮对话、逻辑推理、内容创作等。用户可以直接零代码一键发布大模型，通过网页问答快速直观地体验大模型的推理效果，或者在内置大模型基础上进行精调。除内置自研的腾讯混元大模型、行业大模型之外，平台也已广泛接入了Llama 3.1、Llama 3、Baichuan、Falcon、Dolly、Vicuna、Bloom等市场主流开源大模型。企业、开发者可以根据不同细分场景的业务需求，灵活选择各类大模型，降低模型使用成本。
大模型精调提供以下主要功能：
模型浏览和搜索
模型标签：平台按任务类型（如文本分类、翻译、问答等）、框架（如PyTorch、TensorFlow）、语言和其他标签进行分类，方便用户快速找到所需的模型。
搜索功能：提供关键字搜索功能，用户可以通过关键词、任务类型、框架、语言等多种条件进行搜索。
模型描述：每个模型都有详细的描述，包括模型描述、系列模型清单、模型归属和额外申明等信息。
版本选择：支持模型的若干流行版本，用户可以精调和部署不同版本的模型。
模型部署
在线体验：提供在线体验功能，零代码一键发布大模型，通过网页问答快速直观的体验大模型推理效果。
API 调用：通过在线服务模块发布API接口远程调用大模型推理能力。
（模型部署功能将跳转到在线服务模块完成）
模型精调
内置大模型精调：用户可以基于平台提供的内置大模型进行精调，以适应特定的任务和数据集。精调可以显著提升模型在特定任务上的性能。
集成数据集：与数据中心无缝集成，用户可以方便地加载和处理数据集，用于模型的精调和评测。
（模型精调功能将跳转到任务式建模模块完成）
同时，平台提供丰富的教程和详细的使用文档，帮助用户快速上手和了解如何精调和部署模型。
下面将为您介绍如何通过 TI 平台，一键精调和部署内置大模型，助力您快速选型适合您业务场景的开源大模型。
一、预览 TI 内置大模型清单
单击模型卡片，可进入每个模型页面查看详细介绍。
二、一键部署内置大模型
三、一键精调内置大模型
在模型详情页面，单击新建训练任务按钮即可跳转到任务式建模模块，开始零代码精调大模型。若您想快速体验大模型精调流程，则您无需任何操作可直接使用平台内置示例数据一键启动精调。您可单击此页面的示例数据按钮下载查看示例数据内容。详见精调内置开源大模型。
如何选择内置大模型
建议您可以参考各类模型的技术报告，了解模型在开源评测集中的指标，从参数量以及重要评测指标两个角度来选择最适合自己的模型。
首先我们需要决定使用多大参数量的模型。目前，主流的自然语言大模型都是 decode-only 的结构，训练显存占用与训练速度都能够比较容易地推算（基本上和参数量成正比）。7B模型的最低资源要求是1台8卡32G显存V100，13B模型的最低资源要求是1台8卡40G显存A100，70B模型的最低资源要求是4台8卡40G显存A100。训练完成后，使用fp16推理部署，7B模型需要1卡32G显存V100，13B模型需要1卡40G显存A100，70B模型需要4卡40G显存A100。用户可以根据自己的训练与推理资源，选择参数量。原则上，参数量越大的模型，效果会有较大的提升。
然后我们可以根据模型的开源评测指标或者对自己的业务测试集进行自测摸底，来确定使用具体的哪个模型。一般来说，国外的开源模型例如llama3通用能力包括语言理解、指令遵循、数学计算等整体都比较出色，但对中文的支持会有所欠缺。而国内的开源模型，由于进行了中文化的训练，对中文的支持都比较好。
关于使用 Base 模型还是 Chat 模型作为基座模型，这两个选择有各自的优点：
1. 使用Base模型能够保证自己的数据不会和开源的指令精调数据发生冲突，例如重复、开源模型的某项能力不佳等。通过这种方式用户能够更好地把控模型的效果。
2. 使用 Chat 模型用户可以迁移开源模型所训好的能力，当用户数据不够充足的情况下，可以使用 Chat 模型更快速地达到效果。
我们提供了国内外多款主流的开源模型，包括 llama3，baichuan，qwen 等，同时也提供了我们腾讯云的行业大模型。我们腾讯云行业大模型通过大量行业语料增训，使得模型具备强大的行业领域知识，同时也具备较强的阅读理解能力，70B的模型效果能够与市面上主流的闭源模型效果相当。
