Photo by Mariia Shalabaieva on Unsplash
这些开源项目都是在语言模型领域中具有竞争力的选择。它们具备相似的关键特性和核心优势,如高质量、多功能、支持多种场景等。这些项目还通过引入新特性和改进来提升性能,例如更长的上下文长度和更高效的推理速度。无论是处理对话、分类问题还是进行代码生成,这些开源项目都展现出了非常强大且灵活可扩展的能力。无论您是开发者还是研究人员,这些项目都值得一试。
Stars: 32.2k
License: Apache-2.0
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。
该项目主要功能包括:
该项目的关键特性和核心优势包括:
Stars: 3.9k
License: NOASSERTION
ChatGLM2-6B 是一款开源的中英双语对话模型,是 ChatGLM-6B 的第二代版本。该项目在保留了初代模型优秀特性的基础上,引入了许多新特性和改进。
以下是 ChatGLM2-6B 的几个主要优势和功能:
此外,ChatGLM2-6B 还具有完全开放权重、商业使用授权等诸多优点。它不仅在评测结果方面表现出色(如 MMLU 和 C-Eval 上),还可以处理数学问题、知识推理以及长篇文章解析等任务。
这个项目结合最先进技术实现了非常强大且灵活可扩展的对话模型。它在性能、上下文长度和推理效率方面都有显著提升,使其成为同尺寸开源模型中具备竞争力的选择。
Stars: 15.0k
License: Apache-2.0
StableLM 是一个稳定的 AI 语言模型项目。
该项目具有以下核心优势和关键特性:
Stars: 10.5k
License: Apache-2.0
Dolly 是 Databricks 开发的一个大型语言模型,它是在 Databricks 机器学习平台上训练得到的。该项目基于 pythia-12b
并使用了约 15,000 条指令/回应微调记录进行训练 (由来自 Databricks 的员工生成),涵盖了从 InstructGPT 论文中提出的能力领域,包括头脑风暴、分类、封闭问答、生成、信息抽取和开放式问答等方面。虽然 dolly-v2-12b
不属于最先进模型,但其展现出了非常高质量且具有特色的指令跟随行为。
以下是该项目关键特性和核心优势:
Stars: 5.8k
License: Apache-2.0
StarCoder 是一个基于源代码和自然语言文本训练的语言模型 (LM)。它的训练数据包括 80 多种不同编程语言以及从 GitHub 问题、提交记录和笔记中提取出来的文本。这个项目展示了该 LM 的能力概览。
以下是 StarCoder 项目的关键特性和核心优势:
请注意:在使用之前需要接受协议,并确保已登录 Hugging Face hub。此外,请参考 Readme 中给出的硬件要求信息。
Stars: 4.7k
License: Apache-2.0
Baichuan-7B 是一个由百川智能开发的大规模预训练语言模型。该项目基于 Transformer 结构,使用了 70 亿参数,在约 1.2 万亿个 tokens 上进行了训练。这个开源项目支持中英双语,并且具有 4096 长度的上下文窗口。
以下是 Baichuan-7B 的关键特性和核心优势:
Stars: 1.7k
License: NOASSERTION
Baichuan-13B 是由百川智能开发的一个大规模语言模型,拥有 130 亿参数。该项目包含预训练和对齐两个版本,并具备以下特点:
[1]
THUDM/ChatGLM-6B: https://github.com/THUDM/ChatGLM-6B
[2]
THUDM/ChatGLM2-6B: https://github.com/THUDM/ChatGLM2-6B
[3]
Stability-AI/StableLM: https://github.com/Stability-AI/StableLM
[4]
databrickslabs/dolly: https://github.com/databrickslabs/dolly
[5]
bigcode-project/starcoder: https://github.com/bigcode-project/starcoder
[6]
baichuan-inc/Baichuan-7B: https://github.com/baichuan-inc/Baichuan-7B
[7]
baichuan-inc/Baichuan-13B: https://github.com/baichuan-inc/Baichuan-13B