For linguists bewildered by large language models (LLMs), the confusion often st...

基础大模型通过原始大数据的“自监督学习”（self-srupervised learning），利用多层神经网络，获得数据相关的知识。自监督学习是一种特别的监督...

在《文档数字化采集与智能处理：图像弯曲矫正技术概述》一文中，我们介绍了文档图像矫正技术的发展沿革与代表性方案。随着文档智能处理的需求逐步升级，文档图像去畸变技术...

Transformer 架构是现代深度学习中非常重要的模型，广泛应用于自然语言处理（NLP）和计算机视觉（CV）领域。以下是一个使用 Python 和 PyTo...

蛋先生：是的，它是 Google 在2017年发表的一篇名为“Attention Is All You Need”的论文中提出的神经网络架构

在数字营销领域，广告创意的质量直接影响广告的效果和转化率。随着人工智能技术的发展，深度学习在广告创意生成方面展现出了巨大的潜力。本文将介绍如何使用Python实...

模型地址：mistralai (Mistral AI_) (huggingface.co)，需要在这个网页上申请权限（地址填国外）

Llama3.1共开源了8B、70B、405B三种参数量的模型，三个模型具体信息如下图，其中405B除了BF16精度，还有FP8量化版模型，针对8B额外开源了经...

由于注意力机制的二次复杂度，举例来说（如图1 a 所示），在单台装有 A100 的机器上为 LLaMA-3-8B 提供服务时，如果提示有 30 万个 token...

结束符是一个句子（prompt）的结尾标记，再大语言模型中，句子中的每个单词都会被编码成数字才能被模型处理。同样的，结尾标记也会被编码成一个数字。再Meta给的...

衡量语言建模能力的重要指标，通过计算给定文本序列概率的倒数的几何平均，来衡量模型对于语言的建模能力。基础公式如下：

论文地址：[2402.02750] KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache ...

词表大小从32000增加到128256，这也是导致参数量从7B增至8B的主要原因。更大的词表使得模型涵盖的语言更多、更加通用

随着大模型的发展，越来越多人员参与到大模型炼丹和实践中，但HuggingFace在国内无法方便访问，带来不少问题。

简单聊聊可以在端侧运行的 Mini CPM 2B SFT / DPO 版本的模型。

NCCL是一个Nvidia专门为多GPU之间提供通讯的通讯库，或者说是一个多GPU卡通讯的框架 ，提供了包括AllReduce、Broadcast、Reduce...

这篇文章，想分享下我日常是如何下载模型的，包括下载来源和工具使用细节，希望对折腾模型的你也有帮助。

Huggingface开源大模型排行榜: Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH...

当争议和流量都消失后，或许现在是个合适的时间点，来抛开情绪、客观的聊聊这个 34B 模型本身，尤其是实践应用相关的一些细节。来近距离看看这个模型在各种实际使用场...

本篇文章聊聊如何使用 HuggingFace 的 Transformers 来量化 Meta AI 出品的 LLaMA2 大模型，让模型能够只使用 5GB 左右...