以 ChatGPT、DeepSeek 为代表的大语言模型取得了巨大的成功，掀起了全球新一轮 AI 浪潮。但是在视觉生成领域，目前主流的方法却是一直以扩散模型为主...

如果一个项目的核心不是分类准确率，而是概率估计的质量。换句话说，需要的是一个校准良好的模型。这里校准的定义是：如果模型给一批样本都预测了25%的正例概率，那这批...

1. 我作为项目经理，项目成员来自各个小组，并不直接汇报给我，这个时候，我觉得项目管理会变得困难，项目延期风险会大增。所有项目成员不是都听我的，经常有成员说“抱...

随着大语言模型规模持续增长，如何降低推理成本成为业界焦点。量化是一种主流的稳定高效的降本部署方式。腾讯云联合小红书Hilab Infra团队，在SGLang 中...

可以通过 countGenes 函数获得组内 V(D)J 等位基因、基因或家族的相对丰度。为了分析不同样本之间的 V 基因使用差异，我们将设置 gene="v_...

随机量化器深度（SQD）：在训练中，以概率 随机丢弃最后 个量化尺度，形成 种训练路径。此举强制模型在早期尺度中编码更多信息，缓解“末层滥用”问题。如图3...

流匹配。扩散模型是一类生成模型，其学习一条从（高斯）噪声到数据的轨迹，并通过迭代地遵循该轨迹从采样的噪声生成媒体。这条从噪声到数据的轨迹通常在基于分数的生成框架...

隐写术作为信息安全领域的重要分支，正在随着数字技术的发展而不断演进。如果说LSB隐写技术是隐写术领域的基础入门，那么频域隐写技术则代表了更高级、更安全的隐写方法...

量化感知训练是在模型训练过程中就考虑量化误差的方法。通过在训练过程中模拟量化和反量化操作，模型可以学习适应量化带来的精度损失。这种方法通常能够获得最佳的量化效果...

训练时量化是在模型训练过程中模拟量化误差的量化方法。通过在训练过程中引入量化噪声，模型可以学习适应量化带来的精度损失。

NF4（NormalFloat 4-bit）是QLoRA引入的一种创新数据类型，专为量化服从正态分布的模型权重而设计。与传统的整数量化（如Int4）和浮点量化（...

随着大型语言模型（LLM）规模的不断扩大和应用场景的日益复杂，推理性能已成为制约模型实际部署和应用的关键因素。尽管大模型在各项任务上展现出了令人惊艳的能力，但其...

目前，用于LLM的主要量化方法包括后训练量化（PTQ）和量化感知训练（QAT）。对于树莓派部署，PTQ通常是更实用的选择，因为它不需要重新训练模型。

随着人工智能技术的飞速发展，大型语言模型（LLM）在自然语言处理、多模态理解等领域展现出惊人的能力。然而，将这些模型从实验室环境部署到实际生产系统中，面临着诸多...

2025年，LLM量化技术已经从简单的位宽压缩发展为复杂的混合精度策略。以下是主要的量化技术分类：

随着大型语言模型（LLM）技术的迅速发展，Hugging Face的Transformers库已经成为LLM开发和应用的标准工具包。作为一个开源的深度学习库，T...

大语言模型微调完成后，如何全面评估其性能并将其安全高效地部署到生产环境，是实现模型价值的关键环节。本文将深入探讨微调模型的评估框架、部署策略和最佳实践，帮助读者...

随着大型语言模型(LLM)的快速发展，模型规模呈指数级增长，从最初的数亿参数到如今的数千亿甚至万亿参数。这种规模扩张带来了惊人的能源消耗和训练成本，同时也给部署...

量化是一种通过降低模型参数和激活值精度来减少内存占用和加速计算的技术，2025年的量化技术主要包括以下分类：