首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    大模型 4-bit 量化前沿:AWQ vs. GPTQ vs. QuIP#

    二、4 - bit 量化技术概述 1.量化基本原理 模型量化是将模型中的参数从高精度表示(如 32 - bit 浮点数)转换为低精度表示(如 4 - bit 整数)的过程。...例如,将一个 32 - bit 的浮点数参数量化为 4 - bit 的整数参数,理论上可以使模型的存储空间减少到原来的 1/8。...3.4 - bit 量化面临的挑战 精度损失 :在量化过程中,模型参数的信息可能会丢失,导致模型性能下降。如何在保证量化效率的同时,尽可能减少精度损失是 4 - bit 量化技术的关键问题。...开发通用且高效的 4 - bit 量化方案是一个具有挑战性的任务。...未来,可能会出现针对这些特定领域的 4 - bit 量化方法,通过对领域知识的深入挖掘和利用,开发出更符合领域需求的量化方案,推动 4 - bit 量化技术在各个领域的广泛应用。

    1.9K10

    Maix Bit 系列心得(1)--- 初识Maix Bit

    文章目录 一、简介 二、K210芯片参数 三、开发板配置 四、开发板原理图 五、应用 参考文献 导语:Maix Bit 是基于K210(RISC-V架构64位双核)设计的一款AIOT开发板。...一、简介 Maix Bit 开发板是SiPEED公司Maix产品线的一员,基于嘉楠堪智科技的边缘智能计算芯片K210(RISC-V架构64位双核) 设计的一款AIOT开发板。...二、K210芯片参数 项目 说明 内核 RISC-v Dual Core 64bit,with FPU 主频 400MHz(可超频至600MHz) SRAM 内置8M Byte 图像识别 QVGA@60fps...12S、TIMER9 视频处理 神经网络处理器(KPU) FPU满足IEEE754-2008标准 音频处理器(APU) 快速傅里叶变换加速器(FFT) 三、开发板配置 项目 说明 CPU 双核 64bit...RISC-V / 400MHz (双精度FPU集成) 内存 8MiB 64bit 片上 SRAM 存储 16MiB Flash, 支持 micro SDXC 拓展存储 (最大128GB**) 屏幕(套餐

    2.7K10
    领券