我做了一个参数规模只有 240 万到 400 万的图像生成模型,量化成 int8 后,可以完全在 RP2350 微控制器上跑,最长一次生成大概 20 秒生成好的图会直接显示在显示器上,或者通过 USB 传出去
模型本身是一个潜空间流 Transformer,一共 12 层,用 AdaLN-Zero 做条件控制,也支持 CFG,开了之后画质提升非常明显推理引擎会在算上一层的时候,通过 DMA 从 Flash 里流式读取下一层权重激活函数用了 Relu² 来增加稀疏性,引擎可以借此跳过一些计算
为了调对这东西做了大量消融实验,没想到参数这么少也能走这么远,我自己都挺惊讶的代码仓库之后会发出来