安卓手机上跑15亿参数大模型，12秒不到就推理完了

计算机视觉研究院专栏

Column of Computer Vision Institute

生成式AI上端侧，要用真正的技术。

早晚会有这一天，但它还是比想象来得早了一些：大模型在手机上运行的预言被实现了。

转载请联系本公众号获得授权

往期推荐

🔗

• 加速AGI落地！使用4-bit整数训练Transformer，比FP16快2.2倍，提速35.1%
• 轻量级MobileSAM：比FastSAM快4倍，处理一张图像仅需10ms（附源代码）
• CVPR2023：浙大&南洋理工提出PADing：零样本通用分割框架（附源代码）
• 中国提出的分割天花板 | 精度相当，速度提升50倍！
• All Things ViTs：在视觉中理解和解释注意力
• 基于LangChain+GLM搭建知识本地库
• OVO：在线蒸馏一次视觉Transformer搜索
• 最近几篇较好论文实现代码（附源代码下载）
• AI大模型落地不远了！首个全量化Vision Transformer的方法FQ-ViT（附源代码）
• CVPR 2023｜EfficientViT：让ViT更高效部署实现实时推理（附源码）
• VS Code支持配置远程同步了
• 基于文本驱动用于创建和编辑图像（附源代码）
• 基于分层自监督学习将视觉Transformer扩展到千兆像素图像
• 霸榜第一框架：工业检测，基于差异和共性的半监督方法用于图像表面缺陷检测
• CLCNet：用分类置信网络重新思考集成建模（附源代码下载）
• YOLOS：通过目标检测重新思考Transformer（附源代码）