首页
学习
活动
专区
工具
TVP
发布

GiantPandaCV

专栏作者
701
文章
859139
阅读量
93
订阅数
使用MLC-LLM将RWKV 3B模型跑在Android手机上(redmi k50每s可解码8个token
这篇文章主要是填一下 MLC-LLM 部署RWKV World系列模型实战(3B模型Mac M2解码可达26tokens/s) 这里留下来的坑,这篇文章里面介绍了如何使用 MLC-LLM 在A100/Mac M2上部署 RWKV 模型。但是探索在Android端部署一个RWKV对话模型的app时却碰到了诸多问题,解决的周期也很长,之前留了issue在MLC-LLM的repo,这周@chentianqi大佬回复说之前编译出的app会在模型初始化阶段卡住的问题已经解决了,所以我又重新开始踩了一些坑最终完成了在手机上运行RWKV World4 3B模型的目的。这里把踩的坑和Android编译方法都描述一下。
BBuf
2023-10-30
6590
轻量级肝脏与肝脏瘤2.5D分割网络阅读笔记
最近一直在读医学图像的论文,于是我打算写一个系列的阅读笔记,语言比较精简。在上一篇阅读笔记(https://zhuanlan.zhihu.com/p/505483978)中,分析了医学图像分割的混合 Transformer 网络:UTNet,在这一篇笔记中介绍的网络与 UTNet 思路完全不同,追求的是比 U 型网络更轻量级,但准确率更高的设计。还是先给下论文地址(刚刚接收):https://www.sciencedirect.com/science/article/abs/pii/S1746809422000891 。
BBuf
2022-05-27
4060
MXNet源码解读笔记1 ---- 如何解析参数文件
本文主要内容是解读MXNet加载并解析模型参数文件所涉及到的代码,希望读者读完本文能对MXNet参数文件的存储格式有比较清晰的了解,并可以自己来实现参数文件的解析。
BBuf
2020-04-29
8610
卷积神经网络学习路线(二十一) | 旷世科技 ECCV 2018 ShuffleNet V2
这个系列已经更新了20多篇了,感谢一直以来大家的支持和等待。前面已经介绍过MobileNet V1,MobileNet V2,MobileNet V3,ShuffleNet V1这几个针对移动端设计的高效网络,ShuffleNetV2是ShuffleNetV1的升级版,今天就一起来看看这篇论文。论文原文见附录。
BBuf
2020-02-21
7170
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档