AI布道Mr.Jin_2025

文章/答案/技术大牛

发布

LV0

发表了文章 2天前2025-06-26 14:10:20

MindIE-LLM ATB模型推理全流程解析

最近，有很多小伙伴问我，如果他们想自己基于MindIE镜像中的文件适配新模型，可以怎么做？

AI布道Mr.Jin_2025 2天前2025-06-26 14:10:20

人工智能

发表了文章 5天前2025-06-23 15:39:42

MindIE DeepSeek MTP特性定位策略

最近MindIE开始支持DeepSeek MTP（multi token prediction）特性了，用于推理加速。但是有些开发者打开MTP开关后，没有发现明...

AI布道Mr.Jin_2025 5天前2025-06-23 15:39:42

DeepSeek

发表了文章 8天前2025-06-20 15:21:36

DeepSeek-R1源码解读

最近和开发者做了很多DeepSeek-R1模型相关的推理项目，这两天抽时间把hugging face上面的源码拉下来仔细看了一遍，在这里做一个分享。主要是解析M...

AI布道Mr.Jin_2025 8天前2025-06-20 15:21:36

DeepSeek

发表了文章 29天前2025-05-30 17:20:39

《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》阅读笔记

最近昇腾提供的大EP PD分离推理解决方案非常火，很多开发者都开始使用了。正好这两天也看了一篇PD分离的经典论文，就是Kimi采用的PD分离架构：Mooncak...

AI布道Mr.Jin_2025 29天前2025-05-30 17:20:39

大模型部署

发表了文章 2025-05-272025-05-27 20:22:31

MindIE PD分离部署Q&A

PD分离是一种近年来兴起的推理加速部署方案，kimi、deepseek都进行了工程落地。昇腾MindIE组件也支持了PD分离部署能力，参考链接为 https:/...

AI布道Mr.Jin_2025 2025-05-272025-05-27 20:22:31

大模型部署

发表了文章 2025-05-262025-05-26 10:30:08

attention计算过程的一些细节

最近，有粉丝问我，attention结构中计算qkv的时候，为什么要做kvcache呢？他看了一些文章，没看懂。

AI布道Mr.Jin_2025 2025-05-262025-05-26 10:30:08

人工智能

发表了文章 2025-01-162025-01-16 19:33:00

Torch-npu报错定位技巧

第二步：在77行代码前每几行就加 torch.npu.synchronize()，再执行

AI布道Mr.Jin_2025 2025-01-162025-01-16 19:33:00

pytorch

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2025-01-15

个人成就

获得 14 次赞同
文章被阅读 2.1K 次

关注了：0关注者：12