开源大咖说07期｜倪辉——ncnn项目导师

#自我介绍

请您做一个简单的自我介绍。

倪辉：大家好，我是倪辉，github ID nihui，腾讯优图实验室研究专家，开源神经网络推理库ncnn的作者。

ncnn是神经网络推理库，具有轻量、高效、跨平台等特点。开源以来，受到广大开发者的欢迎，在众多实际应用场景中取得良好效果。非常感谢社区的支持和贡献，我也会继续努力，为大家提供更好的开源产品。

您最初接触开源是基于怎样的机缘，有值得分享的趣闻轶事吗？

倪辉：我最初接触开源是在2006年，大家还在使用XP操作系统，经常中电脑病毒导致死机卡顿。我了解到Linux系统天生免疫病毒，于是尝试了MagicLinux，从此我与开源的命运齿轮开始转动...

在这条开源的道路上，您遇到过最大的挑战是什么？有哪些印象深刻的故事可以跟大家分享一下？

倪辉：维护开源项目需要我在审查代码、架构设计、解决和定位问题上耗费大量时间，还有不断有来自社区的新需求，这对项目的维护和发展都是巨大的挑战。

ncnn通过精简架构设计，减少封装，并建设完备的全平台CI和代码覆盖率测试，提前找到了大量潜在bug，节省了大量时间，在重构或新增功能时都能更加自信。

#关于参与腾讯犀牛鸟计划

请您简单介绍一下您今年指导项目的安排，以及对项目成果有着怎样的期望呢？

倪辉：今年有ncnn算子优化，pnnx算子转换，simplemath数学函数，LLM算法部署等。算子优化和转换属于常规任务，计算加速和模型兼容性是主要目的。

simplemath数学库任务，要求实现ncnn所用到的exp log sin 等函数，进一步免去libm依赖，增强某些嵌入式平台编译可移植性。

今年生成式AI依旧火热，LLM大语言模型的部署是当今行业痛点之一，于是产生了LLM-ncnn部署项目，目前项目进度乐观。

项目发展到今天，大概经历了哪些阶段呢？目前的阶段和状态是怎样的呢？

倪辉：2017年夏天，ncnn在github上开源，从为手机平台ARM CPU优化，这一路经历了社区贡献者的努力支持，现在已经支持x86 mips loongarch risc-v等更多CPU架构，并且通过Vulkan API支持全部主流PC和手机GPU加速。在模型支持方面，pnnx—pytorch模型优化和转换工具，有效的解决onnx容易拆碎op，不支持超大模型等的各种问题，有效提高模型转换的兼容性。

项目实战阶段正在进行中，项目的开展是否顺利呢？在实战的过程中，学生们有遇到困难吗？可以分享一下您的指导经验吗？

倪辉：任务设计时已经区分了不同难度，尤其对于简单任务，给了非常详尽的参考代码和资料，以便让更多学生能够通过学习，达成目标。

在LLM-ncnn的困难任务上，因为目前属于行业空白，缺乏技术资料，学生在模型转换的过程中失败率较高，学生定期与导师交流和同步结果后，导师再同步改进转换工具，以便解决转换中的各种问题。不仅能让学生提高项目实践成功率，还能发现、测试到ncnn本身的问题，帮助项目提升质量。

腾讯犀牛鸟开源人才培养计划已举办至第三届，越来越多的学生参与到其中，您对热爱开源的学生们有什么建议呢？

倪辉：希望同学们能多上手，从实践中学习。如果有问题，多进技术群交流，学会提问。如果害羞，群里潜水看着群友聊技术，也会有所收获。

#关于开源

近年来，国内涌现出来了不少开源软件，您是怎么看待当下的开源现状呢？您觉得现在国内开源的发展态势会朝着一个什么样的方向发展呢？

倪辉：越来越多企业和个人意识到开源价值，参与开源，并在开源之上构建商业形态。随着技术不断发展，后面开源生态会更加繁荣，尤其在人工智能这样的新兴领域，开源会进一步推动技术发展和普及。

面对中国开源市场，您有什么好的建议、寄语与大家分享吗？

倪辉：注重项目维护和建立良好的社区，勇于技术创新，带来有真正价值的开源。