英伟达推出芯片设计专用大语言模型 ChipNeMo

英伟达公司近期宣布发布了一款自家研发的大语言模型，命名为 "ChipNeMo"，它包含了高达430亿个参数。这个大型语言模型的主要应用领域是辅助芯片设计。英伟达希望通过ChipNeMo来提高其芯片设计团队的工作效率。

英伟达首席科学家Bill Dally表示，他们的目标是使芯片设计师更加高效。即使通过ChipNeMo只能提高几个百分点的生产率，也是值得的。英伟达旗下的H100 Tensor Core GPU包含了数百亿个晶体管，这个庞大的工程需要数年的时间才能完成。通过引入ChipNeMo这一大语言模型，英伟达希望提高所有工作流程的效率。

ChipNeMo的主要功能包括：

问答服务：ChipNeMo内置了一个聊天机器人，它可以回答有关GPU架构和设计的问题，帮助工程师在早期测试中快速找到技术文档。

DEA脚本生成：用户只需用自然语言提出生成代码的需求，ChipNeMo就可以生成带有注释的代码片段。

Bug总结和分析：芯片设计人员可以向ChipNeMo描述问题，如Bug的ID、Synopsis、Module和Description等，然后ChipNeMo会生成技术总结和管理总结。

对于数据集，英伟达主要采用了Bug总结、设计源、文档，以及硬件相关的代码和自然语言文本，如维基百科和GitHub等。经过数据采集、清洗和过滤，形成了包含241亿个token的数据集。

为了提高大语言模型在工程助理聊天机器人、EDA脚本生成和Bug摘要和分析等领域的性能，英伟达采用了领域自适应技术，包括自定义标记器、领域自适应持续预训练、带有领域特定指令的监督微调，以及领域自适应检索模型。这些领域自适应技术不仅提高了性能，还使模型大小最多可减少5倍，同时保持相似或更好的性能。

尽管已经取得了一些进展，但作者也承认，仍然有改进的空间，未来的研究将有助于进一步缩小性能差距。

这一新型大语言模型的问世标志着大语言模型在半导体设计领域的应用迈出了重要的一步，为芯片设计带来了新的工具和方法，有望提高半导体设计的效率。英伟达的创新也将在这一领域中推动技术的不断发展。

*免责声明：以上内容整理自网络，仅供交流学习之用。如有内容、版权问题，请留言与我们联系进行删除。