格隆汇6月8日丨有投资者向卫宁健康(300253.SZ)提问,“根据贵方介绍,WiNGPT采用通用GPT架构、60亿参数,实现了从预训练到微调的医疗大语言模型全过程自有研发。然而对于通用模型,百亿参数是入场券。GPT-3和LaMDA均显示,100亿参数以下的模型计算能力几乎为0。不知道贵方60亿参数如何应对技术迭代?”
卫宁健康回复称,之前已介绍过,卫宁健康WiNGPT不同于通用大模型,我们的大模型聚焦于垂直领域-医疗,因此所涉及的训练数据也小于通用大模型。所谓“有多少数据就用多大模型”,我们从几亿到上百亿参数模型进行了实验,是平衡成本与精度的选择,而非一味追求模型的体量。未来我们可以根据场景和产品的需要进行灵活的增减。
领取专属 10元无门槛券
私享最新 技术干货