首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

代码生成模型 Code Llama-34B 已在 HumanEval 测试中击败 GPT-4

品玩8月26日讯,据 phind 官方消息,研究团队在Phind 内部数据集上对 CodeLlama-34B 和 CodeLlama-34B-Python 进行微调之后发现,这两款模型微调之后在 HumanEval 测试中的通过率均已超过GPT-4在今年3月份的成绩。

Code Llama 是Meta发布的一款代码生成大模型,拥有7B、13B和34B三个尺寸,同时包含基础模型、Python专用版本等多款模型。 HumanEval  测试显示,未经过微调的CodeLlama-34B 和 CodeLlama-34B-Python 的通过率分别为48.8%和53.7%。

phind 研究团队通过在一个包含约 8 万个高质量编程问题和解决方案的专有数据集上对这两个模型进行了微调。这个数据集是 phind 研究团队内部推出的一个数据集,以指令-答案对为特征。这两个模型均经过了两次训练,训练量达到约16万个示例。此次训练并没有使用 LoRA(大语言低秩适应,一种微调方案),但研发团队对这两个模型进行了本地微调,并采用了 DeepSpeed ZeRO 3 和 Flash Attention 2 两种训练方法。训练耗时3小时,使用了32 个 A100-80GB GPU。研究团队表示,他们还对数据集采用了 OpenAI 给出的净化方案,确保结果有效且其中不含受污染的示例。

在经过测试之后发现,训练后的  CodeLlama-34B 通过率达到67.6% ,CodeLlama-34B-Python 的通过率达到69.5% 。而 GPT-4在今年3月份的成绩为67%。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/O7EM4bBtShw59jBtVSvJDTrA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券