新知榜官方账号
2023-10-18 10:20:10
开源中国文|白开水卡内基梅隆大学的研究人员推出了一个开源的自动代码生成器模型PolyCoder,具有27B参数,基于GPT-2架构,在一台机器上对跨越12种编程语言的249GB代码进行了训练。训练结果表明,在C编程语言中,PolyCoder优于包括Codex在内的所有模型。
研究人员指出,OpenAI的Codex于去年8月发布,可通过微软拥有的GitHub的Copilot工具获得;但它通过黑盒API调用提供对模型输出的“non-freeaccess”,模型的权重和训练数据并不可用。为了解决这一问题,他们推出了PolyCoder。该模型使用来自GitHub的多个存储库的数据进行训练,涵盖12种流行的编程语言:C、C#、C++、Go、Java、JavaScript、PHP、Python、Ruby、Rust、Scala和TypeScript。未经过滤的数据集总共有631GB的数据和3890万个文件。此外,为了训练PolyCoder,研究人员选择了GPT-2(因为预算有限)。不过虽然PolyCoder在C语言方面的表现优于所有模型,但Codex在其他语言方面仍然要胜过PolyCoder。
“值得注意的是,PolyCoder在C语言方面优于Codex和所有其他模型。在比较单独的开源模型时,PolyCoder在C、JavaScript、Rust、Scala和TypeScript方面的表现比类似规模的GPT-Neo2.7B更好。在除C语言以外的其他11种语言中,所有其他开源模型,包括我们的,都明显比Codex差(higherperplexity)。”
相关工具
相关文章
相关快讯
推荐
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16