新知榜官方账号
2023-10-18 10:20:10
开源中国文|白开水卡内基梅隆大学的研究人员推出了一个开源的自动代码生成器模型PolyCoder,具有27B参数,基于GPT-2架构,在一台机器上对跨越12种编程语言的249GB代码进行了训练。训练结果表明,在C编程语言中,PolyCoder优于包括Codex在内的所有模型。
研究人员指出,OpenAI的Codex于去年8月发布,可通过微软拥有的GitHub的Copilot工具获得;但它通过黑盒API调用提供对模型输出的“non-freeaccess”,模型的权重和训练数据并不可用。为了解决这一问题,他们推出了PolyCoder。该模型使用来自GitHub的多个存储库的数据进行训练,涵盖12种流行的编程语言:C、C#、C++、Go、Java、JavaScript、PHP、Python、Ruby、Rust、Scala和TypeScript。未经过滤的数据集总共有631GB的数据和3890万个文件。此外,为了训练PolyCoder,研究人员选择了GPT-2(因为预算有限)。不过虽然PolyCoder在C语言方面的表现优于所有模型,但Codex在其他语言方面仍然要胜过PolyCoder。
“值得注意的是,PolyCoder在C语言方面优于Codex和所有其他模型。在比较单独的开源模型时,PolyCoder在C、JavaScript、Rust、Scala和TypeScript方面的表现比类似规模的GPT-Neo2.7B更好。在除C语言以外的其他11种语言中,所有其他开源模型,包括我们的,都明显比Codex差(higherperplexity)。”
微信扫码咨询
相关工具
相关文章
相关快讯
推荐
阿里Accio中文版上线!一键搞定复杂采购
2025-08-19 09:13
视频“用嘴编辑”的时代来了,但钱包顶得住吗?
2025-08-15 17:59
智谱新模型GLM-4.5V全面开源,玩家们有福啦!
2025-08-12 17:56
扎心文案+AI插画=爆款!揭秘8万赞视频的制作全流程
2025-08-12 10:08
GPT-5没你想的那么好,附实测体验~
2025-08-11 11:07
一站式搞定AI绘图+视频,AI短片效率飙升的秘密在这儿!
2025-08-08 09:26
打工人新神器!10款国产AI,让你告别996!
2025-08-08 09:24
豆包视觉推理深度体验,AI也能“边看边想”了!
2025-08-08 09:19
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49