用GPT-2训练的AI代码生成模型PolyCoder开源，C语言写得尤其好，但Python不行

新知榜官方账号

2023-11-23 02:23:15

背景

AI写代码可以说是大火，其中最著名的要属OpenAI的Codex和DeepMind的AlphaCode。然而，这两个AI模型，全都没有开源：其中AlphaCode只给出了一些测试样例，而Codex只开放了API。为此，来自CMU的几个研究人员，用GPT-2搞出了一个名叫PolyCoder的AI代码生成模型，而且还是开源的。

训练数据集

PolyCoder采用了多种编程语言代码集来训练，一共有12种：C、C#、C++、Go、Java、JavaScript、PHP、Python、Ruby、Rust、Scala和TypeScript。其中，C语言的代码量是最多的，达到了221GB；而Python代码的数据量比Codex和CodeParrot用得都要少。这里PolyCoder用的是GitHub上的公开代码，主要选取的是各种编程语言中比较受欢迎的库，每个库至少有50Stars。据研究人员表示，每种编程语言库的Stars总数加起来不超过25k，以避免模型生成的代码效果太过于倾斜。

预训练方法

语言模型的预训练方法通常有三种。这里PolyCoder主要采用的是自左向右的语言模型，根据上文预测下文，比较适用于代码生成等。

训练结果

PolyCoder在C语言中意外取得了最好的效果。用大量C语言训练PolyCoder的结果说明，即使模型整体原理不变（基于GPT-2），单纯改变训练用的代码集，也能训练出擅长不同语言风格的AI代码生成模型。但从其他语言来看，生成的效果就完全没办法和Codex相比了。

结论

作者们提到，做出PolyCoder的目的主要还是为了开源一个AI代码生成模型，让更多人参与研究和使用。目前代码已经开源，无论是直接拿来用，还是试着在它的基础上开发新模型都可以。

项目地址：https://github.com/VHellendoorn/Code-LMs

论文地址：https://arxiv.org/abs/2202.13169

本页网址：https://www.xinzhibang.net/article_detail-20867.html

寻求报道，请

关键词

AI代码生成模型 GPT-2 PolyCoder C语言 Python 开源

分享至微信：

扎心文案+AI插画=爆款！揭秘8万赞视频的制作全流程

又一个爆款诞生！今天拆解一个账号——@尴尬的老男人，内容很简单，最高一条近8万赞，但平均每条视频都有几百赞！他的视频看似就是几张图片配上一段音乐，却精准狙击用户对“生活氛围感”和“情绪价值”的深层渴望，再加上温暖色调、治愈配乐——每一帧都让人忍不住驻足回味。其实，这种视频的关键就是2个：扎心文案

分类标签

08-12 10:08

三个国外专业免费的调色网站

三个国外专业免费的调色网站无论制作视频、编辑图片，合适的色彩会让你的作品增加视觉冲击力，所以专业的调色技术价值非凡，一部电影或一部好的视频、图片海报，专业调色耗费少则上万，多则上百万，只是大家对专业调色这个行业知之甚少，今天网玩君就为大家分享三个国外专业免费的调色网站，记得收藏好，以后编辑视频、图片

分类标签调色网站免费

04-18 16:42

第六届中国国际工业设计博览会盛况空前

第六届中国国际工业设计博览会于11月30日至12月2日在武汉举行。本届博览会展览面积达2万平方米，参展企业超过300家，其中，参展国家级工业设计中心数量为历届最多。众多国内外行业龙头企业展示了多项“首台套”的硬核实力，为中国制造业向高端化、智能化、绿色化转型升级赋能。中铁宝桥集团展示了多个“国内首条

分类标签中国国际工业设计博览会工业设计创新成果中国制造业

04-18 16:42

知识分享查理芒格思考的独立性与决策的准确性

知识分享查理芒格思考的独立性与决策的准确性本文介绍了成功投资者必须具备独立思考和决策准确性，同时保持谦逊低调的心态，以及成功的关键因素之一——运气。同时，本文还分享了下周市场关注的行业和概念。一、知识分享查理芒格思考的独立性成功的投资者必须具备独立思考的能力，因为只有独立思考才能避免盲目跟风和投资决

分类标签独立思考决策准确性谦逊低调

04-18 16:42

阿里国际发布三款AI设计工具助力中国制造走向全球

阿里国际发布三款AI设计工具助力中国制造走向全球12月1日，在第六届中国国际工业设计博览会上，阿里国际数字商业集团（简称“阿里国际”）发布了3款设计生态工具：堆友、PicCopilot、鹿班AI。这3款产品具有AI绘画、AI模型创作、AI图像和视频处理等功能，用AI设计服务全球商家更轻松的做好本地市

分类标签 AI设计阿里国际数字商业集团

04-18 16:42

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway