开源代码生成模型CodeGeeX2-6B发布

新知榜官方账号

2023-07-25 16:22:35

开源代码生成模型CodeGeeX2-6B发布

每一位程序员,都能在自己机器上跑上一个自己的编程助手。为实现这一目标,现将「代码生成模型CodeGeeX2-6B」开源。同时我们也将对该模型持续进行迭代升级,以提供更加强大的代码辅助能力。

CodeGeeX2是多语言代码生成模型CodeGeeX的第二代模型,基于ChatGLM2架构注入代码实现。得益于ChatGLM2的更优性能,CodeGeeX2-6B在多项指标上取得了较大的性能提升。与150亿参数的StarCoder-15B相比,CodeGeeX2-6B凭借60亿参数便具备了近10%的优势。

更多特性包括:

  • 更强大的代码能力:基于ChatGLM2-6B基座语言模型,CodeGeeX2-6B进一步经过了600B代码数据预训练,相比一代模型,在代码能力上全面提升,HumanEval-X评测集的六种编程语言均大幅提升(Python+57%,C+++71%,Java+54%,JavaScript+83%,Go+56%,Rust+321%),在Python上达到35.9%的Pass@1一次通过率,超越规模更大的StarCoder-15B。
  • 更优秀的模型特性:继承ChatGLM2-6B模型特性,CodeGeeX2-6B更好支持中英文输入,支持最大8192序列长度,推理速度较一代CodeGeeX-13B大幅提升,量化后仅需6GB显存即可运行,支持轻量级本地化部署。
  • 更全面的AI编程助手:CodeGeeX插件(VSCode,Jetbrains)后端升级,支持超过100种编程语言,新增上下文补全、跨文件补全等实用功能。结合AskCodeGeeX交互式AI编程助手,支持中英文对话解决各种编程问题,包括且不限于代码解释、代码翻译、代码纠错、文档生成等,帮助程序员更高效开发。
  • 更开放的协议:CodeGeeX2-6B权重对学术研究完全开放,填写问卷可申请商业使用。

代码能力评测

CodeGeeX2作为一个多语言代码生成基座模型,代码能力较上一代大幅提升,以下是在HumanEval,HumanEval-X,DS1000基准上的评测结果(评价指标Pass@k定义与论文中一致):

量化推理性能

CodeGeeX2与上一代相比,对部署更加友好。得益于使用Multi-QueryAttention和FlashAttention,推理速度更快,且量化后仅需6GB显存即可运行:

本页网址:https://www.xinzhibang.net/article_detail-8636.html

寻求报道,请 点击这里 微信扫码咨询

关键词

CodeGeeX2-6B 代码生成模型 开源

分享至微信: 微信扫码阅读

相关工具

相关文章