清华GLM技术团队打造的多语言代码生成模型CodeGeeX2-6B

新知榜官方账号

2023-08-04 16:22:48

清华GLM技术团队打造的多语言代码生成模型CodeGeeX2-6B

CodeGeeX2是多语言代码生成模型CodeGeeX的第二代模型，不同于一代CodeGeeX，CodeGeeX2是基于ChatGLM2架构加入代码预训练实现。得益于ChatGLM2的更优性能，CodeGeeX2在多项指标上取得性能提升（+107%>CodeGeeX），仅60亿参数即超过150亿参数的StarCoder-15B近10%。相较于一代模型，二代具有更强大的代码能力、更优秀的模型特性、更全面的AI编程助手和更开放的协议。

CodeGeeX2特性

更强大的代码能力
- 基于ChatGLM2-6B基座语言模型，CodeGeeX2-6B进一步经过了600B代码数据预训练，相比一代模型，在代码能力上全面提升，HumanEval-X评测集的六种编程语言均大幅提升(Python+57%,C+++71%,Java+54%,JavaScript+83%,Go+56%,Rust+321%)，在Python上达到35.9%的Pass@1一次通过率，超越规模更大的StarCoder-15B。
更优秀的模型特性
- 继承ChatGLM2-6B模型特性，CodeGeeX2-6B更好支持中英文输入，支持最大8192序列长度，推理速度较一代CodeGeeX-13B大幅提升，量化后仅需6GB显存即可运行，支持轻量级本地化部署。
更全面的AI编程助手
- CodeGeeX插件（VSCode,Jetbrains）后端升级，支持超过100种编程语言，新增上下文补全、跨文件补全等实用功能。结合AskCodeGeeX交互式AI编程助手，支持中英文对话解决各种编程问题，包括且不限于代码解释、代码翻译、代码纠错、文档生成等，帮助程序员更高效开发。
更开放的协议
- CodeGeeX2-6B权重对学术研究完全开放，可申请商业使用。

GLM团队开发了支持VSCode、IntelliJIDEA、PyCharm、GoLand、WebStorm、AndroidStudio等IDE的CodeGeeX插件。在插件中，可以更直接地体验到CodeGeeX2模型在代码生成与补全、添加注释、代码翻译及技术问答方面的能力为开发效率带来的提升。CodeGeeX2目前支持在多种不同平台上进行推理，包括CPU推理，多卡推理，加速推理等。

如何快速使用CodeGeeX2

使用transformers快速调用CodeGeeX2-6B：

fromtransformersimportAutoTokenizer,AutoModel

tokenizer=AutoTokenizer.from_pretrained("THUDM/codegeex2-6b",trust_remote_code=True)
model=AutoModel.from_pretrained("THUDM/codegeex2-6b",trust_remote_code=True,device='cuda')

#如使用CPU推理，device='cpu'

model=model.eval()

#CodeGeeX2支持100种编程语言，加入语言标签引导生成相应的语言
prompt="#language:Python
#writeabubblesortfunction
"
inputs=tokenizer.encode(prompt,return_tensors="pt").to(model.device)
outputs=model.generate(inputs,max_length=256,top_k=1)

#示例中使用greedydecoding，检查输出结果是否对齐
response=tokenizer.decode(outputs[0])
>>>print(response)
#language:Python
#writeabubblesortfunction
defbubble_sort(list):
    foriinrange(len(list)-1):
        forjinrange(len(list)-1):
            iflist[j]>list[j+1]:
                list[j],list[j+1]=list[j+1],list[j]
    returnlist

print(bubble_sort([5,2,1,8,4]))

fastllm中模型接口和huggingface不完全相同，可以参考demo/run_demo.py中的相关实现：

model.direct_query=True
outputs=model.chat(tokenizer,prompt,max_length=out_seq_length,top_p=top_p,top_k=top_k,temperature=temperature)
response=outputs[0]

本页网址：https://www.xinzhibang.net/article_detail-9246.html

寻求报道，请

关键词

CodeGeeX2-6B 多语言代码生成模型 ChatGLM2

分享至微信：

相关工具

AskCodi

你的个人AI编程助手

Deco

京东推出的设计稿一键生成多端代码工具

CodeArts Snap

华为云推出的智能编程助手

Mutable AI

人工智能加速软件开发

JamGPT

AI Debug调试助手

Locofy

AI无代码工具将Figma、Adobe XD和Sketch设计转换成前端代码

南威软件集团举办人工智能技术分享会

南威软件集团举办人工智能技术分享会人工智能的蓬勃发展为各个领域的技术升级注入了创新动能，为开发者、工程师带来了丰富的机遇与挑战，南威软件集团一直积极探索大模型技术在多领域的应用。为了进一步推动公司的人工智能技术交流，提高研发效率，集团技术委员会于11月23日邀请各研发部门技术专家，组织公司产品研发及

分类标签人工智能多模态模型大模型编程工具

12-04 16:14

华为发布“AI新新人类”，大模型时代开启

华为发布“AI新新人类”，大模型时代开启威尔伯·施拉姆有一个著名的“最后七分钟”比喻：如果把人类历史的100万年换算成一天的时间，人类文明的演进关键集中在最后七分钟。可以看到，人类在地球上已经有几百万年历史，但人类文明却是在近千年里才飞速发展，背后无疑是因为文字、知识和信息技术。当信息逐渐超载，人类

分类标签华为AI新新人类大模型知识库人类文明智能化

12-04 16:13

CodeGeeX：基于深度学习的代码生成神器

CodeGeeX的概念CodeGeeX是由清华大学知识工程实验室研发的一款基于大模型的全能的智能编程助手，它可以实现代码生成与补全、自动添加注释、代码翻译以及智能问答等功能。它是一个基于transformers的大规模预训练编程语言模型，是一个从左到右生成的自回归解码器，将代码或自然语言标识符（to

分类标签 CodeGeeX深度学习代码生成

11-24 16:13

AI编程：深度学习推动人工智能进程

AI编程的起步与发展早在上世纪50年代，人工智能就有了编程代码的雏形。最初的AI程序主要依靠手工输入的规则来生成代码，这种方法生成的代码非常简单，无法满足复杂需求。60年代起，一些基于统计机器学习的AI编程方法出现，但受限于算法和计算机性能，成效并不明显。那个时代的AI编程可谓起步缓慢，仅局限于简单

分类标签 AI编程深度学习人工智能

11-03 02:18

6个AI效率工具，让你的工作更高效

ChatExcelChatExcel是北大出品的工具，其主要功能就是将用户的“白话语句”转为Excel的执行命令。用户只需要对Excel说要求的效果，ChatExcel就能将Excel数据进行处理，实现自动化操作。PearOCRPearOCR是一款图片文本识别工具，可以直接识别中文、英文图片或者截图

分类标签 AI工具ChatExcelPearOCRDreamPicLookaNameLixCodeGeex

10-31 22:18

微软将在未来几个月内为AI生成的内容增加标记和签名功能

近期，微软在Build2023开发者大会上宣布，将在未来几个月内增加一项功能，让任何人都能识别BinglmageCreator和MicrosoftDesigner生成的图像或视频片段是否是由AI生成的。微软方面表示，这项技术是使用密码学的方法对AI生成的内容进行标记和签名，并附上有关其来源的元数据信

分类标签微软AI生成内容标记签名数字水印

10-23 01:20

Microsoft365推出一系列新功能，包括浏览器扩展和剪贴板支持

Microsoft365推出一系列新功能Microsoft365是微软的一项生产力服务，为用户提供了许多应用，如Word、Excel、PowerPoint和Outlook等。近日，微软宣布了一系列新功能，包括浏览器扩展和剪贴板支持。浏览器扩展微软为Microsoft365的Edge和Chrome浏览

分类标签 Microsoft365浏览器扩展剪贴板支持

10-23 01:18

盛会将至，超级码工厂编程大赛邀您来参加！

盛会将至，超级码工厂编程大赛邀您来参加！长沙·中国1024程序员节作为IT界的技术盛筵，“超级码工厂编程大赛”应运而生，参赛选手将在“世界计算·长沙智谷”展开技术颠覆对决。为此，我们特向所有开发者与技术英雄们发布邀请帖，诚邀您来！本届大赛联合华为、阿里、百度、腾讯、科大讯飞、创新工厂、长沙智谷、各大

分类标签超级码工厂编程大赛AI技术

10-17 02:30

AI绘制插画图标教程

PART1：展示效果图 PART2：AI设置步骤一：编辑-首选项-常规（快捷键Ctrl+k）。注：使用版本为cc2017。步骤2：这次的教程会经常用到轮廓化描边，所以我给它设置快捷键为ctrl+w，使得效率提高一倍，根据自己的习惯进行设置。编辑-键盘快捷键。 PART3：绘制背景部分-四叶草步骤

分类标签 AI插画图标

09-26 23:38

网页设计中PS和AI的应用

网页设计中PS和AI的应用随着互联网的发展，网页设计变得越来越重要。在网页设计中，PS和AI是最常用的工具之一。PS可以用于制作网页素材，比如按钮、背景图等等，而AI则可以用于设计字体、制作图标等等。在使用PS进行网页设计时，我们需要先画出设计草稿图，然后按照参考线找到图形的中心点，并锁定它。接着，

分类标签网页设计PSAI

09-26 23:36

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway