ChatGLM2-6B模型部署教程

新知榜官方账号

2023-07-31 10:08:31

ChatGLM2-6B模型部署教程

ChatGLM2-6B是由清华大学开发的中英双语对话模型，它能生成相当符合人类偏好的回答，使每个人都能拥有自己的AI大模型。

本文总结了部署该模型过程中的一些技术点，希望通过详细的教程帮助到更多的开发者。

SEO关键词：

ChatGLM2-6B
双语对话模型
开源生态

ChatGLM2-6B的整体运行流程可以分为5个阶段，具体如下：

将句子通过分词器(使用google的sentencepiece）转换成tokens。
通过WordEmbedding将tokens转换成词向量。
通过Tranformer进行神经网络推理。
经过LmHead操作生成输出的Token。
Token经过分词器转成词语，且传递给下一轮推理，进入第一阶段。

ChatGLM2-6B从前面的描述中，可以看到有两处是动态的，一是因句子的长短不同，Transformer的输入Shape有所有不同；二是每一轮Transformer生成的kvcache会逐步增长。为了方便部署，根据网络特点转换成静态网络。

转换后的运行流程如下：

将原始tokens输入尾部补0，从<1x17xi32>转换成<1x512xi32>。
将position_ids从GlmBlock中提取出来，并固定长度为<1x512xi32>，也是尾部补0，用于位置编码。
将attention_mask从GlmBlock中提取出来，并固定长度为<1x512x512xf32>，注意无效部分全部补1，因为它之后会有masked_fill操作将mask为1的部分全部配置为-inf。
经过Softmax使超出部分全部清0，保留有效部分，从而保证最终结果与原始结果一致。
将kvcache的累加移到末尾[512-17:]，并头部清0。
从第二轮开始累加后做Slice操作去掉头部1个单位，取[1:]，这样就保证了kvcache始终保持在512。
attentionmask也要是从尾部实际tokenlen长度的0，头部全部置1。

ChatGLM2-6B模型部署需要将模型导出成ONNX，并使用TPU-MLIR编译器实现网络的编译。导出ONNX将该网络分为4块：WorkEmbedding，GlmBlock，GlmBlockCache，LmHead。

最后，根据执行逻辑编写C++代码即可。

本页网址：https://www.xinzhibang.net/article_detail-8977.html

寻求报道，请

关键词

ChatGLM2-6B 双语对话模型开源生态

分享至微信：

相关工具

Forefront

免费版基于GPT-4的AI聊天机器人

Jasper Chat

Jasper针对内容创作者出品的AI聊天工具

TigerBot

虎博科技推出的AI对话聊天机器人，基于TigerBot开源大模型

Google Bard

Google推出的AI聊天对话机器人Bard

Bing新必应

微软推出的新版结合了ChatGPT功能的必应

360智脑

360搜索最新推出的AI对话聊天机器人

2023人工智能大模型评测报告

2023人工智能大模型评测报告今天分享的是人工智能AI行业研究报告：《2023人工智能大模型评测报告》。（报告出品方：新华社研究院）研究报告内容摘要如下：2023年各大厂商纷纷布局大模型，其内在价值显露无疑大模型的发展可以提供更多的智能化应用场景，拓展更多的智能化服务，提升服务的质量和效率，实现产业

分类标签人工智能大模型评测报告

12-08 16:18

语聚AI新增对话助手、知识助手多种模型、对话背景设定、Markdown编辑器、成员可见范围、费用中心查看消费会话详情、未找到相关内容的解决方案

语聚AI新增对话助手、知识助手多种模型、对话背景设定、Markdown编辑器、成员可见范围、费用中心查看消费会话详情、未找到相关内容的解决方案语聚AI近期新增功能：1. 对话助手、知识助手新增多种模型对话助手提供了丰富的国内外大语言模型，供用户个性化配置使用。在已支持ChatGPT3.5，GPT4，

分类标签语聚AI对话助手知识助手模型背景设定Markdown编辑器成员可见范围费用中心消费会话详情未找到相关内容

11-29 12:03

国内11家备案人工智能大模型名单及发布时间

2023年8月31日，国内第一批完成备案的人工智能大模型名单出炉，共计11（8+3）家，包括文心一言（百度）、智谱清言、日日新（商汤）、云雀（字节）、百川智能、紫东太初、MiniMax、书生（上海人工智能实验室），以及通义千问（阿里巴巴）、360智脑、讯飞星火认知大模型（科大讯飞）。 2023年11

分类标签人工智能大模型备案发布时间

11-29 04:14

最受HuggingFace欢迎的AI机构有哪些？

最受HuggingFace欢迎的AI机构有哪些？15个受欢迎的AI机构榜上有名，其中包括国内唯一入选的KEG实验室，其开源模型ChatGLM-6B已在GitHub和抱抱脸上获得了广泛关注。StabilityAI、MetaAI、Runway占据排名前三，大众熟知的OpenAI、谷歌、微软也榜上有名。K

分类标签 HuggingFaceAI机构StabilityAIMetaAIRunwayOpenAI谷歌微软KEG实验室ChatGLM-6B智谱AIGLM预训练架构MoE架构GLM-10BGLM-130B

11-29 04:13

科大讯飞发布星火认知大模型V3.0，七大能力全面提升

科大讯飞发布星火认知大模型V3.0，七大能力全面提升10月24日，第六届世界声博会暨2023全球1024开发者节开幕，现场科大讯飞董事长刘庆峰、研究院院长刘聪发布讯飞星火认知大模型V3.0，七大能力持续提升，全面对标GPT3.5。主论坛上，科大讯飞重磅发布星火认知大模型V3.0，七大能力均持续提升，

分类标签科大讯飞星火认知大模型V3.0ChatGPT

11-28 02:18

星火认知大模型V3.0发布，讯飞会议耳机“VIAIMAI”功能将进一步升级

星火认知大模型V3.0发布，讯飞会议耳机“VIAIMAI”功能将进一步升级10月24日，星火认知大模型V3.0正式发布。相比2.0版本，星火3.0实现了七大能力持续提升，整体超越ChatGPT，还升级了启发式对话、AI人设功能，能够打造更个性化的AI助手。根据国务院发展研究中心国研经济研究院测评报告

分类标签星火认知大模型V3.0讯飞会议耳机AI助手

11-28 02:17

科大讯飞发布星火认知大模型V3.0，各项能力均有提升

10月24日，科大讯飞正式对外发布了星火认知大模型V3.0。据科大讯飞董事长刘庆峰介绍，相较于2.0版本，星火大模型V3.0在文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力等方面均有提升，分别提升了7%、6%、7%、8%、3%、9%、7%。在5月6日，科大讯飞首次提出“1+N

分类标签科大讯飞星火认知大模型V3.0

11-28 02:16

KEG实验室与智谱AI合作推出ChatGLM-6B受到AI社区欢迎

KEG实验室与智谱AI合作推出ChatGLM-6B受到AI社区欢迎近日，HuggingFace作为开源AI社区的代表，总结了社区最欢迎的前15个公司和机构，几乎囊括了全部国内外风头正盛的AI科技机构，StabilityAI、MetaAI、Runway占据排名前三，大众熟知的OpenAI、谷歌、微软也

分类标签 KEG实验室智谱AIChatGLM-6B

11-27 02:26

智谱AI发布第三代对话大模型ChatGLM3，性能和多模态能力均有显著提升

引言随着人工智能技术的飞速发展，自然语言处理（NLP）已成为最具挑战性和活跃的研究领域之一。在这个领域，大型预训练模型已被证明是实现卓越性能的关键。智谱AI最近发布的ChatGLM3，作为其第三代对话大模型，不仅在性能上有了显著提升，还在多个方面展现了其技术优势。推理速度和成本ChatGLM3的推理

分类标签智谱AIChatGLM3自然语言处理多模态能力

11-27 02:25

今年火爆全网的ChatGPT能做什么？听说过吗？

ChatGPT：实用又有趣的AI问答神器今年，ChatGPT成为全网热门话题。YY同学-AI问答神器是一款功能强大的智能机器人，可以帮助用户解决各种问题。YY同学不仅可以用来输出产品设计方案，还可以回答各种产品相关问题。此外，它还有各种有趣的玩法，例如摸鱼、写小红书爆款旅记、脱单道路上的得力军师、鸡

分类标签 ChatGPTAI问答神器面具

11-26 10:05

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway