清华大学NLP团队公开中英双语对话模型ChatGLM-6B

新知榜官方账号

2023-08-06 05:08:30

清华大学NLP团队公开中英双语对话模型ChatGLM-6B

3月22日消息，在ChatGPT的核心团队中，不乏清华大学毕业进入OpenAI的开发者，就在GPT-4发布的同一天，清华大学顶尖的NLP团队，也公开了自研的类ChatGPT的大模型——中英双语对话模型ChatGLM-6B，初具问答和对话功能，现已开启邀请制内测（内测申请网址http://chatglm.cn），后续还会逐步扩大内测范围。

官方博客中提到，这是一个初具问答和对话功能的千亿中英语言模型，并针对中文进行了优化。该模型基于GeneralLanguageModel（GLM）架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。

ChatGLM-6B的特点

充分的中英双语预训练：ChatGLM-6B在1:1比例的中英语料上训练了1T的token量，兼具双语能力。
优化的模型架构和大小：吸取GLM-130B训练经验，修正了二维RoPE位置编码实现，使用传统FFN结构。6B（62亿）的参数大小，也使得研究者和个人开发者自己微调和部署ChatGLM-6B成为可能。
较低的部署门槛：FP16半精度下，ChatGLM-6B需要至少13GB的显存进行推理，结合模型量化技术，这一需求可以进一步降低到10GB（INT8）和6GB（INT4），使得ChatGLM-6B可以部署在消费级显卡上。
更长的序列长度：相比GLM-10B（序列长度1024），ChatGLM-6B序列长度达2048，支持更长对话和应用。
人类意图对齐训练：使用了监督微调（SupervisedFine-Tuning）、反馈自助（FeedbackBootstrap）、人类反馈强化学习（RLHF）等方式，使模型初具理解人类指令意图的能力。

ChatGLM-6B具备了一定条件下较好的对话与问答能力。但ChatGLM-6B也有相当多已知的局限和不足，包括模型容量较小、可能会产生有害说明或有偏见的内容、较弱的多轮对话能力、英文能力不足和易被误导等。

该团队称，一直在探索、尝试和努力，GLM系列模型取得了一丝进展，但离国际顶尖大模型研究和产品（比如OpenAI的ChatGPT及下一代GPT模型）都还有明显差距。中国大模型研究在原创算法、AI芯片和产业上的追赶与突破需要大家的一起努力，更需要我们对下一代AI人才的培养与锻炼。

本页网址：https://www.xinzhibang.net/article_detail-9370.html

寻求报道，请

关键词

ChatGLM-6B 中英双语对话模型清华大学NLP团队

分享至微信：

相关工具

ChatGPT

OpenAI旗下AI对话工具

ColossalChat

Colossal-AI推出的免费开源版ChatGPT聊天机器人替代品

Open Assistant

免费开源的对话式AI，GitHub星标超3万

Character.AI

创建虚拟角色并与其对话

Google Bard

Google推出的AI聊天对话机器人Bard

通义千问

阿里巴巴最新推出的类ChatGPT响应人类指令的大模型

2023人工智能大模型评测报告

2023人工智能大模型评测报告今天分享的是人工智能AI行业研究报告：《2023人工智能大模型评测报告》。（报告出品方：新华社研究院）研究报告内容摘要如下：2023年各大厂商纷纷布局大模型，其内在价值显露无疑大模型的发展可以提供更多的智能化应用场景，拓展更多的智能化服务，提升服务的质量和效率，实现产业

分类标签人工智能大模型评测报告

12-08 16:18

语聚AI新增对话助手、知识助手多种模型、对话背景设定、Markdown编辑器、成员可见范围、费用中心查看消费会话详情、未找到相关内容的解决方案

语聚AI新增对话助手、知识助手多种模型、对话背景设定、Markdown编辑器、成员可见范围、费用中心查看消费会话详情、未找到相关内容的解决方案语聚AI近期新增功能：1. 对话助手、知识助手新增多种模型对话助手提供了丰富的国内外大语言模型，供用户个性化配置使用。在已支持ChatGPT3.5，GPT4，

分类标签语聚AI对话助手知识助手模型背景设定Markdown编辑器成员可见范围费用中心消费会话详情未找到相关内容

11-29 12:03

国内11家备案人工智能大模型名单及发布时间

2023年8月31日，国内第一批完成备案的人工智能大模型名单出炉，共计11（8+3）家，包括文心一言（百度）、智谱清言、日日新（商汤）、云雀（字节）、百川智能、紫东太初、MiniMax、书生（上海人工智能实验室），以及通义千问（阿里巴巴）、360智脑、讯飞星火认知大模型（科大讯飞）。 2023年11

分类标签人工智能大模型备案发布时间

11-29 04:14

最受HuggingFace欢迎的AI机构有哪些？

最受HuggingFace欢迎的AI机构有哪些？15个受欢迎的AI机构榜上有名，其中包括国内唯一入选的KEG实验室，其开源模型ChatGLM-6B已在GitHub和抱抱脸上获得了广泛关注。StabilityAI、MetaAI、Runway占据排名前三，大众熟知的OpenAI、谷歌、微软也榜上有名。K

分类标签 HuggingFaceAI机构StabilityAIMetaAIRunwayOpenAI谷歌微软KEG实验室ChatGLM-6B智谱AIGLM预训练架构MoE架构GLM-10BGLM-130B

11-29 04:13

科大讯飞发布星火认知大模型V3.0，七大能力全面提升

科大讯飞发布星火认知大模型V3.0，七大能力全面提升10月24日，第六届世界声博会暨2023全球1024开发者节开幕，现场科大讯飞董事长刘庆峰、研究院院长刘聪发布讯飞星火认知大模型V3.0，七大能力持续提升，全面对标GPT3.5。主论坛上，科大讯飞重磅发布星火认知大模型V3.0，七大能力均持续提升，

分类标签科大讯飞星火认知大模型V3.0ChatGPT

11-28 02:18

星火认知大模型V3.0发布，讯飞会议耳机“VIAIMAI”功能将进一步升级

星火认知大模型V3.0发布，讯飞会议耳机“VIAIMAI”功能将进一步升级10月24日，星火认知大模型V3.0正式发布。相比2.0版本，星火3.0实现了七大能力持续提升，整体超越ChatGPT，还升级了启发式对话、AI人设功能，能够打造更个性化的AI助手。根据国务院发展研究中心国研经济研究院测评报告

分类标签星火认知大模型V3.0讯飞会议耳机AI助手

11-28 02:17

科大讯飞发布星火认知大模型V3.0，各项能力均有提升

10月24日，科大讯飞正式对外发布了星火认知大模型V3.0。据科大讯飞董事长刘庆峰介绍，相较于2.0版本，星火大模型V3.0在文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力等方面均有提升，分别提升了7%、6%、7%、8%、3%、9%、7%。在5月6日，科大讯飞首次提出“1+N

分类标签科大讯飞星火认知大模型V3.0

11-28 02:16

KEG实验室与智谱AI合作推出ChatGLM-6B受到AI社区欢迎

KEG实验室与智谱AI合作推出ChatGLM-6B受到AI社区欢迎近日，HuggingFace作为开源AI社区的代表，总结了社区最欢迎的前15个公司和机构，几乎囊括了全部国内外风头正盛的AI科技机构，StabilityAI、MetaAI、Runway占据排名前三，大众熟知的OpenAI、谷歌、微软也

分类标签 KEG实验室智谱AIChatGLM-6B

11-27 02:26

智谱AI发布第三代对话大模型ChatGLM3，性能和多模态能力均有显著提升

引言随着人工智能技术的飞速发展，自然语言处理（NLP）已成为最具挑战性和活跃的研究领域之一。在这个领域，大型预训练模型已被证明是实现卓越性能的关键。智谱AI最近发布的ChatGLM3，作为其第三代对话大模型，不仅在性能上有了显著提升，还在多个方面展现了其技术优势。推理速度和成本ChatGLM3的推理

分类标签智谱AIChatGLM3自然语言处理多模态能力

11-27 02:25

今年火爆全网的ChatGPT能做什么？听说过吗？

ChatGPT：实用又有趣的AI问答神器今年，ChatGPT成为全网热门话题。YY同学-AI问答神器是一款功能强大的智能机器人，可以帮助用户解决各种问题。YY同学不仅可以用来输出产品设计方案，还可以回答各种产品相关问题。此外，它还有各种有趣的玩法，例如摸鱼、写小红书爆款旅记、脱单道路上的得力军师、鸡

分类标签 ChatGPTAI问答神器面具

11-26 10:05

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway