ChatGLM-6B：中英双语对话语言模型

ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 GeneralLanguageModel(GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需 6GB 显存）。

ChatGLM-6B使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。模型开源的地址为https://github.com/THUDM/ChatGLM-6B。

ChatGLM-6B的特点

• 充分的中英双语预训练：ChatGLM-6B在1:1比例的中英语料上训练了1T的token量，兼具双语能力。
• 优化的模型架构和大小：吸取GLM-130B训练经验，修正了二维RoPE位置编码实现，使用传统FFN结构。6B（62亿）的参数大小，也使得研究者和个人开发者自己微调和部署ChatGLM-6B成为可能。
• 较低的部署门槛：FP16半精度下，ChatGLM-6B需要至少13GB的显存进行推理，结合模型量化技术，这一需求可以进一步降低到10GB（INT8）和6GB（INT4），使得ChatGLM-6B可以部署在消费级显卡上。
• 更长的序列长度：相比GLM-10B（序列长度1024），ChatGLM-6B序列长度达2048，支持更长对话和应用。
• 人类意图对齐训练：使用了监督微调（SupervisedFine-Tuning）、反馈自助（FeedbackBootstrap）、人类反馈强化学习（ReinforcementLearningfromHumanFeedback）等方式，使模型初具理解人类指令意图的能力。

基于以上特点，ChatGLM-6B在一定条件下具备较好的对话与问答能力。不过由于ChatGLM-6B模型的容量较小，不可避免的存在一些局限和不足，包括：相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时，ChatGLM-6B可能会生成不正确的信息，也不太擅长逻辑类问题（如数学、编程）的解答。可能会产生有害说明或有偏见的内容：ChatGLM-6B只是一个初步与人类意图对齐的语言模型，可能会生成有害、有偏见的内容。较弱的多轮对话能力：ChatGLM-6B的上下文理解能力还不够充分，在面对长答案生成和多轮对话的场景时，可能会出现上下文丢失和理解错误的情况。

ChatGLM线上模型

智谱AI还开启了ChatGLM线上模型的内测。相比起ChatGLM-6B，ChatGLM线上模型的能力提升主要来源于独特的千亿基座模型GLM-130B。它采用了不同于BERT、GPT-3以及T5的GLM架构，是一个包含多目标函数的自回归预训练模型。2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测，GLM-130B是亚洲唯一入选的大模型。在与OpenAI、Google Brain、微软、英伟达、Meta AI的各大模型对比中，评测报告显示GLM-130B在准确性和公平性指标上与GPT-3175B(davinci)接近或持平，鲁棒性、校准误差和无偏性优于GPT-3175B（下图）。基于千亿基座的ChatGLM线上模型目前在chatglm.cn进行邀请制内测，用户需要使用邀请码进行注册，也可以填写基本信息申请内测。

关于智谱AI

智谱AI由清华大学计算机系的技术成果转化而来，致力于打造新一代认知智能通用模型，提出了ModelasaService（MaaS）的市场理念。公司于2021年合作研发了双语千亿级超大规模预训练模型GLM-130B，并主导构建了高精度通用知识图谱，把两者有机融合为数据与知识双轮驱动的认知引擎，并基于此千亿基座模型打造ChatGLM（chatglm.cn）。此外，智谱AI也推出了认知大模型平台Bigmodel.ai，形成AIGC产品矩阵，包括高效率代码模型CodeGeeX、高精度文图生成模型CogView等，提供智能API服务。通过认知大模型链接物理世界的亿级用户、赋能元宇宙数字人、成为具身机器人的基座，赋予机器像人一样“思考”的能力。官网请见（zhipuai.cn）