智谱AI开源中英双语对话模型ChatGLM-6B,支持在单张消费级显卡上进行推理使用

新知榜官方账号

2023-10-27 10:06:10

智谱AI开源中英双语对话模型ChatGLM-6B,支持在单张消费级显卡上进行推理使用

近日,由清华技术成果转化的公司智谱AI开源了GLM系列模型的新成员——中英双语对话模型ChatGLM-6B,支持在单张消费级显卡上进行推理使用。该模型基于GeneralLanguageModel(GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需6GB显存)。ChatGLM-6B使用了和ChatGLM相同的技术,针对中文问答和对话进行了优化。

与此同时,基于千亿基座模型的ChatGLM也同期推出,初具问答和对话功能,现已开启邀请制内测(内测申请网址chatglm.cn),后续还会逐步扩大内测范围。

经过约1T标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62亿参数的ChatGLM-6B虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。

本页网址:https://www.xinzhibang.net/article_detail-18124.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯