热门搜素: 电商 教育 视频 健康
新知榜公众号 随时随地查看资讯 手机访问更加便捷
新知榜官方账号
2023-08-06 05:08:30
3月22日消息,在ChatGPT的核心团队中,不乏清华大学毕业进入OpenAI的开发者,就在GPT-4发布的同一天,清华大学顶尖的NLP团队,也公开了自研的类ChatGPT的大模型——中英双语对话模型ChatGLM-6B,初具问答和对话功能,现已开启邀请制内测(内测申请网址http://chatglm.cn),后续还会逐步扩大内测范围。
官方博客中提到,这是一个初具问答和对话功能的千亿中英语言模型,并针对中文进行了优化。该模型基于GeneralLanguageModel(GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需6GB显存)。ChatGLM-6B使用了和ChatGLM相同的技术,针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62亿参数的ChatGLM-6B虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。
ChatGLM-6B具备了一定条件下较好的对话与问答能力。但ChatGLM-6B也有相当多已知的局限和不足,包括模型容量较小、可能会产生有害说明或有偏见的内容、较弱的多轮对话能力、英文能力不足和易被误导等。
该团队称,一直在探索、尝试和努力,GLM系列模型取得了一丝进展,但离国际顶尖大模型研究和产品(比如OpenAI的ChatGPT及下一代GPT模型)都还有明显差距。中国大模型研究在原创算法、AI芯片和产业上的追赶与突破需要大家的一起努力,更需要我们对下一代AI人才的培养与锻炼。
相关工具
相关文章
相关快讯
短视频知识人物影响力榜
新知榜独家 {{faTime.effecttime}}发布
总榜
人物 领域 粉丝数 影响力指数
{{item.manIndex}}
{{item.nickname}} {{item.field}}
{{item.fs}}
{{item.effect}}