新知榜官方账号
2023-10-17 10:22:13
自2月份openAI的chatGPT推出以来,各大公司纷纷入局AI,各种大模型如雨后春笋般推出。但大模型昂贵的成本注定只能少数头部公司可以搞得起,那么小公司或者个人就没有机会了吗?答案是有的,那就是ChatGLM2-6B。
ChatGLM2-6B是一个由清华大学自然语言处理实验室(THUNLP)开源的、支持中英双语的对话语言模型。它基于GeneralLanguageModel(GLM)架构,具有62亿参数,可以在消费级显卡上进行本地部署,权重对学术研究完全开放,在填写问卷进行登记后亦允许免费商业使用。开源地址:https://github.com/THUDM/ChatGLM2-6B,申请资质地址:https://chatglm.cn/。
ChatGLM2-6B在性能方面有了大幅度的提升。它使用了GLM的混合目标函数,经过了1.4T中英标识符的预训练与人类偏好对齐训练。相比于初代模型,ChatGLM2-6B在MMLU(+23%)、CEval(+33%)、GSM8K(+571%)、BBH(+60%)等数据集上的性能取得了大幅度的提升,在同尺寸开源模型中具有较强的竞争力。
ChatGLM2-6B具有更长的上下文和更高效的推理。基于FlashAttention技术,我们将基座模型的上下文长度(ContextLength)由ChatGLM-6B的2K扩展到了32K,并在对话阶段使用8K的上下文长度训练,允许更多轮次的对话。基于Multi-QueryAttention技术,ChatGLM2-6B有更高效的推理速度和更低的显存占用:在官方的模型实现下,推理速度相比初代提升了42%,INT4量化下,6G显存支持的对话长度由1K提升到了8K。
ChatGLM2-6B还有知识推理展示能力。它可以通过对话展示出其对知识的推理能力,为用户提供更好的服务。
微信扫码咨询
相关工具
相关文章
推荐
阿里Accio中文版上线!一键搞定复杂采购
2025-08-19 09:13
视频“用嘴编辑”的时代来了,但钱包顶得住吗?
2025-08-15 17:59
智谱新模型GLM-4.5V全面开源,玩家们有福啦!
2025-08-12 17:56
扎心文案+AI插画=爆款!揭秘8万赞视频的制作全流程
2025-08-12 10:08
GPT-5没你想的那么好,附实测体验~
2025-08-11 11:07
一站式搞定AI绘图+视频,AI短片效率飙升的秘密在这儿!
2025-08-08 09:26
打工人新神器!10款国产AI,让你告别996!
2025-08-08 09:24
豆包视觉推理深度体验,AI也能“边看边想”了!
2025-08-08 09:19
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49