FATE-LLM联邦大模型发布最新版,集成ChatGLM-6B中文语言大模型

新知榜官方账号

2023-09-22 04:38:31

FATE-LLM联邦大模型发布最新版

近期,联邦大模型开源平台FATE-LLM最新版发布,在横向联邦场景支持ChatGLM-6B中文语言大模型。集成GLM的FATE-LLM将会为国内用户提供更好的中文大模型应用落地选择。GLM系列大模型由清华大学和智谱AI联合研发,其中ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型,并针对中文进行了优化。该模型基于GeneralLanguageModel(GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需6GB显存)。

开源两个月以来,ChatGLM-6B在全球最大开源软件平台GitHub上获得超过26万星,超过斯坦福同期模型的关注度和好评度,全球下载量超过200万,并连续两周登上全球最大开源大模型平台HuggingFace大模型趋势榜榜首。

FATE-LLMv1.1功能介绍亮点概述

  • 集成业界开源的主流中文语言大模型ChatGLM-6B,支持高效的参数微调机制Lora、P-TuningV2等方法,提升联邦训练的通信效率和训练效率;
  • FATE实现对DeepSpeed框架集成,使得FATE具备多机多卡联邦大模型加速训练能力:支持分布式GPU集群资源调度和管理;支持数据、模型参数等不同并行化加速方法。

FATE-LLMv1.1功能一览

  1. ChatGLM-6B联邦化支持,并支持LoRa、P-TuningV2高效微调方案;
  2. FATE多机多卡联邦大模型训练能力支持,在任务提交阶段增加相关配置即可使用数据、模型等不同阶段的训练加速能力,与用户模型训练代码解耦;
  3. FATE支持分布式GPU集群资源管理功能;
  4. 支持使用transformers库的datacollator类,可以更灵活地处理训练输入数据;
  5. 支持只保存可训练参数,降低训练阶段checkpoints保存的硬盘占用,方便模型拷贝使用。

FATE-LLM模块将持续迭代,未来将持续解决训练、微调和使用推理阶段的隐私保护问题,并坚持推出后续版本。

清华大学教授唐杰表示:“作为科研人员,我们希望在开展大模型技术研究与应用落地的同时,也进一步降低人工智能的使用门槛,实现技术普惠,为行业良性发展做出一些贡献。”

本页网址:https://www.xinzhibang.net/article_detail-13047.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯