基于英特尔®至强®处理器的ChatGLM高效微调优化方案

新知榜官方账号

2023-08-09 23:18:31

简介

ChatGPT的横空出世开启了大语言模型(LLM)的普及元年，BERT、GPT-4、ChatGLM等模型的非凡能力则展现出类似通用人工智能(AI)的巨大潜力，也因此得到了多行业、多领域的广泛关注。为加速这些大模型与特定领域的深度融合，以及更好地适应特定任务，基于任务特性对这些模型进行定制化微调至关重要。然而，它们庞大的参数使得用传统方式对大模型进行调优面临诸多挑战，不仅要求相关人员熟练掌握微调技巧，还需要付出巨大的训练成本。近年来，出现了参数高效微调(Parameter-EfficientFine-Tuning,PEFT)和提示微调(Prompt-tuning)技术。这些技术因其成本更低、应用方式更简单便捷，正在逐渐取代大模型传统调优方法。

微调优化方案

1、借助英特尔®AMX，大幅提升模型微调计算速度

AMX是内置于第四代英特尔®至强®可扩展处理器中的矩阵乘法加速器，能够更快速地处理BFloat16(BF16)或INT8数据类型的矩阵乘加运算，从而显著提升模型训练和推理的性能。PyTorch框架中已经可以通过具备BF16自动混合精度功能自动实现对AMX加速器的利用。对于ChatGLM-6B而言，只需在启动微调时加入CPU自动混合精度的使能参数即可直接利用英特尔®AMX带来的优势。

2、结合英特尔®MPI库充分利用处理器架构特点和多核配置，发挥CPU的整体效率

第四代英特尔®至强®可扩展处理器最多可拥有60个内核，这些内核通过4个集群(cluster)的方式进行内部组织。可以将同一个集群上的内核资源分配给同一个PyTorch实例，从而为单个实例提供更理想的计算效率。通过利用PyTorch的分布式数据并行(DistributedDataParallel，DDP)功能，还可将两个CPU上的8个集群的内核资源汇集在一起，充分发挥整体效率。通过安装MPI协议工具库并手工编译，可以在获得支持MPI后端的PyTorch后，在ChatGLMPrompt-tuning目录下的main.py修改一行代码即可实现分布式数据并行。

3、利用至强®CPUMax系列集成的HBM满足大模型微调所需的大内存带宽

英特尔®至强®CPUMax系列，配备64GB的HBM2e高带宽内存，为在CPU上高效运行大模型提供了高达~1TB/s的内存带宽支持。该CPU集成的HBM，能够在3种模式下灵活配置：HBM-Only模式、HBMFlat模式和HBM高速缓存模式。针对ChatGLM-6B微调，试验结果显示：与其他两种模式相比，HBM高速缓存模式在性能和使用方便性方面均更胜一筹。

本页网址：https://www.xinzhibang.net/article_detail-9637.html

寻求报道，请

关键词

大语言模型微调优化英特尔®至强®处理器 ChatGLM MPI库 HBM

分享至微信：

相关工具

昆仑万维与奇点智源联合研发的对标ChatGPT的大语言模型

Character.AI

创建虚拟角色并与其对话

对话写作猫

秘塔写作猫推出的AI对话聊天工具

ChatSonic

WriteSonic出品的ChatGPT竞品

文心一言

百度推出的基于文心大模型的AI对话互动工具

通义千问

阿里巴巴最新推出的类ChatGPT响应人类指令的大模型

2023人工智能大模型评测报告

2023人工智能大模型评测报告今天分享的是人工智能AI行业研究报告：《2023人工智能大模型评测报告》。（报告出品方：新华社研究院）研究报告内容摘要如下：2023年各大厂商纷纷布局大模型，其内在价值显露无疑大模型的发展可以提供更多的智能化应用场景，拓展更多的智能化服务，提升服务的质量和效率，实现产业

分类标签人工智能大模型评测报告

12-08 16:18

语聚AI新增对话助手、知识助手多种模型、对话背景设定、Markdown编辑器、成员可见范围、费用中心查看消费会话详情、未找到相关内容的解决方案

语聚AI新增对话助手、知识助手多种模型、对话背景设定、Markdown编辑器、成员可见范围、费用中心查看消费会话详情、未找到相关内容的解决方案语聚AI近期新增功能：1. 对话助手、知识助手新增多种模型对话助手提供了丰富的国内外大语言模型，供用户个性化配置使用。在已支持ChatGPT3.5，GPT4，

分类标签语聚AI对话助手知识助手模型背景设定Markdown编辑器成员可见范围费用中心消费会话详情未找到相关内容

11-29 12:03

国内11家备案人工智能大模型名单及发布时间

2023年8月31日，国内第一批完成备案的人工智能大模型名单出炉，共计11（8+3）家，包括文心一言（百度）、智谱清言、日日新（商汤）、云雀（字节）、百川智能、紫东太初、MiniMax、书生（上海人工智能实验室），以及通义千问（阿里巴巴）、360智脑、讯飞星火认知大模型（科大讯飞）。 2023年11

分类标签人工智能大模型备案发布时间

11-29 04:14

最受HuggingFace欢迎的AI机构有哪些？

最受HuggingFace欢迎的AI机构有哪些？15个受欢迎的AI机构榜上有名，其中包括国内唯一入选的KEG实验室，其开源模型ChatGLM-6B已在GitHub和抱抱脸上获得了广泛关注。StabilityAI、MetaAI、Runway占据排名前三，大众熟知的OpenAI、谷歌、微软也榜上有名。K

分类标签 HuggingFaceAI机构StabilityAIMetaAIRunwayOpenAI谷歌微软KEG实验室ChatGLM-6B智谱AIGLM预训练架构MoE架构GLM-10BGLM-130B

11-29 04:13

科大讯飞发布星火认知大模型V3.0，七大能力全面提升

科大讯飞发布星火认知大模型V3.0，七大能力全面提升10月24日，第六届世界声博会暨2023全球1024开发者节开幕，现场科大讯飞董事长刘庆峰、研究院院长刘聪发布讯飞星火认知大模型V3.0，七大能力持续提升，全面对标GPT3.5。主论坛上，科大讯飞重磅发布星火认知大模型V3.0，七大能力均持续提升，

分类标签科大讯飞星火认知大模型V3.0ChatGPT

11-28 02:18

星火认知大模型V3.0发布，讯飞会议耳机“VIAIMAI”功能将进一步升级

星火认知大模型V3.0发布，讯飞会议耳机“VIAIMAI”功能将进一步升级10月24日，星火认知大模型V3.0正式发布。相比2.0版本，星火3.0实现了七大能力持续提升，整体超越ChatGPT，还升级了启发式对话、AI人设功能，能够打造更个性化的AI助手。根据国务院发展研究中心国研经济研究院测评报告

分类标签星火认知大模型V3.0讯飞会议耳机AI助手

11-28 02:17

科大讯飞发布星火认知大模型V3.0，各项能力均有提升

10月24日，科大讯飞正式对外发布了星火认知大模型V3.0。据科大讯飞董事长刘庆峰介绍，相较于2.0版本，星火大模型V3.0在文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力等方面均有提升，分别提升了7%、6%、7%、8%、3%、9%、7%。在5月6日，科大讯飞首次提出“1+N

分类标签科大讯飞星火认知大模型V3.0

11-28 02:16

KEG实验室与智谱AI合作推出ChatGLM-6B受到AI社区欢迎

KEG实验室与智谱AI合作推出ChatGLM-6B受到AI社区欢迎近日，HuggingFace作为开源AI社区的代表，总结了社区最欢迎的前15个公司和机构，几乎囊括了全部国内外风头正盛的AI科技机构，StabilityAI、MetaAI、Runway占据排名前三，大众熟知的OpenAI、谷歌、微软也

分类标签 KEG实验室智谱AIChatGLM-6B

11-27 02:26

智谱AI发布第三代对话大模型ChatGLM3，性能和多模态能力均有显著提升

引言随着人工智能技术的飞速发展，自然语言处理（NLP）已成为最具挑战性和活跃的研究领域之一。在这个领域，大型预训练模型已被证明是实现卓越性能的关键。智谱AI最近发布的ChatGLM3，作为其第三代对话大模型，不仅在性能上有了显著提升，还在多个方面展现了其技术优势。推理速度和成本ChatGLM3的推理

分类标签智谱AIChatGLM3自然语言处理多模态能力

11-27 02:25

今年火爆全网的ChatGPT能做什么？听说过吗？

ChatGPT：实用又有趣的AI问答神器今年，ChatGPT成为全网热门话题。YY同学-AI问答神器是一款功能强大的智能机器人，可以帮助用户解决各种问题。YY同学不仅可以用来输出产品设计方案，还可以回答各种产品相关问题。此外，它还有各种有趣的玩法，例如摸鱼、写小红书爆款旅记、脱单道路上的得力军师、鸡

分类标签 ChatGPTAI问答神器面具

11-26 10:05

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway