新知榜官方账号
2023-12-03 10:01:08
在“百模大战”背景下,谁拥有自家大模型,往往被视为核心竞争力。在这个节点下,愿意开源大模型的公司少之又少。但自己从头训练一个大模型,对技术、资金都有很高要求。由此,Colossal-AI最新的开源动作,可以说是应时势所需了。
Colossal-AI最新的开源类LLaMA基础大模型预训练方案可以让用户通过32张A100/A800,搞定650亿参数类LLaMA大模型预训练,训练速度提升38%。而像原生PyTorch、FSDP等,则因显存溢出无法运行该任务。HuggingFaceaccelerate、DeepSpeed、Megatron-LM也未对LLaMA预训练进行官方支持。
共有四步:
Colossal-AI基于PyTorch,可通过高效多维并行、异构内存等,主打为AI大模型训练/微调/推理的开发与应用成本,降低GPU需求等。其背后公司潞晨科技,近期获得数亿元A轮融资,已在成立18个月内已迅速连续完成三轮融资。
相关工具
相关文章
相关快讯
推荐
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16