LLM领域优质开源模型介绍

新知榜官方账号

2023-07-07 03:40:56

LLM领域优质开源模型介绍

LLM领域的发展已经引起了全球范围内的关注,而开源模型则在这一领域中扮演着重要的角色。本文将介绍LLM领域中的优质开源模型。

Meta

MetaAI推出的LLaMA是由7B、13B、33B和65B的参数组成的模型,虽然参数量级比GPT3还小,但在许多任务上的性能都能够追平甚至超越GPT3。LLaMA起初并未开源,但在发布后不久,模型便在4chan论坛上泄露了。这个事件让LLaMA成为了如今LLM领域最具影响力的创新来源之一。

Alpaca

Alpaca是斯坦福大学通过Meta的LLaMA微调而成的全新模型,仅使用了52k数据,但其性能却基本达到了GPT3.5的水平。Alpaca的训练成本及训练速度都要优于GPT3.5,适用于中小企业及个人开发者。

Vicuna

Vicuna是开源的聊天机器人,通过微调LLaMA实现了高性能的对话生成,基于LLaMA的13B参数量版本,比Alpaca的生成质量更好,速度也更快。

Dolly2.0

Dolly2.0是业内第一个开源、指令跟随型LLM,可用于研究和商业用途。Dolly2.0使用了基于EleutherAI的Pythia模型家族中的120亿参数语言模型,完全开源及可商用的属性,使其成为中小企业及个人开发者的福音。

BLOOM

BLOOM是去年由1000多名志愿者在一个名为BigScience的项目中创建的,拥有1760亿参数,提供了与GPT3模型相似的准确性和有毒文本生成水平。BLOOM的训练集包含45种自然语言和12种编程语言,取得了有竞争力的表现。

MiniGPT4

MiniGPT4是近期由沙特阿拉伯阿卜杜拉国王科技大学研究团队推出的一款全新开源模型。据研究人员透露,MiniGPT4具有许多类似于GPT4的功能,包括与GPT4相似的图片解析功能。

StableLM

StableLM是一个新的开源语言模型,Alpha版本有30亿和70亿参数,后续还会推出150亿和650亿参数的版本。StableLM的构建基于EleutherAI所开源的多个语言模型,包括GPT-J,GPT-NeoX等,该模型在ThePile基础上构建的新数据集上进行训练,可支持4096的上下文宽度,且RL调试模型可用。

ChatYuan

ChatYuan是首个中文开源对话模型,支持在单张消费级显卡、PC甚至手机上进行推理使用。ChatYuan-large-v2仅通过7亿参数量可以实现业界100亿参数模型的基础效果。

ChatGLM

ChatGLM是支持中英双语的对话语言模型,基于GeneralLanguageModel(GLM)架构研发,拥有62亿参数,支持在单张消费级显卡上进行推理使用。ChatGLM通过千亿基座模型GLM-130B实现人类意图对齐,具备兼具双语能力,易微调、部署门槛低等优势。

昆仑天工

昆仑天工系列模型包括天工巧绘SkyPaint、天工乐府SkyMusic、天工妙笔SkyText、天工智码SkyCode,分别涉及AI图像、AI音乐、AI文本、AI编程方面。最新迭代升级的大语言模型天工3.5实现了智能涌现,已“非常接近ChatGPT的智能水平”。

本页网址:https://www.xinzhibang.net/article_detail-6608.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章