八款开源大语言模型简介

新知榜官方账号

2023-07-28 16:46:57

八款开源大语言模型简介

本文简介了八款开源大语言模型，包括ChatGPT、LLaMA、StableLM、Alpaca、Dolly、Vicuna等，以及它们的特点和表现。

1. ChatGPT

ChatGPT是一款类似于聊天助手的开源大语言模型，由用户分享的跟LLaMA的对话数据微调得来，训练成本约为300美元。评估结果显示，Vicuna-13B在超过90%的情况下，都比LLaMA和斯坦福羊驼(StanfordAlpaca)表现要好。另外，其质量水平达到了OpenAIChatGPT和GoogleBard九成以上的水平。

2. LLaMA

LLaMA是一款开放和高效的基础语言模型，具有从70亿到650亿多种规模参数。LLaMA在数以万亿计的标记上训练而来模型，它的出现证明了，即使是完全使用公开的数据集也能训练出最先进的模型，而不必求助于专有数据集。实测数据显示，LLaMA-13B在大多数基准测试上都超过了GPT-3，而LLaMA-65B与最好的模型Chinchilla-70B和PaLM-540B相比也有竞争力。

3. StableLM

StableLM是一款由Stability开发的大语言模型，包含6个不同大小的模型，目前开放下载的只有30亿和70亿参数规模两种，150亿、300亿以及650亿的还在开发当中，1750亿参数的还在计划当中。StableLM-Alpha是从ThePile数据集基础上训练而来的，将原始的Pile数据集放大了三倍，用1.5万亿个文本做训练。

4. Alpaca

Alpaca是斯坦福大学关于指令跟随语言模型的研究结果，目前，Alpaca只用于学术研究，禁止任何商业使用。Alpaca7B是一个从LLaMA7B模型中微调出来的关于52K指令跟随演示的模型。评估显示，Alpaca的表现与OpenAI的text-davinci-003在质量上相似，同时模型本身又出奇的小，可以以很低的成本复制。

5. Dolly

Dolly由Databricks开源的指令优化的大语言模型。Dolly2.0是一个基于EleutherAIpythia模型系列的12B参数的语言模型，特意在一个新的、高质量的人类生成的指令跟随数据集上进行微调得来。Dolly目前有两个版本，Dolly1.0用了OpenAI的数据所以没法开源。最新的Dolly2.0开源的很彻底，可供研究和商业使用。

6. Vicuna

Vicuna是一款类似ChatGPT的聊天助手，基于用户分享的跟LLaMA的对话数据做微调而得来，训练成本约为300美元。评估结果显示，Vicuna-13B在超过90%的情况下，都比LLaMA和斯坦福羊驼(StanfordAlpaca)表现要好。另外，其质量水平达到了OpenAIChatGPT和GoogleBard九成以上的水平。

7. ChatGLM

ChatGLM是清华团队开源的中英双语对话语言模型，结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B虽然规模不及千亿模型，但大大降低了用户部署的门槛，并且已经能生成相当符合人类偏好的回答。

8. OpenAssistant

OpenAssistant是一个面向所有人的对话式AI，其目标是成为像StableDiffusion一样有影响力的开源模型，因此，它也是免费可用的，其目标是在消费级硬件上运行。OpenAssistant是由LAION和全球贡献者组织的项目。官网介绍中提到，OpenAssistant处于研发的初期阶段,正在研究将RLHF应用于LLM。除了像用ChatGPT一样用它，用户也可以对模型生成的数据进行评价，公户贡献的这些反馈有助于提高模型的公正客观，少一点偏见。

本页网址：https://www.xinzhibang.net/article_detail-8835.html

寻求报道，请

关键词

开源大语言模型 ChatGPT LLaMA StableLM Alpaca Dolly Vicuna

分享至微信：

相关工具

Bing新必应

微软推出的新版结合了ChatGPT功能的必应

ColossalChat

Colossal-AI推出的免费开源版ChatGPT聊天机器人替代品

商量SenseChat

商汤科技推出的类ChatGPT的人工智能大语言模型

HuggingChat

HuggingFace推出的在线聊天机器人，基于Open Assistant模型

文心一言

百度推出的基于文心大模型的AI对话互动工具

YouChat AI

AI搜索对话工具

聊天机器人入口和网页版介绍

聊天机器人入口和网页版介绍随着人工智能技术的不断发展，聊天机器人已经成为了人们日常生活中不可或缺的一部分。今天，我将介绍一些聊天机器人的入口和聊天机器人网页版。聊天机器人入口对于个人用户来说，聊天机器人的入口可能很容易找到，就是在个人账号的聊天界面中，直接与聊天机器人进行对话即可。但是，对于企业用户

分类标签聊天机器人入口网页版

11-24 16:21

MLCLLM：一款轻量化的、无需联网的聊天机器人

MLCLLM：一款轻量化的、无需联网的聊天机器人目前大多数AI聊天机器人都需要连接到云端进行处理，即使可以本地运行的也配置要求极高。那么是否有轻量化的、无需联网的聊天机器人呢？一个名为MLCLLM的全新开源项目已在GitHub上线，完全本地运行无需联网，甚至集显老电脑、苹果iPhone手机都能运行。

分类标签 MLCLLM聊天机器人AI

11-24 16:20

谷歌高管回应员工的质疑：AI聊天机器人Bard不仅仅是搜索而已

谷歌高管回应员工的质疑：AI聊天机器人Bard不仅仅是搜索而已财联社3月4日电，在近日举行的全体会议上，谷歌公司的高管们回答了来自该公司员工在内部论坛Dory提出的问题，其中大多数最重要的问题与该公司先前推出的人工智能(AI)聊天机器人Bard有关。该论坛有一条问题是：“Bard和ChatGPT是大

分类标签谷歌AI聊天机器人

11-24 16:19

揭示API重要性，以AssistantsAPI为例幂简集成关注

揭示API重要性，以AssistantsAPI为例幂简集成关注API是现代软件开发中不可或缺的一部分，它可以让不同的应用程序之间实现数据交换、功能调用等操作。AssistantsAPI是一款优秀的API集成工具，它可以帮助开发者快速地实现API的集成，提高开发效率。AssistantsAPI提供了丰

分类标签 APIAssistantsAPI集成

11-18 08:03

开源还是闭源，LLM的未来在哪里？

LLM的发展现状LLM是指具有大量参数和数据的语言模型，它们可以生成流畅、连贯、有意义的文本，甚至可以完成一些复杂的任务，如编程、对话、摘要等。近年来，LLM的发展迅速，各大科技公司和研究机构都在竞相推出更大、更强的LLM，如GPT-3、T5、Megatron-LM等。然而，这些LLM往往是闭源的，

分类标签 LLM开源闭源

11-10 22:27

大模型：科技领域新风口？还是下一个泡沫？

概述大模型是当前科技领域和创投界最火的风口之一，而ChatGPT则是大模型领域的明星公司。然而，大模型的落地应用和商业变现等问题仍存在，使得业内大部分的AI企业都不赚钱。本文从多角度分析大模型行业现状和未来发展。历史回顾从人工智能的首次火爆到现在，AI行业经历了从极速繁荣到资本退潮的全历程，行业也走

分类标签大模型人工智能ChatGPT

11-04 22:25

AI情感化产品：陪伴型机器人的崛起与未来

编辑导语七夕节刚过不久，衍生出了虚拟情人这样的产品。AI人工智能已经开始融入情感化，以人的灵魂陪伴着孤独的人。AI人工智能情感化，它会带来什么故事？我们一起来看看吧。一、你寂寞吗？在当下，人们渴望在复杂世界里寻求一段稳定的关系，但是又难以付出与之相对的精力，所以「陪伴型AI」成为很多人的热门选择。大

分类标签 AI情感化陪伴型机器人

10-29 10:04

自然语言编程的发展和前景

自然语言编程的发展和前景我们生活在一个编程门槛不断降低的时代，每一步进展都让编程变得更加易于学习和应用。从最初通过手工插拔电路输入程序到冯诺依曼架构的出现，我们逐渐摆脱了繁琐的硬件操作，但编程仍然是低级的汇编语言。那个时期的程序员几乎是稀有的存在，因为编程门槛实在太高了。然而，随着高级编程语言如Fo

分类标签编程门槛自然语言编程人工智能

10-18 10:18

AI自动生成代码：现实还很遥远

最近有很多关于代码在经过训练的神经网络的帮助下自己编写代码的话题，但是除了一些有限的用例之外，它变为现实仍需要相当长的一段时间——至少对于普通的开发工作来说是这样的。尽管自动代码生成并不是一个新概念，但由于在神经网络框架中具有更好的功能和易用性，它已获得了全新的关注。但就像在其他领域，人工智能被吹捧

分类标签 AI代码生成深度学习

10-18 10:16

StabilityAI发布开源语言模型StableLM，训练数据集达825GB

StabilityAI发布开源语言模型StableLM，训练数据集达825GBStabilityAI是一家近期势头正盛的创业公司，因为开源的AI画图工具StableDiffusion而饱受好评。在本周三的发布中，该公司宣布其语言大模型StableLM现已可供开发人员在GitHub上使用和改编。Sta

分类标签 StabilityAIStableLM语言模型

10-15 16:36

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway