使用Midjourney创建LLama效应

使用Midjourney创建LLama效应

开源和基于API的分发之间的摩擦是生成式人工智能生态系统中最有趣的战斗之一。在文本到图像领域，StableDiffusion的发布清楚地表明开源是基础模型可行的分发机制之一。然而，在大语言模型（LLM）领域，最重要的突破来自GPT-4、Claude和Cohere等模型，这些模型仅通过API提供。这些模型的开源替代品在遵循人类指令方面没有展现出同样水平的性能。然而，一个意外的研究突破和泄露版本正在改变这种情况。

几周前，MetaAI宣布了Llama，一个旨在推进该领域研究的LLM。Llama发布了不同的版本，包括7B、13B、33B和65B的参数，尽管比其他模型小，但在许多任务中能够与GPT-3的性能相匹配。Llama最初没有开源，但在其发布一周后，该模型在4chan上被泄露，引发了成千上万的下载。在过去的几周里，本来可以被看作是一个不幸的事件，却成为LLM领域最有趣的创新来源之一。

自从Llama被泄露后，我们看到了建立在它之上的LLM代理的爆炸性创新。仅举几个例子：斯坦福大学发布了Alpaca，一个基于LLama7B模型的指令跟随模型。来自加州大学伯克利分校、CMU、斯坦福大学和加州大学圣地亚哥分校的研究人员公开了Vicuna，这是一个微调的LLama版本，与GPT-4性能相匹配。伯克利人工智能研究所（BAIR）发布了Koala，一个使用互联网对话进行微调的LLama版本。Nebuly开源了ChatLLama，这是一个使用你自己的数据创建对话助理的框架。FreedomGPT是一个基于Alpaca的开源对话代理，它是基于LLama的。来自加州大学伯克利分校的Colossal-AI项目发布了ColossalChat，这是一个ChatGPT类型的模型，有一个基于LLama的完整RLHF管道。在这个列表中，还有几个项目值得一提，我相信很快会有更多的项目发布。有一件事是肯定的：Llama的意外泄露可能变成了开源LLM领域最大的创新火花之一。

ML研究OpenAI的安全性

OpenAI发表了一篇详细的博文，概述了用于确保其模型安全的一些原则。该文章强调了隐私、事实准确性和有害内容的预防等方面，这对基础模型的广泛采用至关重要。

BloombergGPT

彭博社发表了一篇论文，介绍了BloombergGPT，一个在金融数据中微调的500亿LLM。该模型以BLOOM为基础，在3630亿个token数据集上进行了微调。

SegmentAnythingModel

MetaAI发表了一篇论文，概述了SegmentAnythingModel（SAM），一个用于图像分割的大规模模型。该模型与SegmentAnything1-Billionmaskdataset（SA-1B）一起开源，SA-1B是有史以来发布的最大的计算机视觉分割模型。

Koala

伯克利人工智能研究中心（BAIR）发布了一篇论文，详细介绍了Koala，一个为学术研究微调的对话模型。该模型以MetaAI的Llama为基础，与ChatGPT的性能相匹配。

BayesOpt

谷歌研究院发表了一篇论文，将超参数优化建模为Bayesian优化问题。该论文提出了HyperBayesOpt，一种超参数优化算法，在BayesOpt中不再需要量化高斯过程的模型参数。

很酷的人工智能技术发布

Vicuna是一个基于MetaAILlama的开源聊天机器人，与ChatGPT的质量相匹配。Colossal-AI项目的团队开源了ColossalChat，这是ChatGPT的一个开源克隆版本，具有RLHF功能。LinkedIn讨论了一些构建生成式人工智能应用的经验教训和最佳实践。Lyft讨论了在他们的推荐系统中使用的ML模型和架构。Adthos推出了其使用生成性人工智能创建音频广告的平台。Meta公司讨论了他们使用生成性人工智能来创建广告的举措。Covariant又筹集了7500万美元。Glean将生成性人工智能功能纳入其搜索平台。一些泄露的文件显示，OpenAI的竞争对手Anthropic打算在未来两年内筹集约50亿美元。