Stability.ai发布开源大语言模型StableLM,基于比ThePile数据集还大3倍的扩展数据集训练而成

新知榜官方账号

2023-09-18 22:04:55

Stability.ai发布开源大语言模型StableLM

Stability.ai发布的开源模型StableDiffusion可以说是目前最主流也是最重要的AI绘画模型之一。基于开源的StableDiffusion,开发者社区创作了许多有意思的插件和模型,例如可以控制图形形状的ControlNet项目等,相关的开发项目超过1000个。现在,这家热衷于开源的AI公司又想搞一个大事情——发布一个类似ChatGPT的开源大语言模型。

人人都有LLM2023年可以说大语言模型井喷的一年,这几个月以来,几乎每个星期都有一个新的大语言模型面世。大模型、小模型、文本生成的、多模态的、闭源的、开源的……现在就是大语言模型的春天,各家百花齐放。

这份热闹不仅属于微软、Google、百度、阿里等互联网大厂,也属于所有与AI相关的科技公司。和现有的大模型相比,Stability.ai发布的StableLM大语言模型有什么特别的呢?根据Stability.ai的介绍,目前StableLM是一个开源且透明的模型,允许研究人员和开发者自由地检查、使用和修改代码。就像StableDiffusion一样,用户们都可以自由地配置StableLM,打造专为自己需求而量身定制的大语言模型。

目前StableLMAlpha版本模型的参数大小为30亿和70亿,未来Stability.ai还会提供150亿和650亿参数大小的模型版本。尽管和GPT-3模型的1750亿参数相比,StableLM的模型大小要小得多,但Stability.ai表示StableLM是基于一个比ThePile数据集还要大3倍的扩展数据集训练而成,在编码和自然语言对话方面都有不错的表现。ThePile数据集本身已经包括了大量书籍、Github知识库、网页、聊天记录等数据,还收集了医学、物理、数学、计算机科学和哲学学科的论文,可以为通用大语言模型、跨领域文本生成训练提供很好的基准。因此在实际使用时,StableLM与GPT-3的差距并不像纸面参数数据的差异那样明显。

Stability.ai在公告中展示了StableLM处理三个不同任务的实际表现,包括写邮件、写Rap歌词和写代码。Stability.ai还把StableLM托管在了HuggingFace的社区网站上,想抢先体验的朋友可以到以下地址调戏它⬇️https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat

从我们做的简短测试来看,StableLM的中文水平还不如郭杰瑞,更不用说和ChatGPT这样的优等生对比,因此在对话时尽量使用选择英语。

开源模型的优势和争议

开源还是闭源之争和包括斯坦福大学的Alpaca在内的众多开源大语言模型一样,StableLM给了很多开发者在本地或者服务器亲手定制大语言模型的机会,不用再担心你的数据泄漏给了模型后台。ChatGPT爆火后,关于AI模型的数据隐私问题层出不穷,前不久三星还被爆出有多名员工向ChatGPT泄漏机密数据的事件,以致三星的半导体部门决定自己开发内部AI工具,避免类似的问题再次发生。

开源模型除了有高透明度的优势,开发者们也更容易利用开源模型开发出更具有创造力的应用。例如你可以对StableLM做定制化的调试,让它变成一个不会停歇的网文作家,或者是非常熟悉公司项目的资深程序员或文案写手,甚至可以调试成微博上的星座运程大师。开源模型给了开发者更大的想象力空间,但与此同时,也会给作恶者更先进的手段。对别有用心者来说,开源大语言模型可能就是做电信诈骗的神器,他们可以逼真的对话把人们骗的团团转。开源总是会伴随争议,这一点Stability.ai早有预料。此前因为开源StableDiffusion,Stability.ai已经遭到了许多涉嫌侵犯艺术家权利的法律诉讼,以及因用户使用其工具生成色情内容而引起的争议。Stability.ai的CEOEmadMostaque在此前的采访中提到,大模型需要接受更多监督,而不是被大公司锁在小黑盒里,因此大模型的社区开放性也非常重要。Stability.ai坚持开源,是想把技术带给更多的人,引发人们的思考。StableLM是对Stability.ai的承诺最新验证,一个人人都有专属语言模型的未来或许就此展开。

本页网址:https://www.xinzhibang.net/article_detail-12234.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯