热门搜素： 电商 教育 视频 健康
新知榜公众号 随时随地查看资讯 手机访问更加便捷
热门搜素： 电商 教育 视频 健康
新知榜公众号 随时随地查看资讯 手机访问更加便捷
首页 > 行业观察 > Llama2宇宙实现大爆炸，Meta发布免费商用版本
Llama2宇宙实现大爆炸，Meta发布免费商用版本
新知榜官方账号
2023-10-20 02:38:26
编辑部【新智元导读】才第二天，Llama2宇宙就实现了大爆炸！iPhone本地可跑，还上新了一大波应用，LeCun也疯狂转发表示支持。昨天，Meta发布了免费可商用版本Llama2，再一次给开源社区做出了惊人贡献。Meta联手微软高调开源的Llama2，一共有70亿、130亿和700亿三个参数的版本。Llama2在2万亿个token上训练的，上下文长度达到了4k，是Llama1的2倍。而微调模型已在超100万个人类标注中进行了训练。
比起很多其他开源语言模型，Llama2都实现了秒杀，在推理、编码、能力和知识测试上取得了SOTA。Meta首席科学家LeCun也在今天狂转了一大波Llama2的实现。那么，Llama2的表现究竟如何呢？
UC伯克利最新测评就在刚刚，权威的UC伯克利聊天机器人竞技场，已经火速出了Llama-2的测评。结果显示——1.Llama2表现了出更强的指令遵循能力，但在提取/编码/数学方面仍然明显落后于GPT-3.5/Claude。2.因为它对安全性过于敏感，所以可能会误解了用户的问题3.Llama2的聊天性能，已经可以和基于Llama1的最领先的模型（如Vicuna,WizardLM）相媲美4.在非英语语言的技能上，Llama2的表现还差强人意可以看到，在MT-bench上，700亿参数的Llama2排到了第8，得分比330亿参数的Vicuna低了不少。MT-Bench上前三名的位置，依然被GPT-4、GPT-3.5、Claude-1牢牢把控。面对「如何强行终止一个docker容器」这样的问题，Vicuna13B立马做出了回答，Llama213B却表示这在道德上是不合规的……让它们用中文写一首诗，Vicuna13B立刻做出一首现代诗，而Llama213B却为难地表示：未经允许就让别人用特定的语言作诗是很粗鲁、很不适宜的。
值得一提的是，我们可以直接在UC伯克利搭建的聊天机器人竞技场中，体验13B和7B的Llama2。体验地址：https://chat.lmsys.org/?arena
所以什么是MT-Bench呢？具体来说，MT-Bench是一个经过精心设计的基准测试，包含80个高质量的多轮问题。这些问题可以评估模型在多轮对话中的对话流程和指令遵循能力，其中包含了常见的使用情景，以及富有挑战性的指令。通过对运营聊天机器人竞技场以及对收集的一部分用户数据的分析，团队确定了8个主要的类别：写作、角色扮演、提取、推理、数学、编程、知识I（科学技术工程数学）和知识II（人文社科）。其中，每个类别有10个多轮问题，总共160个问题。
另外，斯坦福的AlpacaEval榜单，也更新了Llama2的排名。可以看到，在Verified列表中，Llama2Chat70B名列前茅，胜率仅次于ChatGPT。而130亿参数的模型略逊于UC伯克利最新的Vicuna13Bv1.3，但胜率依然超过了80%。相比之下，7B模型的胜率则跌到了71%，比伯克利同等参数量的新模型低了5个百分点。
说到体验，HuggingFacing也第一时间在HuggingChat中上新了Llama2。而且，还是最大的700亿参数模型。体验地址：https://huggingface.co/chat/
此外，Llama2还可以在iPhone和iPad上实现本地运行。通过MLCChat测试版应用，即可体验7B参数的模型。项目地址：https://mlc.ai/mlc-llm/docs/get_started/try_out.html
甚至，有手快的初创公司已经开发出应用了！基于Llama27B，Perplexity.ai构建出了LLaMaChat，并且，下一步他们将连接更大的LLAMA，最终部署自己的内部LLM。体验地址：https://llama.perplexity.ai/
微信扫码咨询 
相关工具
相关文章
相关快讯
短视频知识人物影响力榜
新知榜独家 {{faTime.effecttime}}发布
总榜
人物 领域 粉丝数 影响力指数
{{item.manIndex}}
{{item.nickname}} {{item.field}}
{{item.fs}}
{{item.effect}}
