Meta宣布推出新一代开源大型语言模型Llama2并免费开放商业使用

Meta最近“杀红眼”了。在上周Meta推出Threads对战Twitter、以史上最快速度突破1亿用户之后，今天，Meta又在大语言模型方面和微软强强联手，向谷歌和OpenAI发起了新的挑战。

在今天的微软的Inspire合作伙伴大会上，Meta宣布和微软深化合作，正式推出新一代开源大型语言模型Llama2，并将该模型免费开放给商业和研究使用。此次Meta高调开源Llama2，无疑是在正面硬刚走“技术保密路线”的GPT-4和谷歌的PaLM2。

扎克伯格在Facebook上发帖表示：“Meta有着悠久的开源历史，开源推动创新，它让更多开发人员能够使用新技术进行开发，同时提高了技术的安全性。我们相信如果生态系统更加开放，将会带来更多进步，这就是我们开源Llama2的原因。”

面对OpenAI和谷歌正在努力构建的技术围墙，Meta似乎想要另辟蹊径、通过生态开放来切入这场巨头间的大模型竞赛。模型升级+开源可商用，Meta拿出LLaMA2“大杀器”

今年2月，Meta首次发布了自家的大语言模型LLaMA（LargeLanguageModelMetaAI）系列，包含70亿、130亿、330亿和650亿4个版本。当时Meta表示LLaMA拥有超高性能，使用130亿参数的LLaMA在规模仅为ChatGPT的十分之一的情况下，性能表现可以优于GPT-3。使用650亿参数的LLaMA则可以与DeepMind700亿参数的Chinchilla模型和谷歌5400亿参数的PaLM模型比肩。

但2月版本的LLaMA并不是ChatGPT的直接竞争对手，LLaMA定位于“开源的研究工具”，所使用的是各类公开可用的数据集。它当时更多的着眼于研究领域，仅在非商业许可下提供给政府、社区和学术界的研究人员。

但就LLaMA发布不久后，其模型源代码的文件却在技术论坛上疯传，直接助推了包括斯坦福大学Alpaca、加州大学伯克利分校ColossalChat等基于LLaMA构建的语言模型和产品的出现。当时因为泄漏的种子文件还被一度合并到了MetaResearch官方GitHub上，并得到了一些项目维护者的批准，也有人猜测LLaMA的泄露是Meta有意为之，其目的就是为了日后的商业化做铺垫。但不论此前LLaMA的泄露是否是Meta的试水之举，今天，Llama2正式开启了开源商用版本。

根据Meta的官方数据，Llama2相较于上一代其训练数据提升了40%，包含了70亿、130亿和700亿参数3个版本。Llama2预训练模型接受了2万亿个tokens的训练，上下文长度是Llama1的两倍，其微调模型已经接受了超过100万个人类注释的训练。在训练流程方面，跟ChatGPT类似，Llama2也经历了预训练阶段（PT）、指令微调（SFT）以及人类反馈强化学习（RLHF）三个阶段。在包括推理、编码、熟练程度和知识测试等外部基准测试中，Llama2在许多方面都显著高于MMLU、TriviaQA等其他开源语言模型。

Meta表示Llama2可免费用于研究和商业用途，开发者们可以直接在Llama2官方网站下下载该模型。为了避免此前LLaMA泄露后带来的深度伪造和色情聊天机器人等不良信息和产品的出现，Llama2已经经过了红队测试，避免模型产出不良和有害内容，并且为开发者们制定了使用指南和守则。

Meta发布首个开源可商用大语言模型的消息，无疑是在行业内释放了一个重磅炸弹。用YannLeCun的话来说，Meta此举可能将就此改变大模型行业的竞争格局。众所周知，OpenAI和Google目前是大语言模型领域中的两大霸主，但他们在最新、最先进的模型上都选择了“闭源”，OpenAI目前只是以API付费的方式向开发者提供服务。而此次，Meta在性能上足以比肩GPT-3.5的Llama2免费开放给所有人，这肯定会吸引大量的开发者和创业者使用抛弃OpenAI和谷歌转向Llama2。

除了Meta官方以及合作伙伴微软之外，Llama2还可以通过亚马逊AWS、HuggingFace和其他提供商获取。除了Llama此次的开源、商业特点之外，Meta和微软的联盟也尤其引人注目。Meta和微软向来关系不错，此前Meta搞元宇宙时，纳德拉就为其站台并且率先带着微软的一众产品进入Meta的VR平台。在AI领域，两家巨头也有着长期的合作历史。从2017年两家共同推出了可互换人工智能框架的开放生态系统，到ONNXRuntime与PyTorch的集成等，Azure一直都是Meta的云业务上的战略合作伙伴。

此次，两家就Llama2进行了更加深入、全面的合作。微软表示，Llama2将在AzureAI模型目录中提供，使得使用MicrosoftAzure的开发者能够构建并使用Llama2，同时利用他们的云原生工具进行内容过滤和安全功能。Llama2也已优化为可在Windows本地运行，为开发者提供无缝的工作流，将更广泛地提供给企业并可由企业定制。

总体来看，一边抓着OpenAI闭门研究、探索商业化变现，另一边跟Meta联合搞开源生态，微软或许是此次AI热潮中最得意的人。