HuggingFace全面支持Llama2：集成、微调、推理

新知榜官方账号

2023-09-19 03:30:32

引言

今天，Meta发布了Llama2，其包含了一系列最先进的开放大语言模型，我们很高兴能够将其全面集成入HuggingFace，并全力支持其发布。Llama2的社区许可证相当宽松，且可商用。其代码、预训练模型和微调模型均于今天发布了。通过与Meta合作，我们已经顺利地完成了对Llama2的集成，你可以在Hub上找到12个开放模型(3个基础模型以及3个微调模型，每个模型都有2种checkpoint:一个是Meta的原始checkpoint，一个是transformers格式的checkpoint)。

主要工作

以下列出了HuggingFace支持Llama2的主要工作:

Llama2已入驻Hub:包括模型卡及相应的许可证。
支持Llama2的transformers库使用单GPU微调Llama2小模型的示例。
TextGenerationInference(TGI)已集成Llama2，以实现快速高效的生产化推理。
推理终端(InferenceEndpoints)已集成Llama2。

何以Llama2?

Llama2引入了一系列预训练和微调LLM，参数量范围从7B到70B(7B、13B、70B)。其预训练模型比Llama1模型有了显著改进，包括训练数据的总词元数增加了40%、上下文长度更长(4k词元)，以及利用了分组查询注意力机制来加速70B模型的推理！但最令人兴奋的还是其发布的微调模型(Llama2-Chat)，该模型已使用基于人类反馈的强化学习(ReinforcementLearningfromHumanFeedback，RLHF)技术针对对话场景进行了优化。在相当广泛的有用性和安全性测试基准中，Llama2-Chat模型的表现优于大多数开放模型，且其在人类评估中表现出与ChatGPT相当的性能。更多详情，可参阅其论文。

模型训练与微调

在技术和计算上都有一定的挑战。本节，我们将介绍HuggingFace生态中有哪些工具可以帮助开发者在简单的硬件上高效训练Llama2，我们还将展示如何在单张NVIDIAT4(16GB-GoogleColab)上微调Llama27B模型。你可以通过让LLM更可得这篇博文了解更多信息。我们构建了一个脚本，其中使用了QLoRA和trl中的SFTTrainer来对Llama2进行指令微调。

推理

本节，我们主要介绍可用于对Llama2模型进行推理的两种不同方法。在使用这些模型之前，请确保你已在MetaLlama2存储库页面申请了模型访问权限。

其他资源

论文、Hub上的模型、OpenLLM排行榜、Meta提供的Llama2模型使用大全等。

本页网址：https://www.xinzhibang.net/article_detail-12368.html

寻求报道，请

关键词

HuggingFace Llama2 OpenLLM 模型训练推理终端 PEFT微调

分享至微信：

相关工具

Bing新必应

微软推出的新版结合了ChatGPT功能的必应

Open Assistant

免费开源的对话式AI，GitHub星标超3万

百度AI伙伴

百度最新上线的AI搜索对话工具

文心一言

百度推出的基于文心大模型的AI对话互动工具

天工AI助手

昆仑万维与奇点智源联合研发的对标ChatGPT的大语言模型

通义千问

阿里巴巴最新推出的类ChatGPT响应人类指令的大模型

OpenAI面临分崩离析危机，Claude2.1和StableVideoDiffusion发布，生成式AI大戏仍在继续

过去几天，作为新一轮AI浪潮的领头羊，OpenAI面临一次的分崩离析的重大危机，从董事会宣布辞退创始人兼CEOSamAltman，到回归又被否，期间还经历了多次反转，包括Altman加入微软、员工逼宫、与Anthropic（Claude）合并等。到了北京时间11月22日下午，OpenAI又表示原则上

分类标签 OpenAIClaude2.1StableVideoDiffusionAI浪潮大模型生成式AI

11-23 10:04

如何更好地使用Claude，以及一些使用技巧

如何更好地使用Claude，以及一些使用技巧作为ChatGPT的竞品，Claude有着不俗的实力，同时它也是目前唯一能在国内网络环境下免费使用的国外AI工具。它可以帮助你在各种场合进行聊天、写文章、整理资料和学习知识。下面我们将介绍一些如何更好地使用Claude的技巧：1. 正确的使用方式在使用Cl

分类标签 ClaudeAI工具聊天写文章整理资料学习知识

11-23 10:03

2023年顶级LLM聊天机器人排名

LLM聊天机器人的兴起在2023年，大型语言模型（LLM）的兴起对人工智能领域产生了深远的影响。LLM经过大量文本和代码数据集的训练，可以生成文本、翻译语言、编写不同类型的创意内容，并以信息丰富的方式回答您的问题。其中，聊天机器人是LLM最令人兴奋的应用之一，它是可以模拟与人类对话的计算机程序。20

分类标签 LLM聊天机器人人工智能

10-25 10:21

StabilityAI推出基于Web的聊天界面StableChat

StabilityAI推出基于Web的聊天界面StableChatStabilityAI是图像生成AIStableDiffusion的开发商，其最近推出了开放访问的语言模型StableBeluga的基于Web的聊天界面StableChat。StableBeluga是HuggingFace排行榜上表现

分类标签 StabilityAI语言模型StableBeluga

10-25 10:20

AI独角兽Character.AI谈判筹集数亿美元新资金，估值或达60亿美元

近年来，随着AI技术的不断发展，越来越多的AI独角兽企业正在崛起。其中，生成式AI独角兽企业Character.AI备受关注。据媒体报道，该公司正在进行早期谈判，以筹集数亿美元的新资金，这笔交易可能将这家初创公司的估值推至50亿至60亿美元之间。Character.AI成立于2021年，由前谷歌员工

分类标签 AI独角兽Character.AI生成式AI

10-13 02:52

StabilityAI推出开源大语言模型StableLM，叫板ChatGPT

StabilityAI推出开源大语言模型StableLM，叫板ChatGPT StabilityAI于4月19日推出了开源大语言模型StableLM，挑战ChatGPT。据StabilityAI官网介绍，StableLM的Alpha版本中拥有30亿和70亿参数，后续还将推出150亿至650亿参数的版

分类标签 StabilityAI开源大语言模型StableLMChatGPTStableDiffusion

10-08 03:26

AI声音克隆：逝去的记忆复活，法律和伦理问题随之而来

背景1970年4月，披头士乐队解散，数百万歌迷们伤心不已。50多年后的今天，人工智能（AI）正在将“逝去的记忆”复活，重新创作和重新想象披头士乐队的演唱。然而，AI声音克隆得如此逼真也引发了一系列伦理和法律问题，甚至导致了电信诈骗的出现。最新报告显示，2022年澳大利亚人因诈骗损失了创纪录的31亿美

分类标签 AI声音克隆电信诈骗音乐版权

10-02 01:28

AI创作的版权问题：人类创作力的界定争议

AI创作的版权问题：人类创作力的界定争议AI创作的版权问题引发争议，如何界定人在AI创作过程中所表达的思想和创造力成为争议点。本文通过多个案例说明，AI生成内容是否应受版权保护存在争议，同时介绍了AI音乐在格莱美奖上的提名情况以及AI生成音乐带来的侵权问题。AI创作的版权争议案例艺术家Jason A

分类标签 AI版权问题创作力人工智能艺术音乐

10-02 01:26

AI独角兽Character.AI正在进行数亿美元的新融资，估值或将达到60亿美元

近日，生成式AI独角兽企业Character.AI正在进行早期谈判，以筹集数亿美元的新资金。据报道，本次交易可能将这家初创公司的估值推至50亿至60亿美元之间。Character.AI是生成式AI领域的早期宠儿，吸引了大量投资者的兴趣。今年3月份，Character.AI完成了一笔1.5亿美元的融资

分类标签 AI独角兽Character.AI新融资

09-29 23:02

HuggingFace发布人工智能聊天机器人HuggingChat，成为OpenAI的竞争对手

4月30日消息，据外媒报道，人工智能公司HuggingFace发布了HuggingChat，这是OpenAI流行的人工智能聊天机器人ChatGPT的开源竞争对手。HuggingChat现在可以通过该公司的网站向公众开放，它可以通过HuggingFace应用程序编程接口与第三方应用程序和服务连接。Hu

分类标签 HuggingFaceHuggingChatOpenAI

09-21 17:18

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway