FrugalGPT：降低LLM使用成本的解决方案

新知榜官方账号

2023-09-16 23:20:28

背景

随着大型语言模型（LLM）的发展，人工智能正处于变革的爆发期。众所周知，LLM可用于商业、科学和金融等应用，因而越来越多的公司（OpenAI、AI21、CoHere等）都在提供LLM作为基础服务。尽管像GPT-4这样的LLM在问答等任务中取得了前所未有的性能，但因为其高吞吐量的特质，使得它们在应用中非常昂贵。例如，ChatGPT每天的运营成本超过70万美元，而使用GPT-4来支持客户服务可能会让一个小企业每月花费超过2.1万美元。除了金钱成本外，使用最大的LLM还会带来巨大的环境和能源影响。

解决方案

现在很多公司通过API提供LLM服务，它们收费各异。使用LLMAPI的成本通常包括三个组成部分：1）prompt成本（与prompt的长度成比例），2）生成成本（与生成的长度成比例），以及3）有时还会有对于每个查询的固定成本。FrugalGPT是一种将GPT-4与更低廉的模型和支持性基础设施相结合的方法，可实现高性能和低成本的利用LLM。它通过识别那些可以由较小的LLM准确回答的查询，从而只调用那些具有成本效益的LLM。而强大但昂贵的LLM，如GPT-4，只用于由FrugalGPT检测到的挑战性查询。此外，FrugalGPT可以识别那些可以由较小的LLM准确回答的查询，从而只调用那些具有成本效益的LLM。

实证研究

研究者通过实验表明，FrugalGPT可以与最佳个体LLM的性能相媲美，成本降低高达98%，或者在相同成本下将最佳个体LLM的准确性提高4%。他们还发现，多个LLMAPI有可能产生比最好的单个LLM更好的性能，这是由于生成的多样性。为了衡量这种多样性，研究者使用最大的性能改进指标，该指标衡量了在调用不同LLMAPI的同时调用它们所能达到的最大性能提升。FrugalGPT的结果是既提高了准确率又降低了成本。例如，在一个金融新闻数据集上，FrugalGPT准确地预测了价格将下跌，而GPT-4提供了一个错误的答案。总体来说，FrugalGPT能够在所有被评估的数据集上实现平滑的性能-成本权衡，它为LLM用户提供了灵活的选择，并有可能帮助LLMAPI供应商节约能源和减少碳排放。

本页网址：https://www.xinzhibang.net/article_detail-11681.html

寻求报道，请

关键词

LLM FrugalGPT 成本性能 API 机器学习

分享至微信：

相关工具

AVCLabs

AI自动移除视频背景

幻舟AI

一站式AI影视创作平台

Elai.io

AI文本到视频生成工具

Gencraft

AI艺术画视频生成工具

Synthesys

AI虚拟人出镜讲解

SteveAI

Animaker旗下AI在线视频制作工具

周杰伦新歌《说好不哭》上线，AI能否模仿他的风格？

周杰伦新歌《说好不哭》火爆网络Jay迷编辑部发自凹非寺量子位报道|公众号QbitAI你今早被周杰伦刷屏了吗？新专辑单曲《说好不哭》昨晚23点上线，迅速火遍社交网络，刷屏朋友圈，27分钟上热搜第一，带火MV男主女主，一榜微博热搜里，7个都是周杰伦新歌相关……。单曲售价3元，上线7分钟，销售额破500万

分类标签周杰伦新歌AI

04-18 16:42

谷歌AI的七个“不正经”玩法

谷歌AI的七个“不正经”玩法谷歌最近发布了几只比较搞笑的AI，可以完成一些不走寻常路的工作，比如帮你实现靠脸吃饭，让你说的跟唱的一样。以下是谷歌AI的七个“不正经”玩法：说的跟唱的一样跳着舞就把琴弹了靠脸吃饭用声音画画这些玩法背后的AI动力，主要是谷歌的TensorFlow.js等工具，让机器学习技

分类标签谷歌AI不正经玩法创造力音乐可视化

04-18 16:42

AI绘图与人类绘图的优劣势分析

1. AI绘图和人类绘图的优劣势AI绘图技术通常使用机器学习和深度学习算法，可以在大量数据的基础上进行学习和模拟，从而自动生成图像。与人类绘图相比，AI绘图可以在很短的时间内生成大量图像，而且不会因为疲劳或情感变化而产生质量波动。然而，AI绘图仍然存在一些局限性。例如，由于机器无法理解艺术的概念和感

分类标签 AI绘图人类绘图机器学习

04-18 16:42

每日必看的AI前沿

每日必看的AI前沿IT之家报道，谷歌DeepMind最近推出了AI音乐生成大模型Lyria和两个新功能DreamTrack和MusicAI。用户可以使用DreamTrack输入文本提示并挑选参与的音乐人（包括AlecBenjamin、CharliePuth等），从而获得模仿音乐人风格的30秒原创音乐

分类标签 AIDeepMindCircularRingSlim

04-18 16:42

用文字创作音乐？Google最新人工智能模型MusicLM可以实现！

MusicLM的原理、特点和用途MusicLM是Google在今年一月发布的一个革命性的人工智能模型，它是基于Google的AudioLM模型开发的，它是一个专门针对音乐的语言模型。它可以理解和生成不同的音乐元素，如旋律、节奏、和声、风格等。它可以根据用户输入的文本描述，如“一段平静的吉他旋律，6/

分类标签 MusicLM人工智能音乐创作

04-18 16:42

生成式AI与仿真

生成式AI和仿真模型广泛应用于各行各业，以优化流程、为决策提供信息并创建数字孪生。几十年来，仿真模型一直被用来对复杂的系统和过程进行建模。这些模型的发展是由计算能力的进步以及收集和分析大型数据集的能力推动的。将人工智能（特别是生成式人工智能）集成到仿真模型中代表了其发展的下一步，使组织能够创建更准确

分类标签仿真模型生成式AI数字孪生优化流程决策元宇宙

04-18 16:42

Google的Lyria：人工智能音乐生成模型的未来

Lyria：人工智能音乐生成模型的未来Lyria是一个先进的人工智能音乐生成模型，它可以根据用户的输入生成高质量的歌曲，包括歌词、旋律、节奏和人声。Lyria是由GoogleDeepMind开发的，它可以模仿流行歌手的风格和声音，也可以让用户对输出的风格和表现有更细致的控制。Lyria目前正在You

分类标签 GoogleLyria人工智能音乐DreamTrack

04-18 16:42

AI绘画：StableDiffusion从入门到精通

AI绘画：StableDiffusion从入门到精通本书从艺术教育工作者和现代艺术设计师的视角，系统地介绍了人工智能绘画的相关知识与应用技能。全书内容涵盖了AI绘画的发展、原理、工具与应用，并重点围绕主流工具StableDiffusion进行详细介绍。书中深入讲解了软件的操作、指令控制、图生图技巧、

分类标签 AI绘画StableDiffusion人工智能

04-18 16:42

泡泡玛特旗下艺术推广机构innerflow首次亮相上海ART021

泡泡玛特旗下艺术推广机构innerflow首次亮相上海ART02111月11日-14日，泡泡玛特旗下艺术推广机构innerflow首次亮相上海ART021，展出多位国内外合作艺术家的画作及雕塑。innerflow创立于2021年，旨在与全球画廊、艺术家联合打造高端艺术衍生品，目前主要开发的品类有版画

分类标签 innerflow艺术衍生品ART021

12-05 02:09

哪些绘画生成app能够生成山水画效果？

绘画生成app能够生成山水画效果随着数字技术的不断发展，人们对于艺术创作的方式也发生了巨大的变化。如今，借助于智能手机和应用程序，我们可以在指尖上创造出各种令人惊叹的艺术作品。而当谈到绘画生成app时，有一个特别引人注目的功能：生成山水画效果。那么，有哪些绘画生成app能够提供这样的功能呢？本文将从

分类标签绘画生成app山水画效果美术加AIappArtFlow

12-02 22:16