OpenAI发布免费开源语音识别模型Whisper

新知榜官方账号

2023-10-17 23:00:17

OpenAI发布免费开源语音识别模型Whisper

OpenAI最近发布了一个名为Whisper的语音识别模型。该模型对口音、背景噪音和技术语言具有很好的鲁棒性，支持99种不同语言的转录和从这些语言到英语的翻译。

Whisper的架构

Whisper是一种自动语音识别模型，基于从网络上收集的680,000小时多语言数据进行训练。Whisper架构是一种简单的端到端方法，实现为利用Transformer模型的编码器-解码器。输入音频被分成30秒一段的模块，然后转换成log-Mel频谱图，然后传递到编码器。编码器来计算注意力，最后把数据传递给解码器，解码器被训练来预测相应的文本，并添加特殊标记，这些标记用来单个模型执行诸如语言识别、多语言语音转录和英语语音翻译等任务。

模型训练数据

Whisper模型训练数据集大约有三分之一是非英语的，它交替执行以原始语言转录或翻译成英语的任务。发现这种方法在学习语音到文本的翻译任务方面特别有效，并且优于SOTA模型的CoVoST2英语翻译零样本监督模型。

代码实战

我们可以使用Whisper模型来进行语音识别任务。模型支持5种不同的模型尺寸，其中前四种针对英文版本。我们可以使用Python代码来测试Whisper语音识别模型，代码包括下载MP4音频文件、执行语音识别任务以及输出识别结果。对于其他语言，只需要选择对应的模型即可。

模型的零样本性能

Whisper是在一个庞大而多样的数据集上训练的，并且没有针对任何特定的数据集进行微调，所以它不会击败专门研究LibriSpeech性能的模型。然而，当我们在许多不同的数据集上测量Whisper的零样本性能时，发现它比那些模型更加稳健，并且错误率降低了50%。

本页网址：https://www.xinzhibang.net/article_detail-17068.html

寻求报道，请

关键词

OpenAI Whisper 语音识别自动化多语言翻译

分享至微信：

相关工具

ColossalChat

Colossal-AI推出的免费开源版ChatGPT聊天机器人替代品

TigerBot

虎博科技推出的AI对话聊天机器人，基于TigerBot开源大模型

天工AI助手

昆仑万维与奇点智源联合研发的对标ChatGPT的大语言模型

商量SenseChat

商汤科技推出的类ChatGPT的人工智能大语言模型

Open Assistant

免费开源的对话式AI，GitHub星标超3万

Claude

ChatGPT的最为有力的竞争对手之一

OpenAI开源语音识别系统Whisper

OpenAI开源语音识别系统Whisper语音识别是通用人工智能的重要一环！可以说是AI的耳朵！它可以让机器理解人类的语音，并将其转换为文本或其他形式的输出。语音识别的应用场景非常广泛，比如智能助理、语音搜索、语音翻译、语音输入等等。然而，语音识别也面临着很多挑战，比如不同的语言、口音、噪音、专业术

分类标签语音识别OpenAIWhisper

12-02 08:55

OpenAI低价倾销ChatGPTAPI

OpenAI低价倾销ChatGPTAPIOpenAI向开发者释放了它的ChatGPT和Whisper模型，他们现在可以通过API调用将这个聊天机器人互动和语音到文本转换整合到自己的应用程序中。新的ChatGPTAPI将使用与ChatGPT相同的人工智能模型，其API的价格为每1000个字元（约750

分类标签 OpenAIChatGPTWhisperAPI人工智能语音识别

11-11 22:27

OpenAI宣布开放ChatGPT和WhisperAPI，第三方可将其集成到应用程序中

OpenAI宣布开放ChatGPT和WhisperAPI，第三方可将其集成到应用程序中OpenAI宣布开放ChatGPT和WhisperAPI，允许第三方将其集成到应用程序和服务中。ChatGPT是一个强大的对话模型，WhisperAPI是一个语音转文本模型。该API的开放将推动下一代应用程序的发展

分类标签 OpenAIChatGPTWhisperAPIAPI人工智能语音转文本

11-05 02:30

OpenAI发布适用于iPhone和iPad的ChatGPT官方App

OpenAI今天正式发布了适用于iPhone和iPad的ChatGPT官方App。OpenAI的聊天机器人ChatGPT此前仅限于网页端，不少开发者为此在AppStore上推出了第三方移动端应用，但是价格昂贵。不仅如此，一些骗子也抓住了这个机会，推出了不少诈骗应用。值得一提的是，App界面非常简洁并

分类标签 OpenAIChatGPTiPhoneiPadApp

11-05 02:29

AI合成视频：抹平语言障碍，促进传统文化交流与传播

近年来，随着AI技术的不断发展，AI合成视频越来越受到人们的关注。AI合成视频涉及到文艺创作、语言障碍、传统文化交流与传播等多方面问题。AI合成视频可以帮助相声演员、歌手等跨越语言障碍，让他们可以用外语表演，甚至可以模仿名人的语音、口型等。同时，AI合成视频也能推动中国文化在海外的传播。然而，AI合

分类标签 AI合成视频文艺创作传统文化语言障碍传播

11-05 02:28

Whisper和Secret的匿名社交：谁更成功？

Whisper和Secret的匿名社交：谁更成功？今天，Secret宣布关门大吉；同一天，Whisper任命了新的副总裁MarkTroughton，并宣布单月活跃用户数量达到1000万，每小时应用开启次数超过100万，这也是Whipser首次公布它的用户数据。不管这是有意打脸还是纯属巧合，我们都不禁

分类标签 WhisperSecret匿名社交用户数据

11-05 02:27

智能体：游戏中的仿真社会

智能体：游戏中的仿真社会自今年开始，随着AI革命的进行，各种用AI赋能游戏的想象，也开始不断涌现，这其中就包括了用AI生成图片、文字、3D素材等等。但除此之外，有人决定将步子迈得再大些，直接用AI驱动NPC，在游戏里生成一个“仿真社会”，自动地驱动整个游戏进行。今年4月的时候，美国斯坦福大学的研究团

分类标签 AI智能体游戏全要素生成UGC

11-05 02:24

Whisper语音识别库使用指南

前言本文介绍了如何使用开源的语音识别库Whisper，包括安装PyTorch和Whisper，使用MPS加速，以及使用Whisper进行语音识别的代码示例。安装PyTorch和Whisper首先安装Python3.10最新版，然后使用pip3安装PyTorch、torchvision和torchau

分类标签 Whisper语音识别PyTorchMPS双向循环神经网络

11-01 22:56

OpenAI投资至少16家初创公司，推出加速器Converge，提供技术优惠和授权

据外媒TheInformation报道，美国前沿AI初创公司OpenAI通过微软和其他投资者支持的1亿美元创业基金投资了至少16家公司，该基金于2021年5月启动。就在上个月，OpenAI推出了加速器Converge，该加速器已经投资了10家公司。据知情人士透露，除了提供资金外，OpenAI还为使用

分类标签 OpenAI投资初创公司

11-01 22:47

OpenAI开源Whisper自动语音识别系统，语音识别能力已达人类水平

OpenAI开源Whisper自动语音识别系统，语音识别能力已达人类水平OpenAI拥有GTP-3语言模型，并为GitHubCopilot提供技术支持的人工智能公司近日开源了Whisper自动语音识别系统。OpenAI强调Whisper的语音识别能力已达到人类水准。Whisper是一个自动语音识别（

分类标签 OpenAIWhisper自动语音识别语音转录语音翻译

11-01 22:45

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway