OpenAI宣布Whisper开源，可实现多种语言的强大转录并翻译成英语

新知榜官方账号

2023-10-17 22:58:24

OpenAI宣布Whisper开源，可实现多种语言的强大转录并翻译成英语

尽管包括Google、亚马逊和Meta在内的科技巨头，都将各自开发的功能强大的语音识别系统置于其软件和服务的核心地位。但在人工智能和机器学习领域，语音识别仍是一个颇具挑战性的话题。

好消息是，今日OpenAI隆重地宣布了Whisper的开源——可知作为一套自动语音识别系统，官方宣称它能够实现多种语言的强大转录、并将它们翻译成英语。（来自：OpenAIBlog）

OpenAI表示，Whisper的不同之处，在于其接受了从网络收集的68万小时的多语言和“多任务”训练数据，从而提升了该方案对独特口音、背景噪声和技术术语的识别能力。官方GitHub存储库上的概述称：Whisper模型的主要目标用户，是研究当前模型稳健性、泛化、能力、偏差和约束的AI研究人员。

与此同时，它也很适合作为面向开发者的自动语音识别解决方案尤其是英语语音识别。感兴趣的朋友，可以从托管平台上下载Whisper系统的多个版本，其模型在大约10种语言上展现出了强大的ASR结果。此外假如在某些任务上加以微调的话，它们还有望在语音活动检测、讲述者分类等应用场景下表现出额外的能力。

遗憾的是，Whisper尚未在相关领域得到强有力的评估、且模型也有其局限性——有其在文本预测领域。由于该系统接受了大量“嘈杂”的数据训练，OpenAI决定提前给大家打一剂预防针，警告称Whisper可能在转录中包含实际上未讲述的单词。原因可能是Whisper既试图预测音频中的下一个单词、又试图转录音频本身。

此外Whisper在不同语言场景下的表现也不大一致，尤其涉及在训练数据中没有很好被代表的语言的讲述者时，其错误率也会更高。不过后者在语音识别领域早已不是什么新鲜事，即使业内首屈一指的系统，也一直受到此类偏差的困扰。参考斯坦福大学在2020年分享的一项研究结果——相较于黑人，来自亚马逊、苹果、Google、IBM和微软的系统，针对白人用户的错误率要低得多（大约35%）。

Whisper有约1/3的音频数据集为非英语即便如此，OpenAI还是认为Whisper的转录功能，可被用于改进现有的可访问性工具。其在GitHub上写道：尽管Whisper模型不适用于开箱即用的实时转录，但其速度和大小表明，其他人可在此基础上构建近乎实时的语音识别和翻译应用程序。建立在Whisper模型之上的有益应用程序，其价值切实地表明了这些模型的不同性能，有望发挥出真正的经济影响力。我们希望大家能够将该技术积极应用于有益目的，使自动语音识别技术更易获得改进、让更多参与者能够打造出更负责任的项目。在速度和准确性的双重优势下，Whisper将允许对大量通信提供可负担得起的自动转录和翻译体验。

本页网址：https://www.xinzhibang.net/article_detail-17067.html

寻求报道，请

关键词

OpenAI Whisper 语音识别自动转录翻译多语言

分享至微信：

相关工具

YouChat AI

AI搜索对话工具

TigerBot

虎博科技推出的AI对话聊天机器人，基于TigerBot开源大模型

对话写作猫

秘塔写作猫推出的AI对话聊天工具

天工AI助手

昆仑万维与奇点智源联合研发的对标ChatGPT的大语言模型

360智脑

360搜索最新推出的AI对话聊天机器人

Whispr

免费AI对话回应

OpenAI开源语音识别系统Whisper

OpenAI开源语音识别系统Whisper语音识别是通用人工智能的重要一环！可以说是AI的耳朵！它可以让机器理解人类的语音，并将其转换为文本或其他形式的输出。语音识别的应用场景非常广泛，比如智能助理、语音搜索、语音翻译、语音输入等等。然而，语音识别也面临着很多挑战，比如不同的语言、口音、噪音、专业术

分类标签语音识别OpenAIWhisper

12-02 08:55

OpenAI低价倾销ChatGPTAPI

OpenAI低价倾销ChatGPTAPIOpenAI向开发者释放了它的ChatGPT和Whisper模型，他们现在可以通过API调用将这个聊天机器人互动和语音到文本转换整合到自己的应用程序中。新的ChatGPTAPI将使用与ChatGPT相同的人工智能模型，其API的价格为每1000个字元（约750

分类标签 OpenAIChatGPTWhisperAPI人工智能语音识别

11-11 22:27

OpenAI宣布开放ChatGPT和WhisperAPI，第三方可将其集成到应用程序中

OpenAI宣布开放ChatGPT和WhisperAPI，第三方可将其集成到应用程序中OpenAI宣布开放ChatGPT和WhisperAPI，允许第三方将其集成到应用程序和服务中。ChatGPT是一个强大的对话模型，WhisperAPI是一个语音转文本模型。该API的开放将推动下一代应用程序的发展

分类标签 OpenAIChatGPTWhisperAPIAPI人工智能语音转文本

11-05 02:30

OpenAI发布适用于iPhone和iPad的ChatGPT官方App

OpenAI今天正式发布了适用于iPhone和iPad的ChatGPT官方App。OpenAI的聊天机器人ChatGPT此前仅限于网页端，不少开发者为此在AppStore上推出了第三方移动端应用，但是价格昂贵。不仅如此，一些骗子也抓住了这个机会，推出了不少诈骗应用。值得一提的是，App界面非常简洁并

分类标签 OpenAIChatGPTiPhoneiPadApp

11-05 02:29

AI合成视频：抹平语言障碍，促进传统文化交流与传播

近年来，随着AI技术的不断发展，AI合成视频越来越受到人们的关注。AI合成视频涉及到文艺创作、语言障碍、传统文化交流与传播等多方面问题。AI合成视频可以帮助相声演员、歌手等跨越语言障碍，让他们可以用外语表演，甚至可以模仿名人的语音、口型等。同时，AI合成视频也能推动中国文化在海外的传播。然而，AI合

分类标签 AI合成视频文艺创作传统文化语言障碍传播

11-05 02:28

Whisper和Secret的匿名社交：谁更成功？

Whisper和Secret的匿名社交：谁更成功？今天，Secret宣布关门大吉；同一天，Whisper任命了新的副总裁MarkTroughton，并宣布单月活跃用户数量达到1000万，每小时应用开启次数超过100万，这也是Whipser首次公布它的用户数据。不管这是有意打脸还是纯属巧合，我们都不禁

分类标签 WhisperSecret匿名社交用户数据

11-05 02:27

智能体：游戏中的仿真社会

智能体：游戏中的仿真社会自今年开始，随着AI革命的进行，各种用AI赋能游戏的想象，也开始不断涌现，这其中就包括了用AI生成图片、文字、3D素材等等。但除此之外，有人决定将步子迈得再大些，直接用AI驱动NPC，在游戏里生成一个“仿真社会”，自动地驱动整个游戏进行。今年4月的时候，美国斯坦福大学的研究团

分类标签 AI智能体游戏全要素生成UGC

11-05 02:24

Whisper语音识别库使用指南

前言本文介绍了如何使用开源的语音识别库Whisper，包括安装PyTorch和Whisper，使用MPS加速，以及使用Whisper进行语音识别的代码示例。安装PyTorch和Whisper首先安装Python3.10最新版，然后使用pip3安装PyTorch、torchvision和torchau

分类标签 Whisper语音识别PyTorchMPS双向循环神经网络

11-01 22:56

OpenAI投资至少16家初创公司，推出加速器Converge，提供技术优惠和授权

据外媒TheInformation报道，美国前沿AI初创公司OpenAI通过微软和其他投资者支持的1亿美元创业基金投资了至少16家公司，该基金于2021年5月启动。就在上个月，OpenAI推出了加速器Converge，该加速器已经投资了10家公司。据知情人士透露，除了提供资金外，OpenAI还为使用

分类标签 OpenAI投资初创公司

11-01 22:47

OpenAI开源Whisper自动语音识别系统，语音识别能力已达人类水平

OpenAI开源Whisper自动语音识别系统，语音识别能力已达人类水平OpenAI拥有GTP-3语言模型，并为GitHubCopilot提供技术支持的人工智能公司近日开源了Whisper自动语音识别系统。OpenAI强调Whisper的语音识别能力已达到人类水准。Whisper是一个自动语音识别（

分类标签 OpenAIWhisper自动语音识别语音转录语音翻译

11-01 22:45

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway