OpenAI发布多模态模型GPT-4V,ChatGPT新增语音和图像功能

新知榜官方账号

2023-09-27 01:22:30

OpenAI发布多模态模型GPT-4V,ChatGPT新增语音和图像功能

OpenAI发布了多模态模型GPT-4V,为ChatGPT新增语音和图像功能,用户可以通过语音和图像与ChatGPT交互,进行更直观的沟通和解决问题。同时,GPT-4V也在多个领域展现了强大的能力,如科学熟练度、医疗建议等。本文介绍了其技术报告和测试结果。

GPT-4V的多模态能力

GPT-4V可以处理包含文字和图像的多模态数据,如照片、屏幕截图、文档等。用户可以通过上传图像或拍照发给ChatGPT,让它回答问题或解决问题。比如,可以上传自行车座卡住的照片,让ChatGPT告诉你解决方法,还可以拍照询问关于某地的历史典故等等。

ChatGPT的语音功能

用户可以通过语音和ChatGPT进行双向对话,ChatGPT可以根据文本和样本语音生成类似人声的音频,让交流更加直观自然。用户可以让ChatGPT讲故事、解决争端等等。

GPT-4V的强大能力

GPT-4V在多个领域展现了强大的能力。比如,在科学熟练度方面,GPT-4V可以从科学出版物中提取非常专业的图像,带有文本和详细组件的图表,并对新的科学发现进行批判性的评估。在医疗建议方面,GPT-4V可以提供医学建议,但在医学影像的解释上存在不一致性。此外,GPT-4V还可以识别出有毒食物、解决谜题和执行复杂的视觉推理任务等等。

GPT-4V的测试结果

OpenAI对GPT-4V进行了多个方面的测试,包括科学熟练度、医疗建议、个人识别、误导信息风险等等。测试发现,GPT-4V有着强大的能力,但在某些情况下也存在不一致性和错误。对此,OpenAI采取了多项缓解措施,如将文本提示转化为多模态提示、拒绝身份、敏感特征和无根据的推断等等。

本页网址:https://www.xinzhibang.net/article_detail-13911.html

寻求报道,请 点击这里 微信扫码咨询

关键词

OpenAI GPT-4V ChatGPT 多模态 语音 图像

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯