如何从2D图像中做3D目标检测

新知榜官方账号

2023-07-10 09:24:31

如何从2D图像中做3D目标检测

谷歌AI发布了一款名为MediaPipeObjectron的算法框架，利用这个算法框架，只要一部手机，就能实时从2D视频里识别3D物品的位置、大小和方向。这一技术可以帮助机器人，自动驾驶汽车，图像检索和增强现实等领域实现一系列的应用。

MediaPipe是一个开源代码跨平台框架，主要用于构建处理不同形式的感知数据，而Objectron在MediaPipe中实现，并能够在移动设备中实时计算面向对象的3D边界框。

在计算机视觉领域里，跟踪3D目标是一个棘手的问题，尤其是在有限的计算资源上，例如，智能手机上。由于缺乏数据，以及需要解决物体多样的外观和形状时，而又仅有可2D图像可用时，情况就会变得更加困难。

为了解决这个问题，谷歌Objectron团队开发了一套工具，可以用来在2D视频里为对象标注3D边界框，而有了3D边界框，就可以很容易地计算出物体的姿态和大小。注释器可以在3D视图中绘制3D边界框，并通过查看2D视频帧中的投影来验证其位置。对于静态对象，他们只需在单个帧中注释目标对象即可。为了补充现实世界的训练数据以提高AI模型预测的准确性，该团队还开发了一种名为ARSyntheticDataGeneration的新颖方法。

它可以将虚拟对象放置到具有AR会话数据的场景中，允许你利用照相机，检测平面和估计照明，来生成目标对象的可能的位置，以及生产具有与场景匹配的照明。这种方法可生成高质量的合成数据，其包含的渲染对象能够尊重场景的几何形状并无缝地适配实际背景。

通过上述两个方法，谷歌结合了现实世界数据和增强现实合成数据，将检测准确度度提高了10%。当前版本的Objectron模型还足够“轻巧”，可以在移动设备上实时运行。借助LGV60ThinQ，三星GalaxyS20+和SonyXperia1II等手机中的Adreno650移动图形芯片，它能够每秒处理约26帧图像，基本做到了实时检测。

谷歌团队表示：“我们希望通过与更多的研究员和开发者共享我们的解决方案，这将激发新的应用案例和新的研究工作。我们计划在未来将模型扩展到更多类别，并进一步提高设备性能。”

本页网址：https://www.xinzhibang.net/article_detail-7362.html

寻求报道，请

关键词

计算机视觉谷歌AI MediaPipeObjectron

分享至微信：

相关工具

GPTZero

超过百万人都在用的免费AI内容检测工具

Writecream AI Content Detector

Writecream推出的AI内容检测工具

GPT Detector

在线检查文本是否由GPT-3或ChatGPT生成

AI Content Detector

Writer推出的AI内容检测工具

Smodin AI Content Detector

多语种AI内容检测工具

AISEO AI Content Detector

AISEO推出的AI内容检测器

未来速度完成数百万美元天使轮融资，旗下产品Xorbits将加速Python生态下大规模数据的处理

未来速度完成数百万美元天使轮融资，旗下产品Xorbits加速Python生态下大规模数据的处理未来速度成立于2022年，旗下产品Xorbits为分布式数据科学计算框架，旨在加速Python生态下大规模数据的处理。Python作为一门容易上手的编程语言，具有较高的开发效率，同时有Pandas、Nump

分类标签未来速度XorbitsPython分布式数据科学计算框架大规模数据处理并行计算

12-06 00:15

数字贸易与AI的碰撞：2023第二届全球数字贸易博览会在杭州开幕

数字贸易与AI的碰撞：2023第二届全球数字贸易博览会在杭州开幕数字经济发展让新时代的贸易不再单一。吃的水果，喝的乳品，“看得见”的商品通过跨境电商漂洋过海，出现在异国的餐桌；玩的游戏，听的音乐，“摸不着”的商品也能借助互联网翻山越岭，影响另一个国度的人。这也是AI的时代。今年以来，ChatGPT横

分类标签数字贸易AI全球数字贸易博览会

11-25 10:22

初识CRM

初识CRMCRM（Customer Relationship Management），即客户关系管理。是指企业通过对客户信息的收集、分析和运用，以提高客户满意度、保持客户忠诚度、增加销售和利润等目的的一种管理方式。CRM的主要功能包括客户信息管理、销售管理、市场营销管理和客户服务管理等。其中客户信息

分类标签 CRM客户关系管理市场

11-24 08:02

阿里版的ChatGPT语言大模型来了

阿里巴巴所有产品未来将接入“通义千问”大模型，进行全面改造。他认为，面向AI时代，所有产品都值得用大模型重新升级。现在，钉钉、天猫精灵等产品已接入通义千问测试，将在评估认证后正式发布新功能。生成式AI又可称为AIGC（ArtificialIntelligenceGeneratedContext，即可

分类标签阿里巴巴通义千问AI功能

11-13 18:10

Clarifai宣布推出端到端的AI审核解决方案

背景将互联网上的色情、毒品、暴力和其它不适当的内容过滤并不是一件容易的事。Facebook在全球的内容审核员从2017年的4500名增长至现在的7500名。而且在今年4月份，谷歌YouTube表示，在去年的10月份到12月份之间，他们已经下架了超过800万个与其政策相违背的视频，其中20%的视频是由

分类标签 Clarifai审核解决方案AI

11-11 16:35

互联网强国的意义及AI在互联网中的应用

互联网强国是指在互联网领域具有强大实力和影响力的国家。互联网强国可以从多个方面来理解：经济发展：互联网强国意味着该国在数字经济领域具有竞争力和创新能力，能够推动经济的快速发展。互联网技术的广泛应用和数字化转型可以促进各行各业的创新和提升效率，推动产业升级和经济结构优化。科技创新：互联网强国需要具备自

分类标签互联网强国经济发展科技创新

11-10 22:29

AI技术的五种新应用

AI技术的五种新应用人工智能作为一项迅速兴起的技术，在各个领域都引起了不小的轰动。不知从何时起，我们的生活、娱乐、生活的方方面面都有了AI的身影。在今年，这5个人工智能全新应用，或许应该被给予更多关注。AI检测COVID-19新冠病毒快速席卷全球，给世界带来了难以估量的损失。有研究人员根据现有的数据

分类标签人工智能COVID-19交通领域电话客服餐饮业

11-04 22:42

智能制造中的AOI瑕疵检测智能化发展

智能制造中的AOI瑕疵检测智能化发展从设备联网、可视化管理等的基础应用，进展到以AI达到生产设备预知维护保养等，智能制造应用现今可说是百花齐放，而产业端的实际需求，更是促进智慧应用成熟发展的动力。但同时，质量与良率仍然是目前国内制造业者最重视的议题。在此需求下，近期智能制造相关应用中最受广大讨论的则

分类标签智能制造AOI瑕疵检测AI技术

11-04 22:39

智能制造市场中最受讨论的瑕疵检测智能化发展

智能制造市场中最受讨论的瑕疵检测智能化发展从设备联网、可视化管理等的基础应用，进展到以AI达到生产设备预知维护保养等，智能制造应用现今可说是百花齐放，而产业端的实际需求，更是促进智慧应用成熟发展的动力。但同时，质量与良率仍然是目前国内制造业者最重视的议题。在此需求下，近期智能制造相关应用中最受广大讨

分类标签智能制造瑕疵检测AOI

11-04 22:39

Buzzfeed引入AI技术的测试栏目quizzes，旨在用新技术赚取更多利润

Buzzfeed引入AI技术的测试栏目quizzes，旨在用新技术赚取更多利润据报道，Buzzfeed发布了引入AI技术的测试栏目quizzes，旨在用新技术赚取更多利润。quizzes栏目有一系列测试问题，比如性格测试、兴趣爱好测试等等。现在quizzes多出一些问题，它引入了AI，比如其中一个与

分类标签 BuzzfeedAI技术quizzes

11-04 22:36

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway