AI特效落地：腾讯微视如何在移动端实现实时特效生成？

新知榜官方账号

2023-06-30 12:33:08

背景

近年来，人工智能技术已经在很多领域得到了广泛的应用，特别是在图像处理、音视频处理等方面，人工智能的应用效果越来越明显。

然而，AI技术在移动端的应用仍面临很多挑战，比如计算量大、模型复杂等问题。而腾讯微视的技术团队却成功地将AI特效落地到了移动端，实现了实时特效的生成，这在移动端应用领域是非常有意义的。

挑战

将AI特效落地到移动端面临很多挑战，比如数据采集、可控性差、生成质量不稳定、计算量大等问题。

腾讯微视的技术团队针对这些挑战，研发出了一套支持移动端实时特效的GAN模型训练和部署框架，包括以下三个步骤：

按需求采集非成对数据，并训练高参数量的模型生成成对数据。
对成对数据进行画质增强。
利用成对数据训练移动端轻量化模型。

通过以上三个步骤，腾讯微视的技术团队成功地实现了image-to-image的实时特效生成效果。

技术

腾讯微视的技术团队在技术方面有很多优势，包括已经搭建了一整套流程化框架、算法经过多次迭代、数据需求量已经降至很低的水平等。

同时，他们还利用图像处理技术和属性编辑方案对大模型生成的图片进行美化，如利用去皱纹模型去除眼袋和泪沟。在稳定性和清晰度方面，微视参考图像修复和超分辨率的相关方法单独训练了一个既能提升清晰度又能消除人脸瑕疵的GAN模型。

此外，为了让小模型成功学到大模型的能力，他们还采用了分阶段蒸馏训练的策略。训练完小模型之后，团队借助腾讯自己研发的移动端深度学习推理框架TNN实现了手机端的部署和实时推理，从而使得用户通过摄像头驱动任意人脸图片的玩法变为可能。

结论

腾讯微视的技术团队成功地将AI特效落地到了移动端，实现了实时特效的生成。他们在技术方面有很多优势，包括已经搭建了一整套流程化框架、算法经过多次迭代、数据需求量已经降至很低的水平等。未来，我们还将在微视上看到更多原本只能在论文中看到的惊艳效果。

本页网址：https://www.xinzhibang.net/article_detail-3258.html

寻求报道，请

关键词

分享至微信：

相关工具

一帧秒创

简单好用的AI智能视频创作平台

Artflow

AI创建生成视频动画

来画

动画和数字人智能生成平台

万彩微影

AI智能自动生成动画短视频

Elai.io

AI文本到视频生成工具

EbSynth

AI将真人视频转化为油画风动画

AI创作者在Fiverr上赚近80万人民币，AI真的能带来预期的盈利吗？

AI创作者在海外最大的自由职业交易平台Fiverr上赚取近80万人民币，AI真的能带来预期的盈利吗？最早一批实现商业化的可能是使用AI工具的创作者。从一开始利用AI圈信息差卖课获利，到后期使用生成式AI做图文视频，提供人工智能解决方案，这些玩家无需投入大量资金成本，只要会使用AI工具，就能赚到一笔钱

分类标签 AI创作者Fiverr人工智能盈利交易平台自由职业

12-08 16:12

人工智能技术在视频制作领域的应用和商业化模式

人工智能技术在视频制作领域的应用和商业化模式近年来，人工智能技术的快速发展，让AI在视频制作领域的应用取得了瞩目的进展。近期，多款AI视频应用如HeyGen、Pika、Runway和StableVideoDiffusion等在海外市场崭露头角，其强大的产品功能让人眼前一亮。这些AI视频工具不仅证明了

分类标签人工智能视频制作应用

12-08 16:11

AI应用：从0到1到1-N，传媒行业2024年投资策略报告

一、AI应用：从0到1到1-N展望2024年，我们看好AI、XR、数据要素三大主线的产业方向发展更加纵深，向1-N发展。产业趋势从0到1——AI：大模型横空出世，应用遍地开花生成式AI：我们在去年策略报告提出，生成式AI经过前期技术积累进入爆发期，随着技术与应用进一步成熟，有望继决策式AI，打造更为

分类标签 AIXR数据要素

12-08 16:10

“AI数字人”亮相全球数贸会赋能千行百业人气足

“AI数字人”亮相全球数贸会赋能千行百业人气足11月23日至27日，第二届全球数字贸易博览会(以下简称“数贸会”)在浙江杭州举办。本届数贸会汇聚超千家数字贸易企业，展示前沿动向。从展会上三款“AI数字人”可以感受到，日益发达的数字技术正在赋能千行百业，“链接”一个更包容更普惠的未来世界。走进数贸会前

分类标签数字贸易AI数字人虚拟数字人

12-05 22:17

AI数字人在电商行业中的应用及未来发展趋势

一、AI数字人的定义和发展AI数字人是指通过计算机技术创造的具有人类外貌特征、行为举止和语音表达的虚拟存在形式。它们利用语音识别、自然语言处理、计算机视觉等技术，实现与人类的自然交互，成为人类与计算机之间沟通的桥梁。近年来，随着人工智能技术的不断进步，AI数字人的应用场景也得到了进一步拓展。智信国际

分类标签 AI数字人电商行业个性化服务

12-05 22:16

数字人：AI主播的新时代

数字人：AI主播的新时代在短视频上，出现过很多这样的场景：一家公司的整个办公室里空无一人，只有一排排办公桌上有数十台电脑屏幕里的AI美女们正在直播......是的，你没听错，AI代替了真人直播，每一个生成的AI数字人和真人如出一辙。“数字人”是今年推出的一种AI技术，通过克隆真实人物并代替其进行直播

分类标签数字人AI主播直播行业

12-05 22:15

数字人：人工智能和虚拟形象技术的重大突破

什么是数字人？数字人是指通过人工智能和虚拟形象技术创造的虚拟个体，具备自己的外貌、声音和行为。数字人是利用人工智能技术实现与真人直播形象的1:1克隆，即克隆出一个数字化的你自己，包括你的形象、表情、动作和声音都会被克隆下来，让你能够拥有接近真人的表现力。数字人可以通过自然语言处理和机器学习技术与人进

分类标签数字人人工智能虚拟形象技术

12-04 16:09

视频翻译免费工具MyHeyGen的使用教程

视频翻译免费工具MyHeyGen的使用教程近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，

分类标签视频翻译免费工具MyHeyGen

12-03 22:14

视频翻译工具MyHeyGen的安装使用教程

视频翻译工具MyHeyGen的安装使用教程近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，

分类标签视频翻译MyHeyGen安装教程

12-03 08:37

视频翻译工具免费开源，能处理任意时长视频的翻译工具

视频翻译工具免费开源，能处理任意时长视频的翻译工具近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成

分类标签视频翻译免费开源任意时长视频

12-03 02:23

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway