人工智能初创公司Runway发布文本到视频模型Gen-2:用文字生成视频的新革命

新知榜官方账号

2023-10-16 02:08:24

Runway公司:推动创意与人工智能的结合

Runway是一家总部位于纽约的人工智能初创公司,由三位来自不同国家的艺术家创立于2018年。他们的愿景是将人工智能的无限创造潜力带给每一个有故事要讲的人。他们的使命是构建多模态的AI系统,以实现新型的创意工具。

Runway提供了一个在线平台,让用户可以轻松地使用各种AI驱动的工具来制作和编辑图像和视频。目前,Runway拥有30多种所谓的“AI魔法工具”,包括文本到图像、图像到图像、绿屏、对象移除、超慢动作、无限图像等等。用户只需在浏览器中登录Runway网站,就可以开始使用这些工具,并将它们与完整功能的时间轴视频编辑器结合使用。用户还可以在Runway手机应用上使用部分工具,并随时随地访问和分享他们的作品。

Runway不仅提供了创新的技术和创意工具,还致力于创建平台和倡议,以赋能和庆祝下一代故事讲述者。例如,RunwayStudios是Runway的娱乐和制作部门,为全球品牌、企业和创意人士提供生产合作伙伴和平台。AIFilmFestival是一个庆祝AI电影制作领域的艺术和艺术家的活动。在第一届AIFF中,Runway收到了数百份作品,并在纽约举办了一个放映会,表彰了今年的十名入围者。

Runway目前已经获得了5000万美元的C轮融资,并被估值为5亿美元。它已经吸引了超过5万个团队和个人用户使用它的平台和工具,并获得了包括Forbes、FastCompany、Wired等媒体的关注和赞誉。

Gen-2工具:用文字生成视频的下一步

Gen-2是Runway最新发布的一种多模态AI系统,它可以用文字、图像或视频片段来生成新颖的视频。它是继Runway之前推出的既有视频到新视频的模型Gen-1之后,又一项突破性的研究成果。Gen-2基于RunwayResearch团队开发的一种名为稳定扩散(StableDiffusion)的生成式AI技术,它可以从高维潜在空间中采样出高质量、高分辨率和多样化的图像和视频。

Gen-2支持从文本到视频、图像到视频、文本+图像到视频各种场景,可以从几句用户提示中生成简短的视频片段。用户可以通过调整一些设置,如种子数、放大倍数、插值等,来优化和定制生成的结果。用户还可以使用高级模式,通过训练自己的数据集,来实现更高保真度和更多风格的视频生成。

Gen-2不仅可以生成全新的视频,还可以对现有的视频进行风格化、故事板化、渲染化、遮罩化等操作,从而实现各种创意效果。例如,用户可以用一张图片或一个文本描述来改变视频的外观和氛围;用户可以用一个简单的草图来制作一个完整的动画视频;用户可以用一个无纹理的渲染图来生成一个逼真的输出;用户还可以用一个文本提示来隔离并修改视频中的主体。

Gen-2为视频创作带来了革命性的变化,它让用户无需相机、灯光或其他设备,就能用文字或图片来拍摄新的视频。它让用户无需专业的技能或软件,就能用AI来实现他们的创意想法。它让用户无需花费大量的时间或金钱,就能用AI来制作高质量、高分辨率和多样化的视频。根据用户研究,Gen-2生成的结果比现有的图像到图像和视频到视频转换方法更受欢迎。在一项对比实验中,73.53%的用户更喜欢Gen-2生成的结果,而不是StableDiffusion1.5生成的结果;88.24%的用户更喜欢Gen-2生成的结果,而不是Text2Live生成的结果。

总结

Runway公司和Gen-2工具是用文字生成视频领域的佼佼者,它们展示了人工智能技术在推动创意与艺术发展方面所具有的巨大潜力。如果你对这些工具感兴趣,你可以登录Runway网站或手机应用,开始尝试使用它们,并发挥你自己的想象力。你也可以关注Runway公司和RunwayResearch团队,了解他们最新的研究进展和产品发布。相信在不久的将来,我们会看到更多令人惊叹和震撼的AI创作作品。

本页网址:https://www.xinzhibang.net/article_detail-16869.html

寻求报道,请 点击这里 微信扫码咨询

关键词

人工智能 Runway Gen-2

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯