火山引擎发布自研视频芯片

火山引擎发布自研视频芯片

去年7月，外界曾有字节造芯传闻，字节跳动副总裁杨震原在媒体采访中回应称，公司无通用芯片商业计划，没有涉足CPU、GPU等通用芯片业务。自研芯片探索主要围绕自身视频推荐业务展开，研发团队将为字节跳动大规模视频推荐服务专用场景定制硬件优化，如视频编解码、云端推理加速等，以期提升性能，降低成本。

8月22日的一场活动中，字节跳动旗下火山引擎首次公开发布了自研的视频编解码芯片。据字节跳动视频架构负责人、火山引擎视频云架构技术总监王悦介绍，这款专用芯片已出片。经验证，该芯片的视频压缩效率相比行业主流硬件编码器可提升30%以上，未来将服务于抖音、西瓜视频等视频业务，并通过火山引擎视频云开放给企业客户。

如何突破算力、体验和交互的边界？

面对全行业视频化时代的技术挑战，火山引擎视频云是如何在算力、体验和交互层面进行探索的？

视频化应用在全行业不断深入渗透，视频数据也在持续激增，视频技术和应用在未来主要面临哪些大的挑战呢？我们认为，有三个边界需要突破：

1. 算力边界：视频数据不仅体量在激增，分辨率和清晰度也在持续提升，而且，视频压缩和处理的算法在不断的更新迭代，越来越复杂，因此视频转码和处理的算力需要能够跟得上。但同时，摩尔定律在持续变慢，如何为企业提供算力强、算力足且够便宜的计算基建，是当前视频行业面临的最大挑战；
2. 体验边界：用户会持续追求极致体验，希望视频更清晰、更流畅。那到底多清晰才是终点呢？随着越来越多的内容被AIGC技术所生成或加工，对这类内容质量的定义和评判标准，以及处理的算法和流程，可能都要跳出现有的基于信噪比的理论框架，重新探索体验的边界在哪里；
3. 交互边界：近几年沉浸式媒体方向在持续加温，视频的观看体验在逐步从二维画面延伸到三维空间，给予交互更多的自由度。虚拟世界与现实世界将无限融合。今年苹果发布了visionpro，带给了大家一些新的憧憬，也许已近百年的二维画面的呈现与交互边界很快将被突破。

火山引擎视频云做了哪些探索和实践，以突破这三个边界？

首先，应对算力挑战，火山引擎视频云基于抖音的大规模应用实践和打磨，实现了从通用计算到异构计算的进阶，沉淀了可以为不同视频场景提供专用且适用的算力支持，不断朝着更强大、更好用、更便宜的方向前行。在我们的异构计算集群中，除了先前主流的x86机器，还有GPU、ASIC、FPGA、ARM板卡阵列等几种不同的计算资源。ASIC算力是我们重点规划的研发方向，今天，我们也正式推出火山引擎自研视频编解码芯片。这款芯片有几个数据还是值得兴奋的：一台视频编解码芯片服务器的转码能力，相当于百台CPU服务器的算力；同时火山引擎自研视频编码芯片的压缩效率也相当优秀，比行业主流硬件编码器提升30%以上；从而，可以让单个视频的计算、存储和传输的边际成本达到平衡。

在突破体验边界方面，随着大模型等AI技术的发展和赋能，火山引擎视频云也确实看到了很多有说服力的成果和乐观的前景，比如「AI修复」技术。火山引擎视频云的很多产品能力都有AI技术的加持，例如「智能转档」使用了AI重采样方案，满足了高质量多码率分发需求，支持直播、点播多档位画质提升；「极致超清」是基于人眼的主观感受最优为基准的AI前处理方案，该方案可以提升主观画质，进一步实现整体带宽降低15-35%。

在突破交互边界方面的一些进展和成果，火山引擎视频云基于在PICO上的实践和探索，沉淀了很多优质的能力。比如，我们的「VR360°全景图像」技术，在今年CVPRWorkshop举办的一项比赛中，荣获了双料冠军，技术能力达到行业领先水平。火山引擎视频云还结合传统三维重建及神经辐射场技术，搭建了一套用于实现复杂动态场景的采集、重建、和播放算法框架，具备很高的清晰度和真实感。这项技术融合在点播、直播及RTC等视频云技术产品中，便可以实现空间视频的点播、直播和实时通信，已经落地于「抖音嘉年华」「抖音戏腔戏调」「PICO古籍寻游记」等项目里。

火山引擎开源BMF多媒体处理框架

在实际算法和工程化落地的过程中，很少有项目可以完全不采用多媒体处理框架。多媒体处理框架作为视频化部署的“底座”，通常起到重要的支撑作用。在体验需求更高、快速试错创新和业务场景融合的新趋势下，面对的场景和需求越来越多样化和复杂化，同时对计算性能和异构计算资源的运用也提出了更多的要求，快节奏的创新速度也迫切的期望框架有强大的能力，能帮助开发者把各种能力和方案优势互补、协同工作、快速落地。传统框架不能很好地应对这些挑战，下一代多媒体处理框架应运而生。

火山引擎视频云开源了一套多媒体处理框架BMF，作为火山引擎视频云全链路服务能力的基础“底座”，不断地根据集团各个业务和产品的需求进行设计、规划、迭代和线上打磨，目前已应用于点/直播转码、云编辑、移动端后处理等主要业务场景。相比传统方案，BMF具有以下亮点：它能支持使用多种语言开发模块，并能通过引擎无缝串联在一个pipeline里执行，还能通过插件化动态管理，提升开发效率；其次，它能实现调度引擎深度优化，在提升灵活性的同时做到效率无损，对于异构平台的支持相比传统框架有较大优势。它还可以支持多语言接口，对于不同语言的开发者非常友好，更容易上手。BMF目前已经全面开源，包含BMF框架层整体开源，9个开箱即用案例，和20+API调用范例，希望能帮助开发者低成本的构建视频应用。开源以后，我们计划持续开源更多核心能力，完善解决方案，包括支持更多异构硬件/更多原子能力/移动端支持等。同时，依托火山引擎，构建云上模块市场，加速视频生态建设。