美团外卖技术团队探索海报智能设计

新知榜官方账号

2023-07-02 22:07:01

背景

在视觉设计领域中，设计师们往往会因为一些简单需求付出相当多的时间，比如修改文案内容，设计简单的海报版式，针对不同机型、展位的多尺寸拓展等。这些工作需要耗费大量的时间、人力成本（5~6张/人日），但对设计师的进步成长起到的作用却非常有限。另一方面，精准营销是未来的大趋势，在大流量背景下，首页的海报资源展位需要展示“千人千面”的效果，这对海报的生产效率也提出了非常高的要求。所以，我们美团外卖技术团队尝试结合AI技术，来协助设计师避免这种低收益、高重复的任务，同时低成本、高效率、高质量地完成海报图片的生成。本文以Banner（横版海报）为例，介绍我们在海报设计与AI技术结合方面所进行的一些探索和研究。

Banner的设计过程

我们尝试总结了对Banner设计的理解，Banner的设计过程是一系列的具备某种特征属性的素材图层的有序叠加过程。这里的特征属性既包括颜色、形状、纹理、主题等视觉属性，也包括位置、大小、贴边等空间属性。

在这个过程中，哪些环节可以被机器算法所探索呢？文献[1]研究了如何调整图像的颜色分布，使杂志封面的视觉效果更加符合人眼的视觉特性；文献[2]以此为基础，引入了基于显著性识别的图像裁剪，并使用优化方法来解决布局问题。阿里巴巴的鹿班系统在去年双十一当天，生成1.7亿张Banner；京东内部也在孵化玲珑和莎士比亚系统，更加智能地设计文案和Banner。

在设计领域的一些子问题上，可以用算法来挖掘出数据背后的规律（如图1所示）。那么，能否构建一个完整的学习算法和处理系统，统一解决Banner设计中所有的子问题（配色、布局、搭配、生成）呢？

技术方案

素材图层是Banner的基础元素，其本身可以被特征化，同时组成Banner的若干元素间的叠加顺序可以被序列化，因此，算法实际是在学习“在什么时候，选择某种素材，放在哪里”。

为了解决这个问题，我们设计规划器、优化器、生成器来共同构建海报设计的学习与生产过程。其中：

规划器从数据中学习设计师对不同风格下的设计习惯与规律；
优化器基于美学质量和设计原则，对前者的输出结果做精细化调整；
最后，由生成器选取/生成素材并渲染成图；
素材库作为这三个环节的基础，负责素材管理和素材标签化。

素材库如何提取素材图片的特征属性，这是比较典型的分类问题。在计算机视觉领域，传统方案是提取图像的颜色、梯度等低级语义特征[3]，结合传统的分类器（LR、SVM等）来实现分类。近年来，基于深度学习的方法因为能表达更为复杂的语义特征，逐渐成为主流方法[4]。

规划器完成素材的数据化工作后，怎样学习Banner的设计过程？作为一种生成模型，对抗生成网络（GAN）[5]在近年广为应用，其优势是可以端到端地训练图像生成模型，但在我们的应用场景下，GAN存在以下两个问题：

GAN的过程更像是“黑盒”的过程：输入方面，虽然Conditional-GAN之类的方法可以实现某种程度有条件地可控生成，但对于Banner设计任务来说，其输入信息（文案、目标风格、主体信息）仍然过于复杂；
输出方面，GAN直接生成源数据（即图像），但非常缺乏解释性。我们需要的是更加直观、更有解释性的信息，比如素材的类型、颜色、轮廓、位置等。

因此，我们可以用序列生成模型来拟合Banner设计过程[6]。在建模过程中，我们把素材视作词汇（Word），海报视作句子（Sentence），词汇索引视为离散化的特征索引，素材叠加顺序就可以视为句子中的词顺序[7]。

优化器预测素材的量化特征，为了确保最终成图符合美学标准，需要一个后处理的过程（图6）。我们用优化器来解决这个问题。从本质上讲，这是一个优化过程。通过和设计师们的沟通，我们设计了一些基于常规设计理念和美学标准的目标函数，动作集合包括移动、缩放、亮度调整等，结合优化方法，提升Banner的视觉效果。最后，生成器将优化后的素材特征序列渲染成图。

应用场景及功能拓展

我们的Banner智能设计系统为钻展（外卖首页广告位）、商家店铺装修等业务提供稳定的设计能力；素材加工等子能力也在为外卖、闪购等商品图片提供技术支持。后续我们会从扩展常规设计风格、语义相关的颜色及素材挖掘、自动解析数据、构建自评估学习闭环等方面继续研究，进一步提高算法的设计能力和适用性，尽可能协助设计师提高效率，降低高重复性工作的时间和经济成本。

本页网址：https://www.xinzhibang.net/article_detail-4691.html

寻求报道，请

关键词

海报设计 AI技术 Banner 素材库图像分割多分辨率拓展

分享至微信：

相关工具

MasterGo AI

国产产品设计工具MasterGo推出的智能UI设计助手

Huemint

AI调色生成工具

Poly

AI生成3D材质

Illustroke

AI SVG矢量插画生成工具

Alpaca

将生成式AI集成到Photoshop图像设计中

墨刀AI

墨刀推出的AI产品原型设计助手

Facebook推出从视频中学习项目，优化Instagram Reels推荐功能

Facebook旗下的Instagram推出了从视频中学习项目，利用Instagram庞大的十亿张公开照片数据库进行抓取、识别和处理，以此展开AI智能人工训练，获取自己在行业的技术领先地位。该项目的优越性在于对于语音识别方面的容错率有了大大的降低，能更进一步地识别检测恶意非主流价值观的言论，达到净化

分类标签 Facebook视频学习InstagramReels

11-18 08:55

如何使用ienai和bander制作玩具模型动画

如何使用ienai和bander制作玩具模型动画本文介绍了使用ienai和bander制作玩具模型动画的步骤。工具准备使用ienai进行模型扫描，使用bander对模型进行调整。模型扫描先把玩具的双手打开，摆出一个字母t，然后使用ienai进行模型扫描。处理好之后，得到一个模型文件。模型调整使用ba

分类标签玩具模型动画制作ienaibander模型扫描材质调整

11-15 02:21

LumaAI推出的免费神器

LumaAI推出的免费神器LumaAI是由Luma推出的一个神奇的AI工具，它可以通过文本快速生成3D模型。自发布以来LumaAI就受到了广泛的关注，因为它不仅处理速度极快，而且可以生成多种风格的模型，其精度也比目前其他工具更加出色。LumaAI的使用方法也非常简单。进入LumaAI社区后，选择露末

分类标签 LumaAI3D模型AI工具

11-15 02:19

Lumen公司的AI分析将突破实验设计的限制进行优化生产

LumenBioscience公司通过使用机器学习(ML)进行多变量数据分析，将其治疗性蛋白质生产方法提高了70%-100%。为了优化这些因素，该公司与GoogleAcceleratedScience(GAS)合作，使用96个光生物反应器，研究生产结果与17个环境变量之间的关系。最优参数此外，根据现

分类标签 Lumen公司机器学习生产优化

11-13 22:20

用虚幻引擎5重制的《塞尔达传说：时之笛》新演示展示了Lumen技术的视觉改进

用虚幻引擎5重制的《塞尔达传说：时之笛》新演示展示了Lumen技术的视觉改进CryZENx发布了一段用虚幻引擎5重制的《塞尔达传说：时之笛》的新演示，展示了Lumen技术给游戏带来的视觉上的改进，以及游戏中的科克里森林地区。视频在一开始比较了关闭Lumen和开启Lumen的画面差异。我们看到，Lum

分类标签虚幻引擎5塞尔达传说：时之笛Lumen技术

11-13 22:19

用虚幻引擎5制作的《黑暗之魂》致敬视频引起期待

近日，一部由亚当·普莱查蒂创作的《黑暗之魂》致敬视频在网络上热传，该视频使用了Epic的最新引擎版本制作，在重现篝火点燃场景时，使用了Lumen技术，使火网神殿看起来前所未有。此外，该视频还对《黑暗之魂》的经典画面进行了重新演绎，让人期待官方的重制版。虽然《黑暗之魂》在几年前被翻新过，但官方重制版尚

分类标签黑暗之魂虚幻引擎5重制版

11-13 22:18

使用AI工具提高工作效率，珍惜人文和艺术精神

随着AI技术的发展，越来越多的工作可以通过AI工具来完成，这对于提高工作效率是非常有帮助的。比如，可以使用ChatGPT来替代谷歌、撰写关键文稿、收集市场信息及数据、安排任务、提供具体的工作思路、设计管理工具与模型等。同时，AI工具也可以应用于法律和财务难题的解答，从而提高工作质量和效率。然而，AI

分类标签 ChatGPTSEOAI工具工作效率艺术精神人文精神

11-08 22:32

LumaAI推出AI工具Genie，让每个人都能成为3D设计师

想象一下，你只需要在聊天框里输入“现代紫色沙发”，几秒钟后，一个逼真的3D模型就会出现在你眼前。这不是科幻电影，而是LumaAI最新推出的AI工具Genie带给我们的惊喜。Genie是LumaAI最新推出的AI工具，让每个人都能成为3D设计师，只需输入想要创建的内容，Genie就会生成逼真的3D模型

分类标签 LumaAIGenie3D设计深度神经网络

11-07 16:16

英伟达宣布Omniverse平台重大更新，支持OpenUSD和OpenXR，增强空间计算和生成式人工智能功能

英伟达宣布Omniverse平台重大更新英伟达的NVIDIA Omniverse是一个沉浸式协作中心，可以互联现有的3D工作流程，将线性流程升级为实时同步创作，支持用户以前所未有的方式和速度进行沉浸式创作。日前，英伟达宣布了Omniverse平台重大更新，包括对通用场景描述（OpenUSD）格式和O

分类标签英伟达Omniverse平台OpenUSDOpenXR空间计算生成式人工智能

10-27 02:25

LumaAI：用视频生成3D模型的AI工具

LumaAI：用视频生成3D模型的AI工具LumaAI是一款基于神经渲染技术的AI工具，能够通过拍摄照片或视频来生成、上色和渲染出逼真的3D产品模型，是3D建模领域的一重大突破。LumaAI作为3D成像技术领域的开创者，在二维图像生成3D模型方面，直接碾压级别存在，任何复杂的形状和场景下，都能实现逼

分类标签 LumaAI视频3D模型AI工具

10-09 16:20

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway