从鲁班的视觉引擎谈起

最近云栖社区更新了一篇星瞳关于《鲁班视觉引擎》的介绍文章。

视觉引擎的目标是可控视觉内容设计和生成，让 AI 做设计，使数字内容制造变得高质、 高效、普惠、低成本; 终极目标是“所想，即所见” ，目前主要探索的应用：图像设计与生成、 视频编辑与生成、 图形建模与生成

部分内容引自星瞳的ppt。

本文从3个方面谈谈智能设计与视频广告的结合：

1 鲁班的图像设计与生成

2 智能设计局限与突破

3 智能设计的4个方向

3.1 应用设计大数据“复制”设计

3.2 特定风格的算法驱动型设计

3.3 基于图像的智能排版引擎

3.4 基于pix2pix的生成设计

1 鲁班的图像设计与生成

鲁班目前的图像设计与生成，主要是 banner 类的图，核心是素材搭配求得最优组合。把 banner 拆解成背景、主体、装饰等，检索，然后组合。按图层拆解设计图，结构化设计数据，然后检索“库存”，按照输入的布局组装检索到的素材，评估及优化素材组装后的效果，直至最终生成最优的素材组装结果。

引自星瞳的ppt

A 输入（显式输入）：

图片：商品主图

文案：化妆会场5折起……

风格：运动

构图：左右

配色：黄绿

大小：1125*352

B 特征化：

image

text

style=sport

layout=LTRI

color=YG

size=3:1

C 规划：

16*16的特征图

D 行动：

256*256

E 调优：

1125*352

F 可视化

2 局限与突破

应用设计大数据，“复制”设计。首先需要准备大量的打好标签的素材，设计结果取决于素材库的“库存”质量。设计过程被简化为组合素材的过程。所以对应的人类设计师水平是“ P5 ” ？设计是极富创意的过程，除了解决问题，利用设计可以使用的元素，创意性地提出解决方案，是高水平设计的价值所在。所以，鲁班也在尝试像素级生成以及根据主题生成文案，让 AI 更具有创造力。这方面的探索追求的是设计的从0到1。

3 智能设计的4个方向

这里 mixlab 总结下智能设计目前的实现方式。

3.1 应用设计大数据，“复制”设计

从半结构化的设计图，例如 psd 文件、sketch 文件等，提取设计数据，包括图片、文案、布局、色彩，形成设计大数据，然后通过搜索引擎技术，枚举各种组合，并评分，最后得出最优结果。 mixlab 有一个简化版的实现文章：DIY一个人工智能设计师。

3.2 特定风格的算法驱动型设计

更像是算法驱动型的设计，把特定风格图像设计的设计规则算法化，直接应用算法于生成设计。例如 mixlab 近期尝试过的glitch 风格的字体生成器。

3.3 基于图像的智能排版引擎

微软研究院发的一篇论文，专注于杂志风格封面的版式设计，是基于图像的 saliceny map 做的自适应布局方案。Mixlab 在去年也专门更新了一篇文章介绍。

3.4 基于pix2pix的生成设计

只要是图片与图片之间的转换，我们都可以尝试 pix2pix 来生成试试。在《Pix2Pix与人工智能做设计》这篇文章， mixlab 介绍了 pix2pix 的一些探索应用：

预测影片的下一帧，我们是不是可以把一张图片变成 GIF 图；去除马赛克，随意放大 BMP 图片，再也不担心精度不够了；通过手绘生成名画，比谷歌的 auto draw 先进了点，当然还有各种通过手绘生成的东西，比如猫、袋子、鞋子、人物肖像画；去除图片的背景，类似于抠图，也可以采用 pix2pix 的方法进行；生成配色方案，把配色当成图片，进行图片的生成，产生新的配色方案；从侧脸预测正脸，这样以后只要随便拍一张照片，都可以在三维空间中实时建模出来；

以上是4个智能设计的方向。在 mixlab 的微信群或知识星球都有定期的探讨。设计的从0到1，接下来可以试试强化学习的思路，把设计的规则限定好，在有限的规则中进行设计的从0到1创造。

本文同时在知乎专栏：《人工智能+设计修炼指南》发表。

*