智能设计之NDN：基于约束的布局生成

文末了解《人工智能Mix》

- 论文

Neural Design Network: Graphic Layout Generation with Constraints

该论文也是GNN（图神经网络）在视觉的探索，作者提出基于用户指定约束条件的布局生成方法：神经设计网络（NDN）。NDN由三个模块组成：

上图是关键的技术架构。

- 模块

relation prediction

预测具有完全关系的有向图，来自具有用户指定关系的图。

使用方向图（directional graph）作为表示组件（上图的Design Components）及约束条件（上图Specified Constraints）的特征。

- 模块

bounding box prediction

预测布局，预测表示为矩形的组件（bounding boxes）组成的布局图

- 模块

refinement

微调布局，此步可以加入一些美学规则。

最后，定量和定性实验表明，生成的布局在视觉上与实际设计布局相似。

上图可见：添加约束与无约束的差别

自动布局的效果

另外，补充下作者所使用的数据：

- Magazine数据集

4千张设计图，有6类的组件 (texts, images, headlines, over-image texts, over-image headlines, backgrounds)

- RICO数据集

2万1千张设计图，13类组件 (toolbars, images, texts, icons, buttons, inputs, list items, advertisements, pager indicators, web views, background images, drawers, modals)

- Image banner ads数据集

另外作者通过关键词car ads收集了 5百张banner图，6类组件: images, regions of interest, logos, brand names, texts, and buttons。