室内设计风格搜索引擎DeepStyle

hi，大家好~我是shadow，一枚设计师/全栈工程师/算法研究员，目前主要研究方向是人工智能写作和人工智能设计，当然偶尔也会跨界到人工智能艺术及其他各种AI产品。这是我发在《人工智能Mix》的一篇论文阅读笔记。

（ 文末了解《人工智能Mix》 ）

- 作者写了2篇类似的论文

1 What Looks Good with my Sofa: Multimodal Search Engine for Interior Design

2 DeepStyle: Multimodal Search Engine for Fashion and Interior Design

该文提出了一种视觉+文字查询的室内设计多模搜索引擎。

- 技术架构

引擎的目标是检索与查询具有视觉和美学相似性的室内物品，例如家具或挂钟。该搜索引擎用户可以上传拍摄的房间照片进行查询，检索与照片中存在的或视觉相似的项目列表。

上图是整体的技术架构，主要依赖以下3项技术：

- YOLO 9000 提取视觉特征

- word2vec Continuous Bag-of-Words （CBOW）及 LSTM 提取文本特征

- 数据集

由于这方面没有公开的数据集，于是作者爬取了IKEA的 298 张卧室照片和描述， 以及2193 张产品照片和描述。

此外，它还可以推荐在美学和风格上适合搭配的其他物品。

- 结论

论文作者提出，由于采用了这种混合策略，检索到的物品的风格相似性得分提高了11％。

结果：