Drawbot赋能商家： 智能助手主打上新详情
场景
为了帮助商家更快上新，将时间和资源花在其他更具有创造性和价值的工作上，京东推出Drawbot 京东商详智能助手。今年双 11配备“助手”的商家，单件商品的上新时间从几十分钟缩短为几分钟，产生成倍的效率提升和成本节约。
Drawbot是一款商品详情页自动化排版的产品。基于深度学习和图像识别技术，Drawbot能够理解图片里的各种信息，如人像信息、商品类别、商品颜色等；再依据专业设计师设计的模板，自动将不同商品图片“摆放”到版面的不同位置上；最终根据图像识别结果及版面位置大小进行智能裁剪等处理，从而生成最终商品详情页。
对于服饰类商家常见的季节性大批量上新，更是可以一次性交给Drawbot成百上千张图片，让Drawbot批量化地一次性生成大量详情页，获得上新效率更大幅度的提升。
此外，Drawbot还可以同时服务几十万商家、处理所有商家的详情页制作需求，并且能持续保证自己的工作效率，快速进行图像识别与详情页输出，为每个商家提供始终如一的服务，真正做到赋能商家。
目前，Drawbot的1.0版本已经上线，正在商家免费内测阶段。
- Krisborg，一家快速发展的潮牌男装店，自从使用Drawbot后，详情页制作和商品上新的效率提升数倍。
商家使用Drawbot生成的详情页（部分截图）
原理
使用深度学习中应用比较成熟的R-FCN (Region-basedFully Convolutional Networks)网络配合DCN (DeformableConvolutional Networks) 网络，对图片中的商品及模特进行主体检测。如下图所示，R-FCN通过共享RPN（Region Proposal Network）网络和分类网络的卷积参数能够极大地减少对RoI（Region-of-Interest）进行分类的计算量，在保证准确率的同时，能够明显提升训练和测试阶段的速度。
R-FCN网络结构示意图
由于经典的CNN（Convolutional Neural Networks）网络具有固定的几何结构，对几何形变物体的建模具有局限性，而使用DCN可通过引入deformable convolution 和 deformable RoI pooling两个新模块来很好地解决这一问题。如下图，加入可学习的二维偏移量（offsets）可以改变卷积过程中的固定采样点，这两个模块对可形变的复杂物体的检测具有很好的效果。
DCN的两个新模块
上述网络结构可确保能准确识别并理解图片。对于服饰类商品，能够做到对图片进行以下几个维度的识别和理解。
- 商品分类（上衣、裙子、短裤等）
- 人像主体（模特展示还是挂拍或铺拍，全身还是半身，近景还是远景，模特的姿态、面向、动作等）
- 商品颜色（不同的色系、纹理的展示图等）
- 商品细节（材质展示图、细节展示图等）
在获得这些图片的“语义信息”之后，Drawbot就可以像真人一样，根据模板的定义，将不同商品图片“摆放”到版面的不同位置上，同时根据摆放的效果对图片进行统一的处理，比如智能裁剪、批量修图等。
总结一下，利用上面提到的深度学习所赋予Drawbot的图像识别和图像理解能力，商家只需要做如下工作。
- 选择一个模板
- 打包上传商品图片
- 点击按钮开始生成详情页
在大约1分钟之后，一个由Drawbot自动排版生成的商品详情页就会呈现给用户，并且允许用户做一些微调修改工作。 当遇到11.11或618等大促，几十款上百款新品需要密集发布的时候，Drawbot可以让商家的上新过程变得轻松有趣。
未来
- 更全能的上新助手
仅仅是自动排版还不能完全体现Drawbot的优势。既然Drawbot能够通过图像识别将商品的分类、属性（如色系）甚至是细节展示图的类型都识别出来，那么它完全有可能对商品详情页中出现的图片进行更广维度和更深层次的理解，比如商品图片描述的场景、商品图片描述的风格等。
这些通过对商品图片进行识别和理解产生的信息，可以反馈到商品的上新流程中，这使得Drawbot不仅能够为商家用户节省掉详情页排版的时间，还能够帮助商家用户自动生成在上新过程中需要手工输入的各种信息，比如商品标题、商品分类、商品属性和标签等。
- 参与设计
Drawbot还在不断更新升级，以赋予自身更多的能力。除了继续提升识图认图的能力之外，也在致力于承担更加高级的工作——参与设计。
在京东海量商品详情页中存在大量以图文混排方式呈现的图像。为图片选择恰当的文案、将文案的文字美观地嵌入图片这些工作，目前是由文案编辑和设计人员来完成的。虽然人工智能技术尚无法完全取代这些需要将创意和经验完美结合的工作，但足以成为这些人员强大的“智能助理”。
从本质上看，深度学习与大数据结合最大的优势就是能够从海量信息中自动提取特征。Drawbot的图像识别实则是一种可计算的图像特征提取能力，将它与设计学中的审美原则相结合，赋予Drawbot对图文混排进行自动设计的能力，最大化提升商家的上新效率与转化率，是Drawbot一直坚持发展的方向。
本文仅窥豹一斑，更多电商双11黑科技，请点击文末 阅读原文 直达藏经阁——《京东基础架构建设之路》。