专栏首页arxiv.org翻译专栏学习从图像推断用户界面属性(cs CV)
原创

学习从图像推断用户界面属性(cs CV)

我们探索了一个学习推断用户界面属性的新领域,这将有助于开发人员自动执行用户界面实现过程。更具体来说,给定一个设计师创建的输入图像,我们学习推断它的实现,当渲染时,在视觉上看起来与输入图像相同。为了实现这一点,我们使用一个黑盒渲染引擎和它支持的一组属性(例如,颜色、边框半径、阴影或文本属性),使用它来生成一个合适的合成训练数据集,然后训练专门的神经模型来预测每个属性值。为了提高像素级精度,我们还使用模仿学习训练神经策略,通过学习计算原始图像和渲染图像在属性空间中的相似度来细化预测的属性值,而不是基于像素值的差异。我们实例化了我们的方法来推断Android按钮属性值,并在一个由真实的谷歌播放商店应用程序组成的数据集上实现了92.5%的准确性。

原文标题:Learning to Infer User Interface Attributes from Images

原文:We explore a new domain of learning to infer user interface attributes that helps developers automate the process of user interface implementation. Concretely, given an input image created by a designer, we learn to infer its implementation which when rendered, looks visually the same as the input image. To achieve this, we take a black box rendering engine and a set of attributes it supports (e.g., colors, border radius, shadow or text properties), use it to generate a suitable synthetic training dataset, and then train specialized neural models to predict each of the attribute values. To improve pixel-level accuracy, we additionally use imitation learning to train a neural policy that refines the predicted attribute values by learning to compute the similarity of the original and rendered images in their attribute space, rather than based on the difference of pixel values. We instantiate our approach to the task of inferring Android Button attribute values and achieve 92.5% accuracy on a dataset consisting of real-world Google Play Store applications.

原文作者:Philippe Schlattner,Pavol Bielik,Martin Vechev

原文地址:https://arxiv.org/abs/1912.13243

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CONSAC:基于条件样本一致性的鲁棒多模型拟合(CS CV)

    本文提出了一种基于噪声测量的多参数模型的鲁棒估计方法。应用包括在人造场景中寻找多个消失点,将平面拟合到建筑图像中,或在同一序列中估计多个刚性运动。与以往的多模型...

    DANDAN用户6837186
  • 用“可能-必须”规模扩展基于标签的论证语义(cs AI)

    语义作为这组参数在给定论证图形特征可能是可接受的(可接受性语义)可以用几种不同的方式来表征。其中,基于标签的方法允许通过分配指示每个参数接受,拒绝或不确定的标签...

    DANDAN用户6837186
  • 徒手素描的深度学习:一项调查(cs sv)

    徒手写生具有高度的象形性和说明性,自古至今一直被人们广泛地用于描绘物体或故事。最近流行的触摸屏设备使素描创作比以往任何时候都要容易得多,从而使面向素描的应用程序...

    DANDAN用户6837186
  • 比尔·盖茨的2014年终总结(中英对照版)

    大数据文摘
  • 序列模型第一周作业2: Character level language model - Dinosaurus land

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/...

    Steve Wang
  • 语义分割--Loss Max-Pooling for Semantic Image Segmentation

    Loss Max-Pooling for Semantic Image Segmentation CVPR2017 https://arxiv.org/...

    用户1148525
  • 强盗反馈下的机构设计(cs.GT)

    我们研究了多轮福利最大化机制设计问题,其中,在每一轮,一个机制分配一个分配给一组代理,并收取他们的价格。然后,代理报告他们实现的(随机)值给机制。这是由云市场和...

    Donuts_choco
  • Will Multi-Cloud Become The Ultimate Business Strategy In 2020?

    If we are to sort the cool kids in the business tech world right now, Cloud comp...

    用户7478942
  • 分发战略对分布式账本安全的影响(CS DC)

    本文对基于分布式账本技术的安全攻击进行了仿真研究。我们特别关注这些系统的底层对等层的攻击,该层负责传播包含将在所有参与者之间传播的数据和事务的消息。特别地,我们...

    邱邱邱
  • 【论文推荐】最新六篇情感分析相关论文—深度上下文、支持向量机、两级LSTM、多模态情感分析、软件工程、代码混合

    【导读】专知内容组整理了最近六篇情感分析(Sentiment Analysis)相关文章,为大家进行介绍,欢迎查看! 1. Deep contextualize...

    WZEARW

扫码关注云+社区

领取腾讯云代金券