【两分钟论文#161】AI创建用户界面,前端将失业?神器pix2code!

视频内容

亲爱的学者们,这是KárolyZsolnai-Fehér的两分钟论文。

为移动Android和iOS设备创建应用程序是一项艰巨的工作,大多数时间包括创建图形用户界面。

这些是闪亮的前端接口,使用户能够与我们的应用程序的后端进行交互。

那么一个学习如何创建这些图形用户界面并自动化这个过程的一部分的算法呢?

这项工作需要一个单一的输入图像,我们可以通过制作用户界面的屏幕快照来简单获取,并且几乎立即为我们提供了重新创建它所需的代码。

多么惊人的想法!

该算法支持多种不同的目标平台。例如,它可以为iOS和Android设备提供代码。

这个代码我们可以交给编译器,它将创建一个可执行的应用程序。

这种技术还支持html以及创建具有所需用户界面的网站。

在引擎盖下,领域特定的语言正在被学习,并且使用这种语言,可以生成用户界面的简洁文本表示。

请注意,这绝不是领域专用语言的唯一用处。

图形用户界面的图像由经典的卷积神经网络学习,并且该文本表示由长短期记忆这种方法学习。机器学习研究者简称其为LSTM。

这是一个能够学习数据序列的神经网络变体,通常用于语言翻译,音乐作曲,或学习莎士比亚的所有小说,并以其风格写新的小说。

如果你想知道为什么这些例子是如此特定,我们已经有一个关于这个的早期章节,我已经在视频描述中链接到它。

一定要看看那章,你会爱上它。

此外,今年将是它出现的二十周年。

祝你生生不息,繁荣昌盛,LSTM!

现在,我已经看到论坛上的火热讨论了。

总结概括的说,它对世界各地前端开发者的解雇与否影响深远。

我会说,我非常怀疑这项工作是否意味着业界前端发展工作的结束。

不过,我认为,通过一些改进,可以通过取代人力和降低未来实现图形用户界面的成本来快速证明其价值。

这是现代学习算法可以兼顾到各种任务的另一个证明。

作者还有一个GitHub仓库,还有一些说明,项目的源代码和数据集将很快可用。

叮当,真高兴!

感谢您的关注和慷慨支持,下次再见!

《pix2code: Generating Code from a Graphical User Interface Screenshot》论文地址:

https://arxiv.org/abs/1705.07962

Github地址:

https://github.com/tonybeltramelli/pix2code

原文发布于微信公众号 - 星流全栈(MeteorFullStack)

原文发表时间:2017-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

数据仓库术语一览

数据仓库:数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的并且是时间变量。数据仓库是所有操作环境和外部数据源的快照集合。它并不需要非常...

4127
来自专栏新智元

OpenAI 开源集成自驾开发环境 Universe+GTA V,含代码及预训练 AI 代理

由 Craig Quite 的 DeepDrive 项目搭建和维护的、加入了 Grand Theft Auto V 的 Universe(OpenAI 的人工智...

41813
来自专栏AI研习社

如何用TensorFlow快速搭建神经网络?来看看DeepMind新开源工具Sonnet!

去年 DeepMind 作出决定,将全部研究搬到 TensorFlow 框架上进行。 近一年时间过去,回头来看,DeepMind 认为这项选择十分正确——许多模...

3569
来自专栏量子位

Facebook开源问答系统DrQA:基于单一信源回答开放域提问

问耕 编译整理 量子位 出品 | 公众号 QbitAI 今天一大早,Yann LeCun就转发了一条消息:Facebook开源了DrQA的代码。 DrQA是一个...

3697
来自专栏AI科技评论

DeepMind发布Sonnet,帮你用TensorFlow快速搭建神经网络

去年 DeepMind 作出决定,将全部研究搬到 TensorFlow 框架上进行。 近一年时间过去,回头来看,DeepMind 认为这项选择十分正确——许多模...

2856
来自专栏机器人网

【回顾】2017年最受欢迎的十大机器学习Python库

2017 年即将结束,又到了总结的时刻。本文作者把范围限定为机器学习,盘点了 2017 年以来最受欢迎的十大 Python 库;同时在这十个非常流行与强大的 P...

3128
来自专栏编程

10x Python开发者必读:本月Python文章TOP 10

翻译 | AI科技大本营 参与 | 刘畅 编辑 | Donna 【AI科技大本营导语】Medium热门博客Mybridge AI例行评出本月10篇有助于提升你职...

2307
来自专栏人工智能头条

深入了解推荐引擎组件(基于Apache Mahout和Elasticsearch)

1955
来自专栏AI研习社

TensorFlow在工程项目中的应用 视频+文字转录(下)

本周四,雷锋网 AI 研习社邀请了跨国 IT 巨头 Thoughtworks 的资深数据架构师白发川,主讲线上公开课,为大家讲解 TensorFlow 在工程项...

3095
来自专栏AI科技大本营的专栏

资源 | 10x Python开发者必读:本月Python文章TOP 10

翻译 | AI科技大本营 参与 | 刘畅 编辑 | Donna 【AI科技大本营导语】Medium热门博客Mybridge AI例行评出本月10篇有助于提升你职...

36315

扫码关注云+社区

领取腾讯云代金券