广州秒速飞艇彩投注平台有限公司网站logo

We Are Where You Are
服务在您左右

秒速飞艇:原标题:资源 深度学习自动前端

发表于 2018-05-27

  秒速飞艇投注原标题:资源 深度学习自动前端开发:从草图到HTML只需5秒(附代码) 选自InsightDat

  在人们的不断探索下,「使用人工智能自动生成网页」的方法已经变得越来越接近实用化了。本文介绍的这种名为 SketchCode 的卷积神经网络能够把网站图形用户界面的设计草图直接转译成代码行,为前端开发者们分担部分设计流程。目前,该模型在训练后的 BLEU 得分已达 0.76。

  为用户创造直观、富有吸引力的网站是各家公司的重要目标,而且这是个快速进行原型、设计、用户测试循环的过程。像 Facebook 这样的大公司有着让整个团队专注于设计流程的人力,改动可能需要几周的时间,并涉及到多种利益相关者;而小型企业就没有这样的资源,因此其用户界面可能受到一些影响。

  我在 Insight 当中的目标是使用现代深度学习算法大大简化设计工作流程,并使得任何规模的公司都能快速地创造并测试网页。

  开发周期的时间长度很快就会变成瓶颈,像 Airbnb 这样的公司已经开始使用机器学习来提高这个过程的效率了。(参见:)

  虽然这种工具很有希望成为机器辅助设计的例子,但是尚不清楚这种模型在端到端的情况下能完全训练到什么程度,也不清楚它在多大程度上依赖于手工制作的图像特征。这肯定是无法知道的,因为它目前还是 Airbnb 专有的非开源方案。我想创造一个「从绘图到代码」技术的开源版本,可供更多开发者和设计者使用。

  理想情况下,我的模型可以采用简单的网站设计手绘原型,并立即从该图像生成一个可用的 HTML 网站:

  SketchCode 模型需要绘制好的网站线框图并能生成 HTML 代码

  实际上,上面的例子是一个从我模型测试集图像生成的实际网站!你可以在我的 Github 页面中查看它:

  我正在解决的问题属于程序综合()这个广义任务范畴,即工作源代码的自动生成。尽管很多程序综合能处理从自然语言要求或执行轨迹所生成的代码,但在我这个案例中,我可以从一个源图像(手绘线框图)开始,自动获得想要的代码。

  机器学习领域中,有一个名为图像字幕生成的领域(),该领域有着充分的研究,秒速飞艇:原标题:资源 深度学习自动前端开发:从草图到HTML只需5秒(附代码) 选自InsightDat秒速飞艇:旨在学习将图像和文本相连的模型,特别是生成关于源图片内容的描述。

  我从最近一篇名为的论文和 Emil Wallner 使用该方法的一个相关项目获得了灵感(参见:),并决定将我的任务重构成图像字幕生成问题的一部分,即将线框图作为输入图像,将对应的 HTML 代码作为输出文本。

  考虑到图像标注的方法,我心中理想的训练数据集是成千上万对手绘线框图和它们 HTML 代码的等价物。不出所料,我无法找到这种数据集,因此我不得不为该任务创建自己的数据。

  我从 pix2code 论文中提到的一个开源数据集()入。


相关文章