初创公司UIzard Technologies开发神经网络可将GUI截图转换成代码行

新知榜官方账号

2023-10-03 18:02:28

初创公司UIzard Technologies开发神经网络可将GUI截图转换成代码行

UIzard Technologies是一家初创公司，训练了一个神经网络能将图形用户界面的截图转译成代码行，成功为开发者们分担了部分网站设计流程。令人惊叹的是，同一个模型能跨平台工作，包括iOS、Android和Web界面，从目前的研发水平来看，该算法的准确率达到了77%。该公司发表的一篇研究论文，解释了这个叫做Pix2Code的模型是如何工作的。

跟所有机器学习一样，研究者们需要用手头的任务实例去训练模型。但与其他任务不同的是，它需要做的不是从图片中生成图片，也不是把文本转换成文本，这个算法要做到输入图片后生成对应的文本（在这里就是代码）输出。为了实现这一点，研究者们需要分三个步骤来训练，首先，通过计算机视觉来理解GUI图像和里面的元素（按钮、条框等）。接下来模型需要理解计算机代码，并且能生成在句法上和语义上都正确的样本。最后的挑战是把之前的两步联系起来，需要它用推测场景来生成描述文本。

在另一方面，它也能让复制其他网站的代码变得更容易，这是一个已经让困扰了很多开发者的问题。虽然像在Github这样的网站上，程序员之间已经流行起了协作共享的精神，但有些开发者—尤其是那些为需要原始网站的客户开发网站的—他们并不想让其他人剽窃自己的代码。

在实际工作中，Pix2Cod肯定能为开发者节省时间，他们就能把设计好界面的JPEG图像输入Pix2Code，生成可运行的代码，并且还能进一步调整和优化。而那些只有基本代码知识的UI或平面设计师，有了它的帮助就能自己构建起整个网站了。UIzard Technologies还在继续优化改模型，用更多的数据训练它以提升准确度。公司创始人兼CEOTonyBeltramelli最近完成了他在哥本哈根信息技术大学（ITUniversityofCopenhagen）和苏黎世联邦理工学院（ETHZurich）的机器学习毕业项目，也有将Pix2Code贡献給学校的考虑。

我们的模型能够从单一输入图像中生成针对三种不同平台（即iOS、Android和基于Web的技术）的代码，其准确率超过77％。本文的第一个贡献是pix2code，一个基于卷积和循环神经网络的新方法，它能够由单个GUI屏幕截图生成计算机代码。本文的第二个贡献是发布来自三个不同平台的GUI屏幕截图和相关源代码组成的合成数据集。在本文发表后，此数据集将开源免费使用，以促进今后的研究。

本页网址：https://www.xinzhibang.net/article_detail-15197.html

寻求报道，请

关键词

UIzard Technologies Pix2Code 神经网络 GUI截图代码行

分享至微信：

相关工具

CodeSnippets

AI代码生成、补全、分析、重构和调试

CodeArts Snap

华为云推出的智能编程助手

Sketch2Code

微软AI Lab推出的将手绘草图转换成HTML代码工具

AskCodi

你的个人AI编程助手

AirOps

AI SQL语句生成和修改

CodeWhisperer

亚马逊最新发布的免费AI编程助手

低代码和无代码开发平台的区别

低代码和无代码是什么低代码是一种通过图形界面和预构建块进行应用程序开发的方法，而无代码则是允许非技术人员通过使用可视化界面和预构建的块来创建应用程序。这些平台都是为了加快应用程序开发速度，减少手动编码的工作量。低代码和无代码的区别最显著的特点是对于编码能力的要求：低代码开发需要开发人员具有一定的代码

分类标签低代码无代码应用程序开发

12-05 16:14

Mojo：比Python快68000倍的AI编程语言

背景Mojo是一门面向AI领域的新型编程语言，号称比Python快68000倍，它的标准文件后缀可以是.mojo或者.，你没看错，就是一个emoji。Mojo的目标是兼顾Python的易用性和Rust、C++的性能，它需要具有强大的编译时元编程能力、集成自适应编译技术、在整个编译流程中具有缓存等特性

分类标签 Mojo编程语言AIPython加速

11-28 16:21

GPTs上线6天都发生了什么

事件1：11月，openai发布GPTs。用户只需要通过GPTBuilder以对话的方式，向ChatGPT发出自然语言指令，全程无需编写代码，即能构建小游戏、法律、写作、营销等特定领域的GPT小程序。据第三方网站gptstore.ai统计，自GPTs功能发布后，用户创建的GPTs数量呈爆发式增长，截

分类标签 GPTsAI低代码平台

11-22 22:31

AI编程与代码的未来发展趋势

引言随着NLP和机器学习的进步，AI编程和代码的未来发展趋势将会出现以下几个方面的变化。自动化代码生成通过NLP和机器学习的进步,AI系统将能够根据需求自动生成代码框架、模块甚至整体解决方案。这将极大提升编程效率。代码审查和错误检测AI可以通过学习大量代码库检测出潜在问题,辅助开发者编写更安全高质量

分类标签 AI编程代码

11-01 02:31

AI编程助手：程序员必备工具

AI编程助手：程序员必备工具2023年的一波程序员失业潮，不得不说和AI编程助手的兴起有很大关系。曾经我们一直告诉孩子们如果不努力学习，将会被机器人取代。然而，现实中程序员也成为了最快被淘汰的职业之一。AI编程助手工具可以帮助开发者更快速、更高效地编写代码。它可以根据你的注释、文档和变量名称等信息，

分类标签 AI编程助手程序员失业潮GitHubCopilotiFlyCode百度Comate通义灵码

11-01 02:30

无代码资讯：最新动态汇总

DigitalLift使用无代码/低代码工具快速构建支持乌克兰难民的系统乌克兰战争开始后不久，无代码/低代码工作管理平台提供商monday.com的应急响应小组DigitalLift进入波兰边境的难民营，以帮助解决其巨大的后勤问题。他们通过数字登记系统来跟踪流离失所者进出营地时的情况。明确难民数量、

分类标签无代码低代码数字化应用程序开发平台融资

11-01 02:24

OpenAI Codex正式开放封闭Beta测试：用自然语言编写Javascript游戏

OpenAI Codex正式开放封闭Beta测试：用自然语言编写Javascript游戏外国非盈利人工智能研发组织OpenAI旗下编程产品Codex已经正式开放封闭Beta测试。这款工具旨在将自然语言（英语、中文等）翻译为编程语言。OpenAICodexbeta测试目前只能通过在线等待列表参与。它是

分类标签 OpenAICodexBeta测试自然语言编程语言Javascript游戏

10-23 22:20

低代码AI工具，让编程更简单

低代码AI工具的优势低代码AI工具是一种革命性的编程工具，它让那些没有编程经验的人也能轻松创建自己的应用程序。它的工作原理是，用户只需输入简单的指令，AI就会自动生成相应的代码。这意味着，用户无需具备深入的编程知识，就能快速创建出功能强大的应用程序。低代码AI工具不仅降低了编程的门槛，而且大大提高了

分类标签低代码AI工具编程工具应用程序

10-23 22:18

市面上哪些AI智能文章生成器值得推荐？

市面上哪些AI智能文章生成器值得推荐？在科技日新月异的今天，人工智能助手已经渗透到了各行各业。其中，AI智能文章生成器尤为引人注目，它能帮助用户快速生成高质量的文章，节省大量时间和精力。那么，市面上有哪些AI智能文章生成器呢？又有哪些免费好用的AI写作软件值得推荐呢？让我们一起来了解一下。微撰首先，

分类标签 AI智能文章生成器免费AI写作软件微撰

10-18 16:28

法国AI/3D动画平台Kinetix完成1100万美元种子轮融资

背景2022年5月6日，据VentureBeat报道，法国AI/3D动画平台Kinetix完成了由TopHarvestCapital创始人、谷歌前高管AdamGhobarah领投的1100万美元种子轮融资。平台简介Kinetix成立于2020年，构建了一个支持Web3和内容创作者将任意视频转换为3D

分类标签 KinetixAI3D动画

10-17 16:34

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway