当前位置:首页 > 芯闻号 > 充电吧
[导读]从旧式编程语言(例如COBOL)到现代语言(例如Java或C ++)的代码库迁移是一项艰巨的任务,需要源语言和目标语言方面的专业知识。 例如,COBOL至今仍在全球大型机系统中广泛使用,因此公司,政府

从旧式编程语言(例如COBOL)到现代语言(例如Java或C ++)的代码库迁移是一项艰巨的任务,需要源语言和目标语言方面的专业知识。

例如,COBOL至今仍在全球大型机系统中广泛使用,因此公司,政府和其他组织通常必须选择,是手动翻译其代码库,还是致力于维护使用可追溯到1950年代的语言编写的代码。

Facebook AI开发了Transcoder,可以使代码迁移变得更加轻松和高效。Facebook AI的方法能够将代码从一种编程语言转换为另一种编程语言,而无需数据进行训练的AI系统。

Facebook AI已经证明TransCoder可以成功地在C ++,Java和Python之间完成语言转换。TransCoder的性能优于开放源代码的且基于商业规则的翻译程序。在Facebook AI的评估中,该模型正确地将90%以上的Java函数转换为C ++,将74.8%的C ++函数转换为Java,并将68.7%的函数从Java转换为Python。

相比之下,市售工具只能正确地将61.0%的功能从C ++转换为Java,而开源翻译器仅准确地转换了38.3%的Java函数转换为C ++。

自我监督的培训对于在编程语言转换中特别重要。传统的监督学习方法依赖于大规模并行数据集的训练,但是对于从COBOL到C ++或从C ++到Python来说,并不适用。

TransCoder完全依赖仅用一种编程语言编写的源代码。它不需要编程语言方面的专业知识,并且很容易推广到其他编程语言。

TransCoder对于将遗留代码库更新为现代编程语言很有用,现代编程语言通常更高效且易于维护。它还显示了如何将神经机器翻译技术应用于新领域。

seq2seq模型发挥了大作用

在自然语言中,即使在越来越依赖自动化机器翻译系统的专业翻译人员中,神经机器翻译的最新进展也被广泛接受。但是,由于该领域中并行数据的稀缺性,它们在代码转换中的应用受到了限制。程序员仍然依赖基于规则的代码转换器,这需要专家审查和调试输出,或者他们只是手动翻译代码。TransCoder通过利用无监督机器翻译到编程语言方面的最新进展来克服这些挑战。

Facebook AI特别注意构建了一个seq2seq模型,该模型由具有变压器架构的编码器和解码器组成。TransCoder使用单个共享模型,部分基于Facebook AI在XLM上的先前工作,适用于所有编程语言。Facebook AI按照无监督机器翻译的三个原则:初始化,语言建模和反向翻译。

此图显示了TransCoder如何利用无监督机器翻译的三个原理

Facebook AI首先利用开源GitHub项目中的源代码,使用MLM目标对Facebook AI的模型进行了预训练。就像在自然语言处理的上下文中一样,这种预训练会创建跨语言的嵌入:在相似上下文中使用的来自不同编程语言的关键字在嵌入空间中非常接近(例如catch和except)。

这些嵌入的跨语言性质来自存在于多种语言中的大量通用令牌。令牌的示例包括C ++,Java和Python通用的关键字(例如,for,while,if,try),以及源代码中出现的数学运算符,数字和英文字符串。

使用MLM进行预训练使TransCoder可以生成输入序列的高质量表示。然而,解码器缺乏翻译能力,因为从未训练过解码器,基于源表示对序列进行解码。为了解决此问题,Facebook AI训练了该模型以使用降噪自动编码(DAE)目标对序列进行编码和解码。

DAE的工作方式类似于监督机器翻译算法,其中训练模型以在给定序列的损坏版本的情况下预测令牌序列。在测试时,该模型可以对Python序列进行编码,并使用C ++起始符号对其进行解码以生成C ++转换。

视频显示了具有相似功能的关键字如何组合在一起。

仅跨语言模型预训练和自动降噪就足以生成翻译。但是,这些翻译的质量往往很低,因为从未训练过该模型以使其在测试时可以完成预期的工作,即将功能从一种语言翻译为另一种语言。

为了解决此问题,Facebook AI使用反向翻译,这是在弱监督的情况下利用单语数据的最有效方法之一。对于每种目标语言,Facebook AI使用一个模型和一个不同的开始标记。它经过训练可以从源到目标以及从目标到源并行转换。

然后可以以弱监督的方式训练模型,以从嘈杂的源序列中重建目标序列,并学习从源到目标的转换。并行训练目标到源版本和源到目标版本,直到收敛为止。

为了评估他们的模型,以前的大多数源代码翻译研究都依赖于自然语言中使用的度量标准,例如BLEU分数或其他基于标记之间相对重叠的方法。但是,这些类型的指标不太适合编程语言。语法差异小的两个程序在执行代码时可能会获得很高的BLEU分数,同时仍然产生非常不同的结果。相反,具有不同实现方式的语义等效程序,将具有较低的BLEU分数。

另一种度量标准是参考匹配,或与实地参考完全匹配的翻译百分比,但这通常会低估翻译质量,因为它无法识别语义上等效的代码。

为了更好地衡量TransCoder和其他代码转换技术的性能,Facebook AI创建了一个称为计算精度的新指标,该指标评估假设函数在给定相同输入时是否生成与参考相同的输出。Facebook AI还将发布测试集以及用于计算该指标的脚本和单元测试。

下面的示例显示了TransCoder如何将示例代码从Python转换为C ++。Facebook AI使用以下代码作为模型输入:

TransCoder成功将Python输入函数SumOfKsubArray转换为C ++。它还可以推断参数的类型,返回类型和函数的参数。该模型将Python dequeue()容器附加到C ++实现dequeue <>。这是C ++中模型的输出:

编程语言转换让实际应用受益

自动代码翻译有可能使程序员在公司或开源项目中工作的程序员更加高效,因为他们可以更轻松地集成公司内其他团队或其他开源项目的各种代码。它还可以大大减少更新用古老语言编写的旧代码库的工作量和开销。

反编译的进步可能会促使公司和其他机构更新到最新的语言并促进未来的创新,这可能让使用服务的人们以及机构本身受益。编程语言机器翻译的进步也可以帮助那些没有时间或负担不起学习多种语言编程的人。

更广泛地说,人工智能有潜力帮助其他编程任务。例如,Facebook AI以前共享了神经代码搜索的工具,这些工具可学习自动为编码错误提供建议修复。虽然TransCoder并非旨在帮助调试或提高代码质量,但它有潜力帮助工程师迁移旧代码库或使用以其他语言编写的外部代码。

为了促进有关使用深度学习进行代码翻译的未来研究,Facebook AI还发布了一个测试集,该测试集使其他研究人员可以使用计算精度而不是语义盲模型来评估代码翻译模型。

Facebook AI期待看到其他人在和TransCoder的合作基础上继续前进,并为新的翻译任务推进自我监督学习。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

随着人工智能(AI)模型变得越来越复杂,数据量不断攀升,数据中心正在通过改变系统架构,来实现更快、更高效的处理。

关键字: AI 连接器

近日举办的GTC大会把人工智能/机器学习(AI/ML)领域中的算力比拼又带到了一个新的高度,这不只是说明了通用图形处理器(GPGPU)时代的来临,而是包括GPU、FPGA和NPU等一众数据处理加速器时代的来临,就像GPU...

关键字: FPGA AI 图形处理器

西门子作为制造业数字化转型成功的代表企业之一,面对生产、服务与业务增长等挑战,积极拥抱AI、自动化等新兴技术,优化企业业务流程,打造企业数字化技术新基座,开拓出更多业务转型思路。

关键字: 自动化 AI 数字化

2024年3月20日,2024中国闪存市场峰会(CFMS2024)在深圳宝安前海·JW万豪酒店盛大举办。本次峰会以“存储周期、激发潜能”为主题,共同探讨在供需关系依然充满挑战的大环境下,未来存储市场的变化,以及如何挖掘产...

关键字: SSD 存储 AI

随着科技日新月异的进步,语音识别技术已成为人工智能领域的一项核心突破。这项技术旨在模拟人类听觉系统,通过复杂算法和模式识别手段将连续或离散的语音信号转换为可理解的文本或指令信息。本文深入探讨了语音识别技术在多个领域的广泛...

关键字: 语音识别 人工智能

随着人工智能和信息技术的飞速发展,语音识别技术已经从实验室走向了现实生活中的各个角落,成为人机交互领域的重要组成部分。语音识别产品不仅丰富了我们的日常生活,也正在深刻地改变着众多行业的工作模式和服务形态。

关键字: 语音识别 人工智能

近日,胡润研究院发布《2024家大业大酒·胡润全球富豪榜》。70岁的钟睒睒财富比去年缩水9%,以4500亿元连续第四次成为中国首富,位于全球第21位,同比下降6位。44岁的黄峥财富比去年增长71%,即1600亿元,是今年...

关键字: 钟睒睒 AI

在当今大数据和人工智能时代,机器学习作为核心的技术驱动力,正以前所未有的速度改变着我们的生活和工作方式。从基础的数据分析到复杂的决策支持系统,机器学习模型的成功构建和应用离不开一套严谨的流程。本文将详尽阐述机器学习过程中...

关键字: 机器学习 人工智能

机器学习作为人工智能领域的核心技术,其应用日益广泛,从搜索引擎优化到医疗诊断,从金融风控到自动驾驶等众多领域均发挥着重要作用。深入理解并掌握机器学习的关键步骤是成功构建高效模型和解决方案的基础。本文将详细阐述机器学习的主...

关键字: 机器学习 人工智能
关闭
关闭