当前位置:首页 > 智能硬件 > 智能硬件
[导读]而AI在翻译语音的时候,不把西语的音频转成文本,也不生成任何英语的文本,直接产出了英文音频。和标答一字不差。

在我们的世界里,谷歌翻译是这样的:

一直被调戏的翻译娘

在谷歌的世界里,谷歌翻译是这样的:

西语英语:你不问,就不会知道了

请注意,视频里的文字只是为了便于观赏,才存在的。

而AI在翻译语音的时候,不把西语的音频转成文本,也不生成任何英语的文本,直接产出了英文音频。和标答一字不差。

这是谷歌团队的最新成果,想法大胆而有效。

 

 

仿佛在双语环境里出生的小朋友,还没识字,就能把爸爸说的话翻译给妈妈。

怎么会不用看文本?

这个翻译模型,名字叫做S2ST(全称Speech-to-Speech Translation) 。

不看文本只靠听,背后的原理是把一种语音的声谱图(Spectrogram) ,映射到另一种语音的声谱图上。

那么,声谱图什么样?

下图就是 (西语) “你好么,嘿,我是威廉,你怎么样啊?”的声谱图。

横轴是时间,纵轴是Mel频率

然后是目标,英文的声谱图。

AI只要从大量的成对数据里,学懂英文和西语的声谱映射关系,就算不识别人类说的是什么字,依然能当上翻译员。

当然,一个完整的翻译模型,并没有上面说的这么简单,它由三个部分组成:

一是基于注意力的序列到序列 (seq2seq) 神经网络。就是下图的蓝色部分,它负责生成目标声谱图,这只是第一步,还不是音频;

二是一个声码器(Vocoder) 。下图的红色部分,它会把声谱图转换成时域波形 (Time-Domain Waveforms) ,这已经是带有时间顺序的正经声波了;

三是个可选的附加功能,原本说话人的编码器。绿色部分,经过它的加工,翻译出的英文,和原本的西语,听上去就像同一个人发出来的。

 

 

当然,蓝色部分还是主角。

里面的编码器 (左) ,是8层双向LSTM堆起来的;而解码器 (Spectrogram Decoder) ,团队说要选4-6层LSTM的,深一点效果比较好。

成功了

模型是用人类自发的对话 (比如打电话的语音) 端到端训练出来的,一起来看看成果吧。

第一题,短语。“克兰菲尔德大学的新员工”,翻译和标答一字不差。

原文:nuevos empleados de Cranfield University

标答:New hires at Cranfield University

第二题,句子。“看看这个国家上下,你看到了什么”,依然和标答一致。

原文:Por lo tanto, mirar alrededor del país y lo que ves.

标答:So, look around the country and whatdoyou see?

对手表现怎样?借助转换文本来翻译的AI,缺了个“do”字:

 

 

第三题,带从句的句子。“我的表 (堂) 兄弟姐妹们小的时候,我照顾过他们也教过他们,有过一些这样的经历。”

原文:Tengo cierta experiencia en cuidar y ense?ar a mis primos cuando eran jóvenes.

标答:I’ve got some experience in looking after and teaching my cousins when they were young.

照顾(TakingCare of) 有缺失,其他部分对比标答是完整的。

再看对手,“照顾 (Care) ”和“教 (Teach) ”都用了动词原形,语法不是很严格:

 

 

肉眼看过之后,再让S2ST和先转换文本再翻译的AI对比一下BLEU分。

在“Conversational”大数据集上,S2ST的BLEU分比对手差了6分:42.7比48.7。

 

 

的确还有一些差距,但毕竟对手依靠了文本,算是开卷考了。

这样说来,直接跳过文本的想法,虽然听起来有些飘,但结果证明是可行的。

所以,谷歌团队说,大有可为啊。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

语音识别相信大家并不陌生,近些年来语音识别技术的应用层出不穷,同时也更加智能。

关键字: 语音识别 语音 AI

3月29日消息,根据国外媒体报道,2024年2月,韩国半导体产业迎来了显著的增长,其产量增幅达到了14年来的最高水平,同比增长65.3%。

关键字: AI ChatGPT 人工智能

随着人工智能(AI)模型变得越来越复杂,数据量不断攀升,数据中心正在通过改变系统架构,来实现更快、更高效的处理。

关键字: AI 连接器

近日举办的GTC大会把人工智能/机器学习(AI/ML)领域中的算力比拼又带到了一个新的高度,这不只是说明了通用图形处理器(GPGPU)时代的来临,而是包括GPU、FPGA和NPU等一众数据处理加速器时代的来临,就像GPU...

关键字: FPGA AI 图形处理器

西门子作为制造业数字化转型成功的代表企业之一,面对生产、服务与业务增长等挑战,积极拥抱AI、自动化等新兴技术,优化企业业务流程,打造企业数字化技术新基座,开拓出更多业务转型思路。

关键字: 自动化 AI 数字化

2024年3月20日,2024中国闪存市场峰会(CFMS2024)在深圳宝安前海·JW万豪酒店盛大举办。本次峰会以“存储周期、激发潜能”为主题,共同探讨在供需关系依然充满挑战的大环境下,未来存储市场的变化,以及如何挖掘产...

关键字: SSD 存储 AI

近日,胡润研究院发布《2024家大业大酒·胡润全球富豪榜》。70岁的钟睒睒财富比去年缩水9%,以4500亿元连续第四次成为中国首富,位于全球第21位,同比下降6位。44岁的黄峥财富比去年增长71%,即1600亿元,是今年...

关键字: 钟睒睒 AI

根据戴尔日前发布的一份文件,该公司在过去一年里裁掉了大约6000名员工,以改善财务状况。

关键字: 戴尔 AI

IDC在日前发布的一份名为《全球AI和GenAI支出指南》报告中指出,2023年生成式人工智能(GenAI)的支出占欧洲AI总支出的9.6%,而在未来三年内这一比例将提升至25%。

关键字: 生成式人工智能 GenAI AI
关闭
关闭