当前位置:首页 > 智能硬件 > 人工智能AI
[导读] Facebook的AI,已经可以用比尔盖茨的声音说话 机器语音系统一直有点令人失望:即使是最好的文本语音转换系统也摆脱不了机械的特性,缺乏人类说话时的基本语调变化。斯蒂芬霍金使用的语音系

Facebook的AI,已经可以用比尔盖茨的声音说话

机器语音系统一直有点令人失望:即使是最好的文本语音转换系统也摆脱不了机械的特性,缺乏人类说话时的基本语调变化。斯蒂芬霍金使用的语音系统就是一个很好的例子。

但近年来,机器学习取得了巨大进步,也改善了机器语音系统的一些缺点。

最近,Facebook 人工智能研究中心的 Sean Vasquez 和 Mike Lewis 发现了一种可以克服从文本到语音系统转换限制,完全由机器生成而且音频片段极其逼真的方法。这一系统被称为MelNet,它不仅可以复制人类的语调,而且可以用与真人相同的声音。于是,研究小组开始训练该系统,让它模仿出比尔盖茨等人的说话。这项工作让人类和电脑之间更真实的互动成为可能,不仅如此,它的逼真程度,很可能引发虚假音频内容骗术的新问题。

现实中的文本语音转换系统进展缓慢并非是因为缺乏尝试。许多团队一直在尝试训练深度学习算法,利用大型音频数据库重现真实的语音模式。

Vasquez 和 Lewis 说,这种方法的问题在于使用的数据类型。到目前为止,大多数工作都集中在音频波形记录上。这些音频波形显示了声音的振幅如何随时间而变化,它每秒记录的音频包含数万个时间步长。

这些波形能在许多不同的尺度上显示出特定模式。例如,在几秒钟的讲话中,波形反映了与单词序列相关的特征模式。但是在微秒级的片段中,波形显示了与声音的音高和音色相关的特征。在其他尺度上,波形反映了说话人的语调、音素结构等。

另一种方法是将波形在一个时间步长和下一个时间步长之间的关联性考虑进来。所以,在给定的时间范围内,一个单词开头的声音与后面的声音是有关联的。

深度学习系统理应善于学习这些类型的关联性,并对它们进行复制。但问题出在不同时间尺度的关联性上,深度学习系统只能在有限的时间尺度上研究这些关联性。这是因为深度学习使用了一种叫做反向传播的学习过程,这种学习过程不断地重新连接网络,根据所看到的示例改进其性能。

重复率限制了系统学习关联性的时间尺度。因此,深度学习网络可以学习长时间或短时间内音频波形的关联性,但不能同时兼顾两者。这就是为什么它们在复制语音方面表现如此糟糕的原因。

Vasquez 和 Lewis 则有不同的方法。他们使用声谱图而不是音频波形来训练他们的深度学习网络。声谱图记录了整个音频频谱及其随时间的变化。所以当波形捕捉到随时间变化的一个参数,例如振幅时,光谱图则捕捉到了不同频率范围内的振幅变化。

这意味着音频信息被更密集地打包到了这种类型的数据中。研究者认为:声谱图的时间轴比波形的时间轴紧凑几个数量级,这意味着在波形中跨越数万个时间步长的依赖关系只跨越声谱图中的数百个时间步长。

这使得深度学习系统更容易获得关联性。他们说:“这使得我们的声谱模型能够在数秒内产生一致的无条件语音和音乐样本。”

最后的结果令人印象深刻。通过使用 TED 演讲中的普通语音训练系统,MelNet 能够在几秒钟内复制 TED 演讲者的声音,或多或少地说出一些内容。Facebook 的研究人员利用比尔盖茨的 TED 演讲来训练 MelNet,然后用比尔盖茨的声音说出一系列随机的短语,以此展示了 MelNet 的灵活性。

“We frown when events take a bad turn.”

这是系统说“当事情变得糟糕时,我们会皱眉”的例子。

当然,该方法也有一些限制。普通言语包含了更长时间尺度上的相关性。例如,在几十秒或几分钟的演讲进程中,人们会使用语调的变化来表示主题或情绪的变化。Facebook 的机器系统似乎还无法做到这一点。

因此,尽管 MelNet 可以创造出非常逼真的短语,但团队还不能让机器完成较长的句子、段落或整个故事。这个目标似乎不是很快就能实现。

然而,这项工作可能会对人机交互产生重大影响。人机交互中许多对话只包含简短的短语。电话接线员和服务台尤其可以使用一系列相对简短的短语。因此,这项技术可以用一种比当前系统更接近人类的方式来优化这些交互。

不过,目前 Vasquez 和 Lewis 对潜在的应用前景守口如瓶。

当然,自然发声的机器也存在潜在的问题,尤其是那些能够逼真模仿人类的机器。很容易想象,这种技术可能被用于恶作剧的场景。正因为如此,这是人工智能的又一进步,它提出的伦理问题比它所能回答的问题要更多。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

西门子作为制造业数字化转型成功的代表企业之一,面对生产、服务与业务增长等挑战,积极拥抱AI、自动化等新兴技术,优化企业业务流程,打造企业数字化技术新基座,开拓出更多业务转型思路。

关键字: 自动化 AI 数字化

2024年3月20日,2024中国闪存市场峰会(CFMS2024)在深圳宝安前海·JW万豪酒店盛大举办。本次峰会以“存储周期、激发潜能”为主题,共同探讨在供需关系依然充满挑战的大环境下,未来存储市场的变化,以及如何挖掘产...

关键字: SSD 存储 AI

随着科技日新月异的进步,语音识别技术已成为人工智能领域的一项核心突破。这项技术旨在模拟人类听觉系统,通过复杂算法和模式识别手段将连续或离散的语音信号转换为可理解的文本或指令信息。本文深入探讨了语音识别技术在多个领域的广泛...

关键字: 语音识别 人工智能

随着人工智能和信息技术的飞速发展,语音识别技术已经从实验室走向了现实生活中的各个角落,成为人机交互领域的重要组成部分。语音识别产品不仅丰富了我们的日常生活,也正在深刻地改变着众多行业的工作模式和服务形态。

关键字: 语音识别 人工智能

近日,胡润研究院发布《2024家大业大酒·胡润全球富豪榜》。70岁的钟睒睒财富比去年缩水9%,以4500亿元连续第四次成为中国首富,位于全球第21位,同比下降6位。44岁的黄峥财富比去年增长71%,即1600亿元,是今年...

关键字: 钟睒睒 AI

在当今大数据和人工智能时代,机器学习作为核心的技术驱动力,正以前所未有的速度改变着我们的生活和工作方式。从基础的数据分析到复杂的决策支持系统,机器学习模型的成功构建和应用离不开一套严谨的流程。本文将详尽阐述机器学习过程中...

关键字: 机器学习 人工智能

机器学习作为人工智能领域的核心技术,其应用日益广泛,从搜索引擎优化到医疗诊断,从金融风控到自动驾驶等众多领域均发挥着重要作用。深入理解并掌握机器学习的关键步骤是成功构建高效模型和解决方案的基础。本文将详细阐述机器学习的主...

关键字: 机器学习 人工智能

根据戴尔日前发布的一份文件,该公司在过去一年里裁掉了大约6000名员工,以改善财务状况。

关键字: 戴尔 AI

IDC在日前发布的一份名为《全球AI和GenAI支出指南》报告中指出,2023年生成式人工智能(GenAI)的支出占欧洲AI总支出的9.6%,而在未来三年内这一比例将提升至25%。

关键字: 生成式人工智能 GenAI AI

是德科技(Keysight Technologies, Inc.)现已开启与全新 NVIDIA 6G 研究云平台的合作。该平台包括 NVIDIA Aerial Omniverse 数字孪生,这是一个开放、灵活的网络仿真资...

关键字: 6G 人工智能 RAN
关闭
关闭