当前位置:首页 > 公众号精选 > 了不起的程序员
[导读]今天给大家分享一个国产的,文字和语音互转的开源工具:PaddleSpeech。

哈喽,大家好,我是月亮。一个工作n年的老程序员啦,平时喜欢研究各种有意思的小工具,每周定时分享给大家~

今天给大家分享一个国产的,文字和语音互转的开源工具:PaddleSpeech

说起文字转语音,应用场景还是非常多的,月亮以前工作时就遇到过处理文字转语音的情况,当时需要给一篇简短的稿子进行配音工作。

一般的公司都是没有专门的配音人员的,所以当时这项需求可是让产品经理小小的头疼了一下。

后来调研了某度和某大讯飞,在试听了这几个平台文字转语音的效果后,成功制作出了一段还不错的音频。

要是当时研究过一些音频技术,可能处理起来就会更容易啦。

工具安装

截止本文写作的时间,PaddleSpeech在Github上收获了4.6K Star,可以说是很优秀的工具包啦~

TA可以实现文字转语音、语音转文字、语音翻译等功能,功能支撑还是挺齐全的。

首先,安装PaddleSpeech。

由于PaddleSpeech是依赖于paddlepaddle的,所以先安装paddlepaddle。

本文演示使用的是Windows操作系统,如果你是其他操作系统,请参考paddlepaddle官网进行安装。

python -m pip install paddlepaddle==2.3.1 -i https://mirror.baidu.com/pypi/simple

接着,安装PaddleSpeech,命令如下。

pip install pytest-runner
pip install paddlespeech

接着开始等待... ...

此处切换为国内下载源,就会特别快。

注:安装请使用python3.7,步骤、环境严格按照官网要求来执行,否则出错很难处理。

30秒入门体验

文字转语音

首先来体验一下最基础的文字转语音,这样咱们就可以得到一份语音文件,语音可以用于后续的其他功能的测试。

直接在python代码中,输入想要转换的文字即可,代码如下。

使用的文字为:我爱吃西红柿。

from paddlespeech.cli.tts.infer import TTSExecutor
out = TTSExecutor()
out(text="我爱吃西红柿。", output="tomato.wav")

生成了一份名为 tomato.wav 的语音文件,我试听了一下,虽然有一些明显的AI合成声音的味道,但是总体效果还是不错的。

音频贴在下面,大家可以试听一下。

语音转文字

为了保证转换正确,我这里直接使用上面生成的语音。

如果自己录一段语音的话,肯定会有些杂音,不知道会不会影响转换效果,用工具生成的语音肯定没有问题。

转换代码如下。

from paddlespeech.cli.asr.infer import ASRExecutor
asr = ASRExecutor()
result = asr(audio_file="tomato.wav")
print(result)

这里是转换结果。

结果转换非常正确,识别无误。

如果大家想要测试更有难度的场景,可以自己录制语音进行尝试,比如说录音里加一些窗外的鸣笛的嘀嘀声,风扇的呼呼声...

自动添加标点符号

除开语音和文字转换的处理,PaddleSpeech还可以对单独的文字进行处理。

比如下面这段缺少标点的文字,TA能自动给识别出来应该断句的位置,并且给加上合适的标点。

要我说呀那西红柿有啥好吃的还是黑椒牛排好吃

代码如下。

from paddlespeech.cli.text.infer import TextExecutor
text_punc = TextExecutor()
result = text_punc(text="要我说呀那西红柿有啥好吃的还是黑椒牛排好吃")

不知何故,在python代码中执行,没有给到正确的运行结果,所以我尝试了一下用命令行的方式。

paddlespeech text --task punc --input "要我说呀那西红柿有啥好吃的还是黑椒牛排好吃" 

运行结果如下。

# 添加标点的结果 要我说:呀,那西红柿有啥好吃的?还是黑椒牛排好吃。

稍微有一点点不正确,感觉上,xx说,这个xx直接被当作某人在说话了。

这里我换了两个例子,重新试了一下。

校长说胸前除了校徽别别别的

校长说今天中午作业没交的全部留下

paddlespeech text --task punc --input "校长说胸前除了校徽别别别的" paddlespeech text --task punc --input "校长说今天中午作业没交的全部留下" # 测试结果 校长说:胸前除了校徽,别,别,别的。
校长说:今天中午,作业没交的,全部留下。

测试结果不是特别精准,但是一些基本的、没有歧义的句子,工具还是能自动识别出来的。

自动翻译

PaddleSpeech另一个强悍的功能,在于TA可以直接将语音进行翻译。

下面用I like eating tomatoes来演示。

翻译成中文,应该是:我喜欢吃西红柿。

示例中我用两段音频测试,但是没有翻译成功。

根据官方描述,语音翻译功能当前只能使用Ubuntn系统体验。

而我的服务器安装的是centos系统,这个功能就不演示了,同时官方也推荐大家使用Linux操作系统来使用本项目。

如果感兴趣,大家可以自行尝试PaddleSpeech更多功能。

重要提醒

在这里还是要提醒大家,一定按照官网要求的版本来进行环境安装,本文中的示例,我用了整整一天才把环境问题搞定。

可以说是非常麻烦了,安装到一半的时候,我就有预感要出问题,最后果然环境问题一个接着一个出现。

一般像这类耗时比较多的技术文,我都会周末一口气写完,这次直接消耗掉了半个周末。


本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

业内消息,昨天问界(AITO)汽车发布题为《关于山西省侯平高速路段交通事故中问界新 M7 Plus 相关技术问题的说明》的长微博。博文表示 AITO 汽车自 4 月 26 日山西省侯平高速路段事故发生后一直配合交警部门开...

关键字: 问界 AITO 华为

近日,字节跳动发布《企业纪律与职业道德委员会通报(2024年2号)》,因涉嫌构成刑事犯罪、违反廉洁诚信制度、违反利益冲突制度、违反信息安全制度四项原因辞退员工61人。近年来,多家互联网公司密集进行内部反腐整顿,包括腾讯、...

关键字: 互联网 字节跳动 辞退 腾讯 百度

业内消息,4月28日特斯拉CEO马斯克闪电访华,次日马斯克在与宁德时代董事长曾毓群会面后已经离开北京。马斯克不到24小时的访问行程硕果累累,最重大的突破是特斯拉在智能驾驶合规性方面获得“放行”,成为首个通过国家相关标准的...

关键字: 特斯拉 自动驾驶 FSD

近日,华为内部发布了一则令人瞩目的人事调整文件,宣布华为终端BG(业务集团)CEO余承东将卸任,转而担任华为终端BG董事长一职。这一变动不仅引起了业界的广泛关注与讨论,也预示着华为在组织架构和战略方向上的一次重大调整。

关键字: 余承东 华为 终端BG CEO

业内重磅消息,近日4家日本电信行业领军企业(DOCOMO、NTT公司、NEC公司以及富士通)联手打造的全球首款高速6G无线设备正式亮相。该创新产品的问世是科技界的一项重大突破,标志着通信技术迈入了全新的时代。

关键字: 日本 6G 无线设备

为抢攻AI PC商机,苹果(Apple)预计7日亮相的新iPad Pro率先搭载自研M4芯片,并挟M4芯片强势登场之势为Mac全系列改头换面,首批M4 Mac估今年底至明年初陆续上线;据悉苹果M4采台积电N3E制程,随苹...

关键字: 台积电 3nm 苹果 M4 芯片

业内消息,近日芯片巨头高通公司发布了2024财年第二财季财报,其中营收为93.89亿美元,同比增长1%;净利润为23.26亿美元,同比增长37%;不按照美国通用会计准则,调整后净利润为27.61亿美元,同比增长14%。

关键字: 高通 财报 AI

5 月 3 日,市场研究机构 Counterpoint 发布了 2024 年第一季度全球智能手机的统计数据。结果显示,2024 年第一季度全球智能手机市场出货量达到 2.969 亿部,同比增长 6%。这一增长主要归功于欧...

关键字: 智能手机

业内消息,此前官宣华为Pura 70 Ultra、华为Pura 70 Pro开启先锋计划,正式在国内开售,近日华为并将目光投向海外,5月2日华为Pura 70系列手机在马来西亚开启预售(即日起至2024年5月24日)。

关键字: 麒麟9010 华为 Pura 70

业内消息,近日两名中国公民因涉嫌向一家中国科技公司 “非法出口” 半导体切割机被起诉,该科技公司早前被美国商务部列入实体名单。

关键字: 半导体设备
关闭