腾讯发布“优图AI手语翻译机”手语实时转换成文字

相信在人们的印象里，AI都是一个属于“大多数”的技术门类。

所谓大多数，第一意味着相关数据量大、便于累积，适用于AI对海量数据极度依赖的特性;第二意味着应用场景广泛、便于变现回收成本，适用于AI研发的高门槛投入。

目前我们身边常常出现的人脸识别、语音交互等等，其实都符合以上这些特征。不过这并不意味着，属于“少数派”的AI是一片空白。

在“全球无障碍宣传日”这个特别的日子，我们不如把目光投向于那些能够消弭“少数与多数”区别的技术发展，例如服务于听障人群的手语识别，就是一个典型的例子。

你我不懂的手语，

为什么AI也很难读懂?

手语是用手势比量动作，根据手势的变化模拟形象或者音节以构成的一定意思或词语，是听障人群独有的一种沟通方式。但这种沟通方式虽然能让听障人士之间彼此沟通，或让理解手语的普通人与之沟通，但仍然不能满足听障人士与普罗大众之间的交流需求。

这便意味着在一些社会公共空间之中，例如政务场景或服务业场景，听障人士可能都会遇到一些不便。

而AI，恰好成为了一种解决方案。

我们在一些软件中，已经开始应用到了AI的手势识别能力，像是拍照时“比心”来触发一些AR特效。将这种对于手势的捕捉，和手势语义对应起来，不就能实现对于手语的翻译和生成了吗?

这一逻辑是正确的，可从逻辑正确到应用可行，却还隔着一段不短的路程。

首先，手语的表达有一定的特殊性，想进行捕捉并不容易。

我们知道在“比划手势”这种行为上，本来就不存在绝对的精准度，加之一些手语词汇的表达非常接近，而且手语表达通常是以句子为单位，词与词之前不会有明显的间隙。以往手势识别中利用前置摄像头捕捉的方式，基本是不可行的。

于是很多科技和团队给出的解决方案是加以外设，例如中科大和微软推出了基于Kinect的手语翻译系统，加州大学曾经推出过的手语识别手套等等就是这样。可这些外设要么便携程度低，要么造价昂贵，推广起来有很大的困难。

同时，手语表达同样也有国别性和地域性，在模型通用性上存在着困难。

手语中有“文法手语”和“自然手语”两个概念，文法手语既是通用的普通话，至于自然手语则如同方言一般，在国别、地方甚至城市之间都有着不小的差异。这也造成了手语数据收集、标注会是一项成本高、工作量大的事情。

例如亚马逊曾经提出过，对智能音箱Alex进行改造可以使其翻译出一些简单的信号。可是因为缺乏大规模的训练数据集，目前这一功能只能识别出一些简单的美国手语，停留在实验室阶段。

手语破题没有秘法：

腾讯优图的平权精神

虽然探索艰难，但科技企业们还是不断在手语AI上取得成果。

例如腾讯优图实验室在今天推出联合深圳市信息无障碍研究会发布的“优图AI手语翻译机”，就在手语AI的应用上迈出了跨越性的一步。

优图AI手语翻译机的突破性意味存在于两方面，一方面是手语AI本身技术的进展，另一方面是应用场景的突破。

在手语AI技术本身上，可以分为识别模型和数据集两个解决路径。在数据集上，优图通过和社会相关机构以及听障人士的接触自建了手语识别数据集，目前这一数据集已经实现了近千句日常表达和900个常用词汇的覆盖，是当前规模最大的中文手语识别数据集。而且这一数据集针对手语表达的地方性差异，做出了表达习惯和速度上的多样性拓展。

至于识别模型上，优图也提出了一些更新的算法搭建概念，例如通过2D卷积神经网络和3D卷积神经网络分别提取手势中静态和动态的信息，经由综合处理来提升视频识别效果，彻底摆脱其他传感器的桎梏。同时针对手语表达的整句化的现象，优图在视频帧的最后加入了词级信息挖掘，对特征提取器提出的信息进行核验，进一步去确定手势对词语表达边界，除了提升识别精准度以外，还能提升对自然手语中地域表达的总结能力。在此基础上，优图还在算法模型中引入了上下文理解能力，以便于面对更加复杂的手语识别翻译需求。

不过技术虽然得以提升，应用场景端仍然会受到一些限制。

由于高精度算法对于算力的要求较高，目前优图AI手语翻译机还需要依赖于高性能计算机的后台运算;且因为通过图像视频进行识别，对于复杂场景的辨识度还不高，因此优图AI手语翻译机的应用规划，是应用于探索在机场、高铁、民政等公共服务场所之中，来弥补由于手语的低普及程度，听障人士在这些场所里遇到的交流障碍，以技术协助共建一个信息无障碍的城市。

其实我们不难发现，优图实验室的优图AI手语翻译机虽然在手语翻译准确率上大大提高，也为AI手语翻译找到了可行的应用方案，可如果将技术拆分来看就能发现，优图AI手语翻译机技术突破原因，并不是在某项基础科学上突然取得了什么惊人的突破，而是在研发和数据累积上一贯长期的投入，才能解脱于以往手语语料库匮乏的困境，在算法上不断迭代。

换句话说，腾讯在“少数派”的AI技术中投入了几乎与“大多数”AI技术相匹配的精力与财力。对于AI产业来说，这无疑是一种平权精神。

从以人为本到科技向善：

我们为何要对技术洋流的

引导更加主动?

腾讯这种看似“逆势而行”的做法，其实也是AI产业中一种隐隐冒出势头的洋流方向。

几天以前，在福州的数字中国峰会上，马化腾首次提到了“科技向善”这一概念，提出“我们希望‘科技向善’成为未来腾讯愿景与使命的一部分。我们相信，科技能够造福人类;人类应该善用科技，避免滥用，杜绝恶用;科技应该努力去解决自身发展带来的社会问题。”

无独有偶，李飞飞在回归斯坦福后，就着手创办了HAI研究所(以人为本斯坦福人工智能研究所)，并在今年开始担任所长。HAI的研究目标，就是推动AI技术向造福人类的方向发展，预测AI对人类生活的切实影响。

科技巨头和学界旗帜都将目光投向了同一方向，是因为人们已经开始逐渐发现AI、5G、产业数字化等等技术力量的势头之强，已经到了不得不对其加以引导甚至约束的地步。

如同上文所说，科技企业在这一波技术发展的过程中，起到了很大的促进作用，而逐利自然是企业的本能和天性，因此企业会率先投身于那些满足大多数人、应用场景广泛、研发成本相对低的技术。

这种行为本身无可厚非，但AI等等新技术带来的效率提升实在过于显著，是否会会对那些暂时无法接入新技术的领域和群体进行挤压甚至边缘化，是很多人都在思考的一个问题。

例如随着英汉日法俄等等主流语种的机器翻译能力不断增强，那些语料库不充足、应用人数更少的小语种是否会因为得不到技术赋能，而被进一步地边缘化?

同样的，当公共事务办理越来越多的被语音交互、图像识别等等AI技术替代，听障、视障群体在获取服务时会不会遇到更多麻烦?

类似的情况其实已经发生：2018年年底，联合国发布了对英国政府数字化成果的报告，结果是数据显示在英格兰，自2010年以来无家可归者增加了60%，保障住房的等待名单上有120万人，用来救济穷人的食品银行需求量增长了近四倍——因为很多贫困人群并不知道如何在互联网上申请贫困补助，甚至家里都没办法连接互联网，最终只能在贫困中越陷越深。

很多时候，即使是无恶意的技术，也可能会出现无法预测走向。我们对于科技向善的引导，或许应该更主动一些。

结束语

最后，我们不如来看看这样一组数字：

据2017年北京听力协会预估数据，我国听障人群数量约达到7200万。在全球范围内，世界卫生组织发布的最新数据显示，全世界有共计约4.66亿人患有残疾性听力损失。

——你看，这世界上所谓“大多数”和“少数派”本来就是一个相对性的概念，并不存在黑白鲜明的区隔。尤其对于AI这种善于模仿人类能力的技术来说，它的存在本可以推倒阻碍各个群体沟通交流的空气壁，而不是让这种趋势愈演愈烈。我们关于利用技术搭建美好世界的目标，既然可以不抛下任何一个人，就不该抛下任何一个人。