为什么说我国人工智能的发展处于内忧外患的状态

人工智能的发展是否会危及人类福祉？如何保证人工智能的安全可控？11月2日，2019第一届可信人工智能论坛在北京举行，来自中国科学院、北京理工大学、上海交通大学等机构的科学家围绕上述问题进行了探讨。

“可信”是计算机领域的一个概念。在可信计算工作组TCG的定义中，如果一个实体的行为总是能以预期的方式达到预期的目标，那么这个实体就是“可信”的。 电气电子工程师学会IEEE则将“可信”定义为一个计算机系统提供服务的可信赖性能够被论证。虽然不同机构对“可信”的定义略有差别，但总体而言，“可信”主要强调的是计算机系统和其处理过程的可预测性、可验证性。

近年来，“可信”的概念也被引入到人工智能领域，许多国家或组织在制定人工智能发展指南时，都强调了“可信”的重要性。例如，欧盟于今年4月推出的伦理准则就指出，“可信人工智能”有两个必要的组成部分，一是尊重人类的基本权利、核心原则及价值观，二是在技术上安全可靠。这也是目前全球的广泛共识。

在11月2日的论坛上，中国科学院院士、上海人工智能安全专家委员会主任何积丰做了题为《安全可信人工智能：问题与展望》的报告。他指出，人工智能是一种“赋能”技术，对于其安全问题，应该从两个层面来讨论，一层是人工智能技术本身的安全问题，一层是人工智能与行业结合后的潜在风险。

在何积丰看来，人工智能的安全发展面临着“内忧外患”，对内要处理数据偏差、系统失误等情况，对外则要应对黑客攻击、场景受限等问题。他解释说，人工智能系统与传统的软件系统有很大区别，这使得其安全发展面临一系列新挑战。

例如，科学家训练人工智能算法时会设置奖励函数，以帮助算法学得更好。但在实践中，人工智能也闹出了不少笑话：一个机械手被要求把木块挪到桌子的指定地点，于是机械手学会了挪桌子；让程序学习检测皮肤癌，程序却发现恶性皮肤病变的照片里往往放着一把尺子，便以尺子来作为判断标准。

“奖励函数选择合理性在哪里？什么情况下可以扩展人工智能的功能和使用范围？怎么实现安全监管？”何积丰说，奖励函数的错误解读，就是人工智能“内忧”问题中的一个典型。“传统软件里面有目标系统，系统的可能行为一般是能够进行描述的。换句话说，用户有明确的要求，系统应该给我完成什么任务？但是机器学习的目标系统行为与样本选择有关，没办法验证，也没办法进行有效的分析。”

人工智能和具体的行业结合后，又会有哪些潜在风险？何积丰以网络安全为例做了说明。他认为，人工智能将从设计、防护和认证三个方面推动网络安全技术的发展，但人工智能本身的算法、算力、网络体系和数据体系也存在安全需求。“尤其是是金融风控和工业互联网领域，很多设备还是依靠外国，还有很长的路要去走。另外也需要建立相应的法律、法规、标准和社会伦理准则。”

何积丰认为，可信的人工智能应该具备鲁棒性、透明性、可解释性、公平性等特征，并且具有自适应和自我反省的能力。同时，人类应该为人工智能技术的开发设定边界，不能做无限开发。

在当天的圆桌讨论环节，多位学者就人工智能的发展现状进行了探讨。上海师范大学副研究员王俊龙提到，人工智能快速发展，行业乱象也随之出现，他甚至曾看到从业者公然宣称要“不择手段”地收集数据。

数据是人工智能发展的重要基础，但今年以来，多家数据公司因违法违规问题被调查，揭开了行业乱象一角。上海交通大学数据法律研究中心执行主任何渊认为，这也与法律的相对滞后有关。例如，刑法虽然就个人信息买卖作出了规定，但对个人信息收集并没有详细规定。监管上的模糊地带，导致很多公司缺乏自律、铤而走险。

反观美国和欧洲，近年来则屡次曝出天价处罚案例，谷歌、Facebook等大企业都曾受罚。在何渊看来，欧美的监管方式有值得借鉴之处。在个人信息保护法和数据安全法尚未出台的情况下，中国可考虑设置专门的行政监管机构，“处罚力度跟欧美看齐”。

“在法律治理当中，技术的重要性正在快速上升。 技术产生了新的社会风险，冲击现行的法律体系，也对执法理念、执法模式提出了新的要求。”北京师范大学网络法治国际中心执行主任吴沈括说。

上海交通大学科学史与科学文化研究院副教授闫宏秀表示，人工智能伦理是人工智能未来发展的“锚定桩”。有效的人工智能伦理被视为推进人工智能向善、确保人类对其可控及不受伤害、确保人类尊严与人类福祉的一个重要保障，但人工智能伦理的构建并非易事。“可信任人工智能”应基于信任边界厘清的前提，兼顾技术伦理学的通用原则和人工智能自身的技术特性，确保人工智能向善。