欧盟人工智能安全报告

2020年2月19日，欧盟委员会发布《关于人工智能、物联网、机器人对安全和责任的影响的报告》（Report on the safety and liability implications of Artificial Intelligence， the Internet of Things and roboTIcs），该报告介绍了当前的欧盟产品安全制度，并探讨了如何对其进行改进，以应对人工智能（AI）、物联网（IoT）和机器人技术领域的不断创新发展。全文包括三大部分，首先概述了现有的安全和责任框架，人工智能、物联网和机器人技术的特征以及创造的机遇；其次阐述了人工智能、物联网和机器人技术对安全框架的挑战及应对；最后阐述了其对责任框架的挑战及应对。

人工智能、物联网和机器人技术将为社会创造新的机遇和价值。欧盟委员会理解这些新兴数字技术的重要性和潜力，以及在上述领域大量投资的必要性，进而致力于使欧洲获得人工智能，物联网和机器人技术的世界先进地位。为了实现这一目标，需要一个清晰，可预测的法律框架来应对技术挑战。本文将简要介绍人工智能、物联网和机器人技术对安全和责任框架的挑战及应对方式。

一、概述

（一）现有的安全和责任框架

安全和责任框架旨在保障所有产品和服务的安全、可靠、同步运行，并救济可能出现的损失。欧盟拥有健全的安全和产品责任监管框架，以及完善的安全标准体系，在保障公民在单一市场上的福祉的同时，鼓励创新和技术应用。随着人工智能、物联网和机器人技术正在改变许多产品和服务的特性，此时，建立更加明确清晰的安全和责任框架势在必行，以期保护消费者和企业的合法权益。

（二）人工智能、物联网和机器人技术的特征

人工智能、物联网和机器人技术具有 连接性、自主性、复杂性和数据依赖性。它们几乎不需要人工管控就能执行任务。配备人工智能的系统还可以通过从经验中学习来改善自己的性能。此外，随着投放市场的变化，它们还更加具有 开放性。同时，由于涉及大量数据，导致算法依赖（即随着算法技术的强大，导致人类越来越依赖算法，以算法的结果为指导标准）以及AI决策的 不透明性，使得对AI产品行为更难预测，对造成损坏的潜在原因更难排查。

（三）人工智能、物联网和机器人技术创造的机遇

人工智能、物联网和机器人技术为人类社会创造了许多机遇。例如可以增加用户对新兴技术的信任和社会认可，改善产品、流程和商业模式以及帮助欧洲制造商提高生产效率。可以提高产品的可追溯性，并通过提高产品的安全性从而使产品降低某些风险。除此之外，人工智能还有望帮助人类发明创造，并帮助解决一些世界重大挑战：包括治疗慢性疾病、预测疾病爆发、减少交通事故死亡率、应对气候变化或预测网络安全威胁等。此外，新技术可以提高产品的可追溯性，并通过提高产品的安全性从而使产品降低某些风险。

二、人工智能、物联网和机器人技术对现有安全框架的影响及应对

欧盟委员会关于《建立以人为本的人工智能的信任》（Building Trust in Human-Centric ArTIficial Intelligence）的文件指出，AI系统应综合设计安全机制，以确保每一步的安全性都经受得住检验，确保所有相关人员的身心安全。

当前的产品安全立法已经支持针对产品使用过程中产生的各种风险进行安全保护。可以通过适当的倡议，对《产品责任指令》（Product Liability DirecTIve）和国家责任制度进行调整，采用更明确的、涵盖新兴数字技术带来的新风险的条款，以提供更多的法律确定性。

一是新兴数字技术的连接性挑战了传统安全概念。连接互通或失去连接都可能导致产品受到安全威胁进而影响用户安全。当前的欧盟产品安全法规（Union product safety legislaTIon）中的产品安全性概念涵盖了针对产品面临各种风险的防护，不仅包括机械、化学、电气风险，还包括网络风险和与设备断开连接相关的风险，此外还针对影响用户安全的网络威胁制定了强制性规定，这方面的明确法律规定可以考虑纳入欧盟相关立法，以便为用户提供明确的法律参考。

二是AI自主行为有可能违背生产者意图。AI产品和系统的自主性可能会使机器做出的决策与生产者的最初意图，以及用户的期望有所偏差。部分人工智能系统在其生命周期内的自主行为一旦对安全产生影响，便需要进行新的风险评估。此外，欧盟的相关立法应该对制造商规定强制性义务，要求其对用户提供明确的安全指示和警告。另外，从产品设计到整个人工智能产品生命周期都可能需要人工监督来保障安全。

三是AI系统的类人行为（humanoid）可能会给用户带来心理健康风险。因此，规定生产者义务时可以适当考虑到用户心理的安全风险（例如与类人机器人合作）；立法框架中的产品安全概念应明确涵盖精神健康风险。对于AI类人机器人的生产商，明确其产品可能对用户（特别是弱势用户，例如被护理的老年人）造成心理损害的承担义务，可以考虑将其纳入欧盟相关立法。

四是数据依赖性可能扩大错误数据的安全风险。数据的准确性和相关性可以确保人工智能系统按照生产者意图做出决定。因此，欧盟产品安全法规可以作出规定，要求在设计阶段解决错误数据带来的安全风险。根据产品的用途，生产商应在设计和测试阶段预测数据的准确性及其与安全功能的相关性，以确保在整个人工智能产品和系统的使用过程中有良好的机制来保障数据质量。

五是AI产品的不透明性导致难以跟踪系统的决策过程（即所谓的“算法黑箱”‘black box-effect’ ）。欧盟产品安全法规目前尚未解决基于算法不透明所带来的日益增长的风险。因此，有必要考虑增加对算法透明性、稳健性和问责制的相关法律规定，在发生事故的情况下，规定算法开发人员必须公开数据集的设计参数（design parameters）和元数据（metadata of datasets）。这对于事后执行机制的完善，建立对新兴数字技术的信任尤其重要。

六是独立软件（stand-alone software）的更新会对产品进行实质性修改。复杂的AI系统通常包含独立软件，如果独立软件的更新对产品进行了实质性修改，则整个产品可能会被视为新产品，必须重新评估是否符合相关安全产品法规规定。现有的欧盟产品安全法应需要对独立软件有特定或明确的要求，确保AI产品和系统中的独立软件具备安全功能。此外应规定制造商的相关强制性义务，以确保上传的软件不会在人工智能产品的生命周期内对安全产生影响。

七是新兴数字技术也受复杂的价值链（value chains）影响。欧盟产品安全法规考虑了价值链的复杂性，并遵循“共同责任”的原则对多家企业施加了义务，明确规定价值链中的企业与用户之间进行合作的条款，尤其是价值链中影响产品安全的每个企业（例如软件生产者）和用户（通过修改产品）都会承担相关责任，并为链中的下一个行为者提供必要的信息和保护措施，以期为复杂的价值链问题提供法律明确性。

三、人工智能、物联网和机器人技术对现有责任框架的影响及应对

新兴数字技术（如人工智能、物联网和机器人）的特质可能会在某些方面影响责任框架，并可能降低它们的有效性。例如很难将造成的损害追溯到人类的行为导致无法对受害者进行及时合理的补偿。此外还需要进一步评估新技术对现有责任框架的挑战是否会导致法律适用的不确定性，这些可能会阻碍投资，并增加生产者和供应链中其他企业（尤其是欧洲中小型企业）的信息和保险成本。

其一，产品、服务和价值链的复杂性挑战传统生产者概念。在过去的几十年中，科技发展迅速，随着产品和服务的日益融合，产品责任值得我们重点关注。以软件为例，一旦软件发生变更可能会使产品损害，这最终可能导致产品生产商承担责任。因此《产品责任指令》可以进一步明确生产者概念，扩大责任范围，对于软件或其他数字功能导致产品缺陷从而造成的损失，明确赔偿义务和责任范围。这样可以更好地根据相关法律规定判断是否可以将经济参与者（例如软件开发人员）视为生产者，从而确定相关责任人。

其二，复杂的物联网环境使受害者难以追责。人工智能应用程序通常集成在复杂的物联网环境中，其中许多不同的连接设备和服务相互作用。由于技术的复杂性，受害者很难查找损害来源进而确定责任人并成功索赔。因此可以通过修订《产品责任指令》，减少受害者的举证责任，进一步有针对性地统一国家责任规则。例如，欧盟委员会正在征求意见，针对AI应用程序所造成的损害，是否需要通过调整举证责任，以减少责任认定的复杂性。

其三，连接性和开放性对现有网络安全义务提出挑战。网络安全漏洞可能在产品投入流通的开始就存在，但也可能在产品投入流通的后期出现。目前，因产品网络安全漏洞而造成的损害是否能得到充分的赔偿问题尚没有明确的法律规定。因此现有的责任框架应该建立明确的网络安全义务，使运营商明确自身义务从而避免承担不必要的责任。

其四，自主性和不透明性可能造成索赔困难。自主性会影响产品的安全性，因为自主性可能会大大改变产品的特性，包括其安全性。由于某些AI系统的“算法黑箱”，理解AI所使用的算法和数据需要具有专业分析能力和技术专长。此外，如果没有潜在责任方的合作，就不可能访问算法和数据。导致实践中受害者可能无法提出责任索赔。因此可以重新调整《产品责任指令》目前使用的“投入流通”（putting into circulation）的概念，以考虑到后期产品可能会发生变化，有助于澄清对产品的更改将最终由谁负责。此外针对潜在责任方没有记录与评估责任有关的数据，或者不愿意与受害人分享这些数据的行为，欧盟委员会正在探讨是否需要调整因果关系和过错责任，以明确相关责任。

四、结论

人工智能、物联网和机器人等新兴数字技术的出现对产品安全和责任方面提出了新的挑战。当前的产品安全法规仍有待完善，特别是需要分别对《通用产品安全指令》（General Product Safety Directive）、《机械指令》（Machinery Directive），《无线电设备指令》（the Radio- Equipment Directive）和《新立法框架》（ New Legislative Framework）进行修订补充。今后将统一开展在该框架内对不同法规进行调整的工作。

当前，在保持技术创新发展的同时，也应保障因AI系统介入受到伤害的人和因传统技术遭受伤害的人享有同等的保护，这将有助于增强人们对新兴数字技术的信任并确保投资稳定性。此外，欧盟还应该通过适当的举措对《产品责任指令》和国家责任制度进行调整，即考虑人工智能系统应用所带来的多重风险，以解决现有安全和责任框架的不确定性。