8.1. 是否对该系统所涉及的数据、软件、硬件及服务进行了充分的测试、验证与确认?
例如,人工智能系统所设定或习得的目标函数是否与设计者的设计意图一致?如果存在不一致,是否存在某些安全隐患?
8.2. 对于自主或半自主人工智能系统,是否设计了相应机制以确保人类在必要时能够及时、有效地切入控制和急停?是否设计了有效的措施来减轻系统失控的后果?
8.3. 当该系统正在被恶意滥用而对社会公众和他人的安全和利益带来危害时,是否有机制能够帮助其他群体绕开系统使用者(滥用者)的控制来阻止系统的危害行为或使这种危害行为无效化?
8.4. 该系统在设计、开发、测试与部署的全生命周期中是否对相关数据、软件、硬件或服务采取了足够有效的安全防护措施?
例如,系统设计时是否考虑了非友好环境下的稳定运行?对于常见的针对人工智能系统的攻击方式,如试探性攻击、投毒攻击、逃逸攻击、降维攻击等,是否设计了防御机制?对用户数据和其它敏感数据是否进行了足够的加密?智能硬件系统的传感器是否针对干扰和欺骗进行了防护?随着用户数据的不断注入和系统的不断更新,系统的安全性是否能够一直保证?
8.5. 该系统在设计、开发、测试与部署过程中是否涉及第三方的数据、软件、硬件或服务(例如公开数据集、开源软硬件平台等)?如果涉及,针对这些第三方的数据、软件、硬件或服务本身以及其与原有数据、软件、硬件或服务间的接口可能存在的漏洞,是否经过了充分的安全评估与测试?
8.6. 该系统测试与部署的物理环境安全性如何?是否具备足够的安全保障?
8.7. 是否对该系统在非设计所预定的环境下运行的后果进行过评估?在上述环境下,系统的安全性能是否会有显著下降或引发新的安全问题?
例如,该系统在面对儿童不确定性方面,是否具备更高的风险控制能力?
8.8. 是否对测试、部署、使用、维护的相关人员进行了有效的培训,以帮助其掌握对于该系统安全稳定运行所需的必备知识和技能?