国科大研究发现神经网络可成病毒软件新宿主
全生命周期安全性中国科学院大学团队2021年的一项研究发现，恶意软件可以直接被嵌入到机器学习模型的“人工神经元”中，并且几乎不会影响模型的性能。他们发现，使用真实的恶意软件替换AlexNet模型中50%左右的神经元，模型的准确率仍保持在93.1%以上。同时，由于神经网络的结构保持不变，这些大量恶意软件成功地规避了防病毒引擎的安全扫描。作者表示，随着人工智能的广泛应用，神经网络将成为恶意软件传播的载体。
迈克菲的一项研究通过生成伪图像欺骗护照人脸识别
全生命周期安全性2020年，安全软件公司迈克菲（McAfee）的一项研究通过生成对抗性伪图像骗过了模拟的护照人脸识别系统。研究者Jesse通过自己构建的系统生成了同事Steve的一张伪图像，这张提交上去的护照照片看起来像Steve，又能与Jesse的实时视频完全匹配。若照片被Steve提交给政府后，如果没有人类检查员的参与，将有可能帮助Jesse以Steve的身份通过机场人脸验证并顺利登机。
2020年美国人脸识别公司Clearview AI客户信息泄露
数据安全2020年2月，美国人脸识别初创公司Clearview AI遭到黑客入侵，全部客户的列表、账户数量以及客户搜索数据等被非法访问，其中涉及到的客户包括执法机构和银行等。
研究发现分析心电图的深度学习模型易遭受对抗性攻击
全生命周期安全性2020年3月，来自纽约大学的研究者开发了一种方法，可以用人类专家无法察觉的平滑扰动构建对抗性示例，使得从心电图检测心律失常的深度学习模型以高确信度误诊。这表明在对可能已更改的心电图应用深度学习模型时，尤其是在存在导致错误分类的诱因的情况下，应该格外小心。
外卖智能算法让外卖骑手“困在系统里”
人类尊严与权利作为美团、饿了么等大型的配送平台，应用算法让他们更好的控制了配送成本，仅2020年上半年数据，美团外卖骑手成本就减少了4.27%，这些成本节约的背后更多的是压缩了外卖员的送餐时间。配送时间被算法多次压缩之后，直接导致外卖骑手为了完成订单不顾交通规则，逆行、闯红灯、超速行驶。
围棋选手利用AI作弊损害赛事公平
防止滥用韩国13岁职业围棋少女金恩持在参加职业围棋线上比赛中战胜了韩国排名第七的顶尖棋手李英九。赛后李英九提出质疑，称对手在比赛中有使用AI作弊的嫌疑。韩棋院、韩国家队介入调查，得出结论：金恩持的棋谱与AI程序的推荐吻合率高达92%。事后，金恩持本人承认了使用AI的事实，随后她被韩国棋院处罚禁赛一年。
2019年韩国Suprema公司安全工具数据泄露
数据安全2019年8月，韩国一家提供生物识别技术服务的安保公司Suprema的安全工具被发现存在安全漏洞，超过百万人的近3000万条敏感生物识别数据被曝光，包括指纹记录、面部识别数据等。
2019年深网视界数据泄露
数据安全2019年2月，深圳一家从事人工智能安防的公司深网视界（SenseNets）发生严重的大规模数据库泄露，超过250万人的敏感个人数据（包括身份信息、照片、住址、雇主甚至过去24小时的位置轨迹等隐私信息）被暴露在公开的网络下，并可被无限制地访问，引发了广泛的关注。
亚马逊采用人工智能系统“监工”
人类尊严与权利根据2019年的媒体报道，亚马逊已经在使用人工智能系统追踪物流仓储部门员工的工作效率。该系统通过统计员工暂停或休息的时间来跟踪仓库员工的生产力，同时还被用于自动地挑选人员并生成书面文件，绕过主管直接解雇那些被系统判定为“工作效率低”的人。
曾毅
对个人生物特征数据进行收集与分析必须建立在非被动同意的基础上。无论是类似于脑机接口这样的增强智能技术还是更广义的人工智能技术，对下一代的影响绝对不仅仅是理想化设想中的“益处”，更应当关注此类技术对下一代的长期影响。在被迫同意的基础上，我们甚至无法避免下一代对于人工智能及其服务产生敌视情绪，甚至可以想象很快会有人热衷于研发反监测手段与技术。这将与技术发展的初衷背道而驰。
Science刊文讨论针对医疗机器学习系统对抗攻击的可行性
全生命周期安全性2019年来自哈佛医学院的研究展示了针对医疗图像领域的机器学习系统进行不同形式对抗攻击的可行性。通过对原始医学图像添加不可见噪声、旋转变换或者替换病情部分文字描述等，可以成功使系统产生明显的误判。
曾毅
不合理的用户协议是AI换脸应用事件问题最严重的方面。相关的文字与诸多个人数据保护条例、人工智能伦理原则等都是相违背的。而用户为了“尝鲜”很可能选择不理性的决定，同意了相关协议，可能带来的后果有可能是用户始料未及的。这个事件对人工智能服务的用户最大的警示就是充分重视用户协议并作出合理的知情同意决定。另一方面，工信部在4天内对相关企业的约谈，要求自查整改并取得及时与积极的成效，是中国人工智能敏捷治理的典型案例。
2019年华为新研究通过一张贴纸破解顶级FaceID
全生命周期安全性2019年8月，来自莫斯科国立大学、华为莫斯科研究中心的研究者找到了一种易于重现的新型攻击方法，该方法只需用普通彩色打印机打出一张带有图案的矩形贴纸贴在帽子上，就成功让目前业内性能领先的开放Face ID系统识别出错。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
加州立法禁止警方在执法记录仪上使用面部识别技术
人类尊严与权利2019年09月13日，美国加利福尼亚州议会通过一项为期三年的议案，禁止州和地方执法机构在执法记录仪上使用面部识别技术。该议案已被州长加文·纽森签字通过，于2020年1月1日生效成为加州法律。相关媒体评论道，该项议案反映了美国多方对面部识别的不满情绪，有人认为，面部识别对公民自由构成了威胁。
AI编写假新闻足以乱真
非真实内容标示2019年2月15日，OpenAI公布展示了一款写作软件，基于GPT-2语言模型，只需要提供少量的语言样本就能编写逼真的假新闻。“这些发现，结合早期关于合成图像、音频和视频的结果，意味着技术正在降低生成虚假内容和发动虚假信息活动的成本。”
研究认为DeepFakes换脸技术的发展对人脸识别系统构成挑战
全生命周期安全性2018年的一项研究表明，通过采用生成对抗网络（GAN） 生成的 Deepfakes 换脸视频对人脸识别系统和现有的检测方法都构成了挑战，并且，未来进一步的换脸技术还将加重这一挑战。
研究发现商用人脸识别对于有色女性的错误率比白人男性高
数据代表性2018年，麻省理工学院媒体实验室在发起的GenderShades项目中，曾经测试了微软、IBM和旷视科技的商用人脸检测算法，结果发现相比于浅肤色的男性，算法对深肤色的女性的分类错误率可高出34.4%。
IBM开发新型AI恶意软件DeepLocker进行概念验证
防止滥用IBM Research于2018年验证了新型AI恶意软件DeepLocker，以“更好地了解几种现有的人工智能模型如何与当前的恶意软件技术相结合，从而创造出一种极具挑战性的新型恶意软件。”“这类人工智能驱动的规避性恶意软件会隐藏其意图，直到到达特定的受害者。一旦人工智能模型通过面部识别、地理定位和语音识别等指标识别出目标，它就会发动恶意行动。”
曾毅
自动驾驶存在的安全隐患不仅仅是感知技术处理常规场景的成熟与否，还包括如何应对对抗攻击等。未来更大的挑战可能还来自于外部的安全隐患，即对自动驾驶控制系统的入侵，甚至是恶意操作。相关的隐患不仅仅会危及到个人安全，甚至会影响到社会安全。此外，自动驾驶系统如果能够对周围其他车辆和行人做出明显的告知，则可能避免一些潜在隐患。未来急需对自动驾驶建立更全面的安全评估和保障框架。
研究发现公开的图像数据集中严重缺乏对发展中国家的代表性
数据代表性2017年谷歌大脑团队的一项研究针对图像分类领域常用的两个大规模开放数据集的地理多样性进行了分析，结果发现这些公开的数据集存在严重的以欧美为中心的现象，60%的数据基于欧美6个代表性的国家，而基于中国和印度的数据一共只占到约3%。这也给不同地域的图像分类性能带来了影响。
伯克利研究展示物理对抗攻击愚弄交通标识识别算法
全生命周期安全性2017年9月，伯克利等四所大学的研究者展示了如何通过在物理世界中进行一些细微改动来可以欺骗视觉分类算法。例如，通过攻击算法生成的贴纸来修改真实物理世界的路牌，可以使标准的路牌识别算法高度确定地将“停车”（STOP）标识误识别为限速标识。这些缺陷将有可能会在部分行业应用中导致严重的后果。
麦肯锡预测1亿中国人2030年面临职业转换
技术性失业根据麦肯锡全球研究院2017年的报告，由于数字化、自动化和人工智能的进步，预计到2030年未来全球大概有3.75亿人口将面临重新就业，其中中国占1亿。就所分析的11个行业大类而言，涉及到创意工作、技术类工程师、管理类以及社会互动类的岗位需求增长明显，因为机器还无法在这些领域取代人类。另一方面，那些在可预测环境中进行物理活动的部分岗位需求将下降明显。
斯坦福大学AI算法识别性取向 准确率超过人类惹争议
人类尊严与权利2017年，斯坦福大学一项研究基于超过35,000张美国交友网站上男女的头像图片训练，利用深度神经网络从图像中提取特征，使用大量数据让计算机学会识别人们的性取向，这引发社会广泛争议。在“识别同性恋”任务中，人类的判断表现要低于算法。该项研究的争议点在于，一旦这种技术推广开来，夫妻一方会使用这种技术来调查自己是否被欺骗，青少年使用这种算法来识别自己的同龄人，而在LGBT非法的国家里会发生什么则更加难以想象。
微软Tay聊天机器人上线Twitter不到一天"被教坏"
全生命周期公正性2016年，微软曾经在Twitter社交平台上发布了一个名为Tay的AI聊天机器人，希望其能够在与用户互动中不断学习来变得更聪明。然而，Tay在Twitter上线不到一天便被迫下线，原因是Tay在一些恶意用户的灌输下，变成了一个频繁发表种族主义和煽动性言论的“不良少女”，引起了巨大争议。
MIT研究人类如何应对自动驾驶领域的“电车难题”
预先定责麻省理工学院2016至2018年间进行了一项名为“道德机器”的在线实验，让测试者针对不同场景下自动驾驶汽车遇到事故时该如何行动做出选择。结果发现，人们在面对这样的伦理困境的时候，更多的是遵循功利主义的思路，选择拯救“尽可能多的人”；人们普遍希望他人选用“牺牲少数乘客拯救多数行人”的自动驾驶汽车，然而却又都希望自己乘坐的是“不惜一切代价保护乘客”的自动驾驶汽车。同时，研究还发现上述选择还会收到不同的地区文化和经济状况影响。
IBM Watson从俚语词典中学会说脏话
数据偏见IBM的研究人员为了让Watson系统更加拟人，曾尝试让其学习《城市词典》（Urban Dictionary，一个由网民编辑的解释英语俚语词汇的在线词典）的内容，结果发现Watson却反而学到了词典中的“种种坏习惯”，在回答问题时变得言语粗俗而不礼貌。最终研究人员不得不将这些内容从Watson系统中清除，并为其设计专门的脏话过滤系统。
曾毅
不合理的用户协议是AI换脸应用事件问题最严重的方面。相关的文字与诸多个人数据保护条例、人工智能伦理原则等都是相违背的。而用户为了“尝鲜”很可能选择不理性的决定，同意了相关协议，可能带来的后果有可能是用户始料未及的。这个事件对人工智能服务的用户最大的警示就是充分重视用户协议并作出合理的知情同意决定。另一方面，工信部在4天内对相关企业的约谈，要求自查整改并取得及时与积极的成效，是中国人工智能敏捷治理的典型案例。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
麦肯锡预测1亿中国人2030年面临职业转换
技术性失业根据麦肯锡全球研究院2017年的报告，由于数字化、自动化和人工智能的进步，预计到2030年未来全球大概有3.75亿人口将面临重新就业，其中中国占1亿。就所分析的11个行业大类而言，涉及到创意工作、技术类工程师、管理类以及社会互动类的岗位需求增长明显，因为机器还无法在这些领域取代人类。另一方面，那些在可预测环境中进行物理活动的部分岗位需求将下降明显。
外卖智能算法让外卖骑手“困在系统里”
人类尊严与权利作为美团、饿了么等大型的配送平台，应用算法让他们更好的控制了配送成本，仅2020年上半年数据，美团外卖骑手成本就减少了4.27%，这些成本节约的背后更多的是压缩了外卖员的送餐时间。配送时间被算法多次压缩之后，直接导致外卖骑手为了完成订单不顾交通规则，逆行、闯红灯、超速行驶。
曾毅
本案例有两件事情可以确定：(1) 目前的人工智能只有处理数据的能力，没有真正理解的能力。在这个案例中，配送规划算法做的只是基于统计的优化，而对于这种所谓的“优化”过程骑手将如何去执行，以及可能导致的后果没有任何理解能力。1950年的“图灵之问”围绕“机器是否能思考”，然而我却认为没有真正的理解，何谈思考。在对“交通违规”、“生命危险”直至“生”、“死”这些对于个人存在具有深刻意义的概念没有真正理解的情况下，骑手却被算法“操控”。算法的设计者和服务提供者可曾认真想过算法“操控”的是人？(2) 我很难相信相关的算法设计者和服务提供商从未想过“助手”可能变“杀手”。然而什么使得他们做出选择仍然这样做，直至得到社会强烈的反弹？同行之间的恶性竞争使得企业在道德选择上彷徨，直接将风险从服务提供商转到了骑手身上，牺牲掉的是那些将风险与几元配送费反复较量的生命。通过这个案例，我们当然能够得到企业需要反思以及做出改变的结论，但我们能寄希望于所有的人工智能研发、应用、服务企业完全做到自律自治吗？在2020年我们看到很多企业致力于负责任的创新，然而他们的名字也同时屡屡出现在政府发布的违规整改名单中。社会舆论的关注、监督与政府的顶层监管必不可少。企业、政府、社会开展多方治理在2020年并没有做实，这将是人工智能治理实质性落地的大挑战，却又是必经之路。
亚马逊采用人工智能系统“监工”
人类尊严与权利根据2019年的媒体报道，亚马逊已经在使用人工智能系统追踪物流仓储部门员工的工作效率。该系统通过统计员工暂停或休息的时间来跟踪仓库员工的生产力，同时还被用于自动地挑选人员并生成书面文件，绕过主管直接解雇那些被系统判定为“工作效率低”的人。
曾毅
对个人生物特征数据进行收集与分析必须建立在非被动同意的基础上。无论是类似于脑机接口这样的增强智能技术还是更广义的人工智能技术，对下一代的影响绝对不仅仅是理想化设想中的“益处”，更应当关注此类技术对下一代的长期影响。在被迫同意的基础上，我们甚至无法避免下一代对于人工智能及其服务产生敌视情绪，甚至可以想象很快会有人热衷于研发反监测手段与技术。这将与技术发展的初衷背道而驰。
加州立法禁止警方在执法记录仪上使用面部识别技术
人类尊严与权利2019年09月13日，美国加利福尼亚州议会通过一项为期三年的议案，禁止州和地方执法机构在执法记录仪上使用面部识别技术。该议案已被州长加文·纽森签字通过，于2020年1月1日生效成为加州法律。相关媒体评论道，该项议案反映了美国多方对面部识别的不满情绪，有人认为，面部识别对公民自由构成了威胁。
斯坦福大学AI算法识别性取向 准确率超过人类惹争议
人类尊严与权利2017年，斯坦福大学一项研究基于超过35,000张美国交友网站上男女的头像图片训练，利用深度神经网络从图像中提取特征，使用大量数据让计算机学会识别人们的性取向，这引发社会广泛争议。在“识别同性恋”任务中，人类的判断表现要低于算法。该项研究的争议点在于，一旦这种技术推广开来，夫妻一方会使用这种技术来调查自己是否被欺骗，青少年使用这种算法来识别自己的同龄人，而在LGBT非法的国家里会发生什么则更加难以想象。
研究发现商用人脸识别对于有色女性的错误率比白人男性高
数据代表性2018年，麻省理工学院媒体实验室在发起的GenderShades项目中，曾经测试了微软、IBM和旷视科技的商用人脸检测算法，结果发现相比于浅肤色的男性，算法对深肤色的女性的分类错误率可高出34.4%。
研究发现公开的图像数据集中严重缺乏对发展中国家的代表性
数据代表性2017年谷歌大脑团队的一项研究针对图像分类领域常用的两个大规模开放数据集的地理多样性进行了分析，结果发现这些公开的数据集存在严重的以欧美为中心的现象，60%的数据基于欧美6个代表性的国家，而基于中国和印度的数据一共只占到约3%。这也给不同地域的图像分类性能带来了影响。
曾毅
对个人生物特征数据进行收集与分析必须建立在非被动同意的基础上。无论是类似于脑机接口这样的增强智能技术还是更广义的人工智能技术，对下一代的影响绝对不仅仅是理想化设想中的“益处”，更应当关注此类技术对下一代的长期影响。在被迫同意的基础上，我们甚至无法避免下一代对于人工智能及其服务产生敌视情绪，甚至可以想象很快会有人热衷于研发反监测手段与技术。这将与技术发展的初衷背道而驰。
IBM Watson从俚语词典中学会说脏话
数据偏见IBM的研究人员为了让Watson系统更加拟人，曾尝试让其学习《城市词典》（Urban Dictionary，一个由网民编辑的解释英语俚语词汇的在线词典）的内容，结果发现Watson却反而学到了词典中的“种种坏习惯”，在回答问题时变得言语粗俗而不礼貌。最终研究人员不得不将这些内容从Watson系统中清除，并为其设计专门的脏话过滤系统。
微软Tay聊天机器人上线Twitter不到一天"被教坏"
全生命周期公正性2016年，微软曾经在Twitter社交平台上发布了一个名为Tay的AI聊天机器人，希望其能够在与用户互动中不断学习来变得更聪明。然而，Tay在Twitter上线不到一天便被迫下线，原因是Tay在一些恶意用户的灌输下，变成了一个频繁发表种族主义和煽动性言论的“不良少女”，引起了巨大争议。
MIT研究人类如何应对自动驾驶领域的“电车难题”
预先定责麻省理工学院2016至2018年间进行了一项名为“道德机器”的在线实验，让测试者针对不同场景下自动驾驶汽车遇到事故时该如何行动做出选择。结果发现，人们在面对这样的伦理困境的时候，更多的是遵循功利主义的思路，选择拯救“尽可能多的人”；人们普遍希望他人选用“牺牲少数乘客拯救多数行人”的自动驾驶汽车，然而却又都希望自己乘坐的是“不惜一切代价保护乘客”的自动驾驶汽车。同时，研究还发现上述选择还会收到不同的地区文化和经济状况影响。
AI编写假新闻足以乱真
非真实内容标示2019年2月15日，OpenAI公布展示了一款写作软件，基于GPT-2语言模型，只需要提供少量的语言样本就能编写逼真的假新闻。“这些发现，结合早期关于合成图像、音频和视频的结果，意味着技术正在降低生成虚假内容和发动虚假信息活动的成本。”
曾毅
不合理的用户协议是AI换脸应用事件问题最严重的方面。相关的文字与诸多个人数据保护条例、人工智能伦理原则等都是相违背的。而用户为了“尝鲜”很可能选择不理性的决定，同意了相关协议，可能带来的后果有可能是用户始料未及的。这个事件对人工智能服务的用户最大的警示就是充分重视用户协议并作出合理的知情同意决定。另一方面，工信部在4天内对相关企业的约谈，要求自查整改并取得及时与积极的成效，是中国人工智能敏捷治理的典型案例。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
2020年美国人脸识别公司Clearview AI客户信息泄露
数据安全2020年2月，美国人脸识别初创公司Clearview AI遭到黑客入侵，全部客户的列表、账户数量以及客户搜索数据等被非法访问，其中涉及到的客户包括执法机构和银行等。
2019年韩国Suprema公司安全工具数据泄露
数据安全2019年8月，韩国一家提供生物识别技术服务的安保公司Suprema的安全工具被发现存在安全漏洞，超过百万人的近3000万条敏感生物识别数据被曝光，包括指纹记录、面部识别数据等。
2019年深网视界数据泄露
数据安全2019年2月，深圳一家从事人工智能安防的公司深网视界（SenseNets）发生严重的大规模数据库泄露，超过250万人的敏感个人数据（包括身份信息、照片、住址、雇主甚至过去24小时的位置轨迹等隐私信息）被暴露在公开的网络下，并可被无限制地访问，引发了广泛的关注。
曾毅
一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。
曾毅
自动驾驶存在的安全隐患不仅仅是感知技术处理常规场景的成熟与否，还包括如何应对对抗攻击等。未来更大的挑战可能还来自于外部的安全隐患，即对自动驾驶控制系统的入侵，甚至是恶意操作。相关的隐患不仅仅会危及到个人安全，甚至会影响到社会安全。此外，自动驾驶系统如果能够对周围其他车辆和行人做出明显的告知，则可能避免一些潜在隐患。未来急需对自动驾驶建立更全面的安全评估和保障框架。
围棋选手利用AI作弊损害赛事公平
防止滥用韩国13岁职业围棋少女金恩持在参加职业围棋线上比赛中战胜了韩国排名第七的顶尖棋手李英九。赛后李英九提出质疑，称对手在比赛中有使用AI作弊的嫌疑。韩棋院、韩国家队介入调查，得出结论：金恩持的棋谱与AI程序的推荐吻合率高达92%。事后，金恩持本人承认了使用AI的事实，随后她被韩国棋院处罚禁赛一年。
IBM开发新型AI恶意软件DeepLocker进行概念验证
防止滥用IBM Research于2018年验证了新型AI恶意软件DeepLocker，以“更好地了解几种现有的人工智能模型如何与当前的恶意软件技术相结合，从而创造出一种极具挑战性的新型恶意软件。”“这类人工智能驱动的规避性恶意软件会隐藏其意图，直到到达特定的受害者。一旦人工智能模型通过面部识别、地理定位和语音识别等指标识别出目标，它就会发动恶意行动。”
国科大研究发现神经网络可成病毒软件新宿主
全生命周期安全性中国科学院大学团队2021年的一项研究发现，恶意软件可以直接被嵌入到机器学习模型的“人工神经元”中，并且几乎不会影响模型的性能。他们发现，使用真实的恶意软件替换AlexNet模型中50%左右的神经元，模型的准确率仍保持在93.1%以上。同时，由于神经网络的结构保持不变，这些大量恶意软件成功地规避了防病毒引擎的安全扫描。作者表示，随着人工智能的广泛应用，神经网络将成为恶意软件传播的载体。
迈克菲的一项研究通过生成伪图像欺骗护照人脸识别
全生命周期安全性2020年，安全软件公司迈克菲（McAfee）的一项研究通过生成对抗性伪图像骗过了模拟的护照人脸识别系统。研究者Jesse通过自己构建的系统生成了同事Steve的一张伪图像，这张提交上去的护照照片看起来像Steve，又能与Jesse的实时视频完全匹配。若照片被Steve提交给政府后，如果没有人类检查员的参与，将有可能帮助Jesse以Steve的身份通过机场人脸验证并顺利登机。
研究发现分析心电图的深度学习模型易遭受对抗性攻击
全生命周期安全性2020年3月，来自纽约大学的研究者开发了一种方法，可以用人类专家无法察觉的平滑扰动构建对抗性示例，使得从心电图检测心律失常的深度学习模型以高确信度误诊。这表明在对可能已更改的心电图应用深度学习模型时，尤其是在存在导致错误分类的诱因的情况下，应该格外小心。
Science刊文讨论针对医疗机器学习系统对抗攻击的可行性
全生命周期安全性2019年来自哈佛医学院的研究展示了针对医疗图像领域的机器学习系统进行不同形式对抗攻击的可行性。通过对原始医学图像添加不可见噪声、旋转变换或者替换病情部分文字描述等，可以成功使系统产生明显的误判。
2019年华为新研究通过一张贴纸破解顶级FaceID
全生命周期安全性2019年8月，来自莫斯科国立大学、华为莫斯科研究中心的研究者找到了一种易于重现的新型攻击方法，该方法只需用普通彩色打印机打出一张带有图案的矩形贴纸贴在帽子上，就成功让目前业内性能领先的开放Face ID系统识别出错。
研究认为DeepFakes换脸技术的发展对人脸识别系统构成挑战
全生命周期安全性2018年的一项研究表明，通过采用生成对抗网络（GAN） 生成的 Deepfakes 换脸视频对人脸识别系统和现有的检测方法都构成了挑战，并且，未来进一步的换脸技术还将加重这一挑战。
伯克利研究展示物理对抗攻击愚弄交通标识识别算法
全生命周期安全性2017年9月，伯克利等四所大学的研究者展示了如何通过在物理世界中进行一些细微改动来可以欺骗视觉分类算法。例如，通过攻击算法生成的贴纸来修改真实物理世界的路牌，可以使标准的路牌识别算法高度确定地将“停车”（STOP）标识误识别为限速标识。这些缺陷将有可能会在部分行业应用中导致严重的后果。
曾毅
自动驾驶存在的安全隐患不仅仅是感知技术处理常规场景的成熟与否，还包括如何应对对抗攻击等。未来更大的挑战可能还来自于外部的安全隐患，即对自动驾驶控制系统的入侵，甚至是恶意操作。相关的隐患不仅仅会危及到个人安全，甚至会影响到社会安全。此外，自动驾驶系统如果能够对周围其他车辆和行人做出明显的告知，则可能避免一些潜在隐患。未来急需对自动驾驶建立更全面的安全评估和保障框架。
曾毅
本案例有两件事情可以确定：(1) 目前的人工智能只有处理数据的能力，没有真正理解的能力。在这个案例中，配送规划算法做的只是基于统计的优化，而对于这种所谓的“优化”过程骑手将如何去执行，以及可能导致的后果没有任何理解能力。1950年的“图灵之问”围绕“机器是否能思考”，然而我却认为没有真正的理解，何谈思考。在对“交通违规”、“生命危险”直至“生”、“死”这些对于个人存在具有深刻意义的概念没有真正理解的情况下，骑手却被算法“操控”。算法的设计者和服务提供者可曾认真想过算法“操控”的是人？(2) 我很难相信相关的算法设计者和服务提供商从未想过“助手”可能变“杀手”。然而什么使得他们做出选择仍然这样做，直至得到社会强烈的反弹？同行之间的恶性竞争使得企业在道德选择上彷徨，直接将风险从服务提供商转到了骑手身上，牺牲掉的是那些将风险与几元配送费反复较量的生命。通过这个案例，我们当然能够得到企业需要反思以及做出改变的结论，但我们能寄希望于所有的人工智能研发、应用、服务企业完全做到自律自治吗？在2020年我们看到很多企业致力于负责任的创新，然而他们的名字也同时屡屡出现在政府发布的违规整改名单中。社会舆论的关注、监督与政府的顶层监管必不可少。企业、政府、社会开展多方治理在2020年并没有做实，这将是人工智能治理实质性落地的大挑战，却又是必经之路。