IRRC No. 913
下载
本文还提供

Abstract
人工智能(AI)支持的系统在人道领域的适用会产生变革性影响,但与此同时,即使人们怀着最大的善意来使用它,它也可能会给人权带来特别的风险。基于近年来在世界范围内的研究及专家咨询意见,本文就人道行动实践者如何确保人工智能在尊重人权的同时助益于——而非有损于——人类的利益提出一些关键的共识。这些咨询意见特别强调,有必要制定一个基于将国际人道法作为关键基线的锚定框架,以确保人类利益被嵌入人工智能系统之中。此外,伦理则可以起到补充性的作用,填补空白并在国际人权法的最低要求之上提高标准。本文概述这一框架的优势,并指出为了将这一人权框架付诸实操,有哪些特定工具和最佳实践已经存在并可加以调整而适用于人工智能的环境,或者需要予以创建。新冠疫情已经表明,人工智能将会越来越深刻地型塑全球对世界最棘手问题的应对方式,特别是在发展和人道领域更是如此。为了确保人工智能工具能够带来人类的进步及助益可持续发展目标的实现,人道参与方需要在发展保护人权的工具、政策和问责机制方面采取积极和具包容性的行动。 * 本文仅反映作者个人观点,不一定代表联合国的立场。

引言

当前,全球肆虐的新冠疫情在很多方面造成了灾难性的影响。但正如联合国秘书长最近指出的,新冠疫情也是一个关于未来如何应对全球危机的学习机会。尤应指出,整个世界“亲眼见证了数字技术如何助力应对这一威胁,并让人们保持联系。” 1 人工智能处于许多这种以数据驱动的干预措施的前沿。最近数月,政府和国际组织利用人工智能系统的预测能力、适应性和规模性,创造出关于病毒传播的预测模型,甚至协助了分子层面的研究。 2 从接触者追踪和其他形式的疫情监控,到临床和分子研究,人工智能及其他数据驱动的干预措施已被证明对遏制疫情传播、推动亟需的医疗研究和为全球公众提供信息都具有至关重要的作用。

本文旨在探讨一个借鉴人权并包括伦理的治理框架如何能够确保人工智能被用于人道、发展及和平行动,而不对人权造成侵犯。本文聚焦使用人工智能来惠及联合国可持续发展目标和其他人道目的。因此,本文将集中讨论本来旨在为合法目的使用人工智能,却在使用中不经意地或不可避免地造成风险和危害的情况,而不讨论恶意使用人工智能的情况(这种情况可能会很多)。

正如联合国秘书长所指出的,人工智能的应用已经“比比皆是”,3 而当前这种全球性的关注则很可能更进一步加快其运用。4 新冠疫情已经清楚地表明,人工智能将会越来越深地型塑对世界最棘手的问题的全球性应对,尤其是在发展和人道援助领域。但若对人工智能的激增使用不加审查,其也会给人权带来严重风险。这些风险复杂、多层次,且随环境不同而不同。不过,也有一些风险在各领域及地域均有体现。

其一,这些系统可能极其强大,日益产生超越人类能力的分析和预测洞见。因此,它们可能会被用来取代人类决策,尤其在需要快速或成规模地进行分析的情况下,而人工监督员常常会忽略该种系统的风险,及其对弱势个人或弱势群体造成严重危害的可能性。5 人工智能还会对透明性和监督构成挑战,因为设计者和实施者往往没有能力“窥视进”人工智能系统的内部而理解其如何以及为何作出一个决定。如果这些系统造成伤害,比如当人工智能系统作出或支持一个会造成歧视性后果的决定,前述的所谓“黑箱”问题就会阻碍有效的问责。6

人工智能所涉及的某些风险和危害是由其他法律体系和领域所处理的,比如数据隐私和保护, 7 但还有很多风险和危害似乎是全新的。人工智能伦理或人工智能治理是一个新兴的领域,其旨在解决这些系统所带来的新风险。迄今为止,主导着该领域的是旨在指导人工智能系统的设计和使用的人工智能“伦理规则”的激增。过去几年,已有几十个组织——包括国际组织、国家政府、私人公司和非政府组织(NGOs)——发布了自己的整套原则,它们相信这些原则应指导对人工智能的负责任的使用,不管是在其组织内部,还是超越本组织的范围。8

虽然这些努力通常都是令人钦佩的,然而伦理守则在一些关键方面还是有其局限性:缺乏一个普遍同意的框架;不像法律,伦理规则没有拘束力,因此也不能保证会得到遵守;它们通常体现的是创制这些规则的组织的价值观,而不能代表那些各种各样有可能受人工智能系统影响者的价值观;那些日常工作就是设计和应用人工智能工具的人也无法自动适用这些守则。此外,这些原则的起草者往往并未提供指导如何解决原则之间出现冲突或矛盾(比如遵守某一原则将会导致对另一原则的违反)的情况,从而使其更难实际适用。而且,因为大部分基于人工智能的产品都是由科技公司制造或控制的,所以这种治理模式主要依靠公司的自我规范——这一点是很让人担忧的,因为公司决策缺乏民主参与和问责制。

将这些原则适用于发展与人道援助并进行实操还会带来新的挑战。除了晚近的几份关于人工智能伦理和人道主义的高质量白皮书之外,实践者在这一快速发展的领域可资参考的指南仍然非常匮乏。9 还不要提在发展或人道项目中还有一些与生俱来的因素,会加剧人工智能伦理方面的传统挑战,或是带来全新的挑战。

人工智能治理正迅速成为一个全球性的优先事项。正如联合国秘书长的《数字合作路线图》反复明确指出的,无论是在新冠疫情中还是其他情况下,关于全球各界对人工智能采取的方法都必须充分尊重人权。10 联合国和其他国际组织都对该领域予以了日益关注,这既体现了在应对全球性挑战——包括可持续发展目标方面对人工智能和其他数据驱动的解决方案日益增长的需要,也体现了这些解决方案所可能带来的伦理风险。2019年,联合国大会 11 和联合国人权理事会(HRC)12 均通过决议,号召将国际人权法适用于人工智能和其他新兴数字技术,联合国大会还警告称“如不采取适当保护措施,……特征类型分析、自动化决策、机器学习等技术可能导致人们作出的决定有可能影响到人们享有……人权。” 13

这样的努力有其紧迫性:在我们就人权原则和机制如何适用于人工智能争吵不休的同时,数字技术仍在迅速发展。国际公共部门越来越频繁地使用人工智能,这也就意味着在该领域正不断出现新的风险。新冠疫情是一个很及时的提醒。为了确保人工智能工具促进人类的发展并助力于可持续发展目标的实现,有必要在发展保护人权的工具、政策和问责机制方面做出积极和具包容性的努力。

本文的结论基于以下资料得出:由联合国“全球脉动”计划举办,或与其他负责保护隐私及其他人权的机构合办的多利益相关方谘商所产生的质性研究数据,这些其他机构包括联合国人权事务高级专员办事处(人权高专办)及各国的数据保护部门; 14 与联合国“全球脉动”计划数据和人工智能治理专家组多元化的人工智能和数据专家成员们进行的多次访谈和会见;15 联合国人权专家的指导和报告;关于人权和伦理的学术著作;还有一些组织针对发展和人道领域所发布的实践指南,这些组织包括世界卫生组织、联合国人道主义事务协调厅(OCHA)、16 红十字国际委员会(ICRC)、17 哈佛人道倡议、18 即时联通(Access Now)、19 第19条(Article 19)、 20 美国国际开发署(USAID)的数据发展中心,21 以及人道数据科学和伦理小组(DSEG)。22

人道援助中的人工智能:机遇

人工智能并不是某一种特定的技术。相反,它是一个宽泛的术语,包括了一系列试图模仿人类智能中某些方面的工具或能力。作为一个类称,人工智能通常是指将一个分析过程自动化的系统,比如自动化数据识别和分类;在较为少见的情况下,人工智能系统也可能会将决策自动化。因此,相比于通常使用的“人工智能”或“AI”,有的人更倾向于使用“自动化智能系统”这一术语。在本文中,“人工智能”主要是指机器学习(ML)算法,这种算法是人工智能系统的常见组成部分,其特点是能够识别模式、从模式中学习,并将所学到的东西运用到新的情形中。23 机器学习模型可以是受监督的,意味着需要人类输入一系列的规则供其使用;也可以是不受监督的,这就意味着该模型能够从数据本身学习规则,而不需要程序员人工输入规则。出于这个原因,后面这套模型也常常被称为自学习模型。24 而深度学习(DL)则是指机器学习的一种更为强大的子类型,它使用多层人工神经网络(这些网络以人脑神经元为模型)来识别模式并做出预测。25

算法系统能够“以超越人类能力和速度的方式执行复杂任务、自学习以提升表现水平,以及进行复杂的分析来预测未来可能的结果”。26 今天,这些系统具备多种能力,包括自然语言处理、计算机视觉、语音和音频处理、预测分析和先进机器人技术。 27 这些技术和其他技术已经被创新性地运用于加强发展和人道行动。计算机视觉被用于自动识别卫星影像中的结构,从而使人们能够迅速追踪移民动向,以及在人道危机情况下帮助人们高效地分发人道援助物资。 28 很多发展中国家都采取了大量举措来为农民提供预测,以减轻干旱和其他恶性气候带来的灾害,并通过在最佳时机播种来获得最好的农作物产量。29 在医疗资源匮乏的地区,前沿性的人工智能工具使人们能够对营养不良这样的健康问题进行远程诊断。30 而这样的例子每天都在增多。31

有几个因素可以解释人工智能在该领域及其他一些领域的激增发展。但可能数据革命才是最重要的催化剂,它对发展和人道主义所具有的相关性也呈现了指数级增长。32 数据是人工智能发展的关键燃料;如果不能对相关的数据集加以训练,人工智能模型就不能学习。传统上来说,在发展中经济体,尤其在最不发达国家 33 及人道环境中,会更难找到高质量的数据,因为在这些地区及领域,技术基础设施、资源和专业技能往往处于初级阶段。不过根据人道数据科学和伦理小组最近发布的一份详细的白皮书,这一情况正开始发生改变:

目前,在世界范围内数据都在以前所未有的速度被收集,更广泛的利益相关方产出“人道”数据,数据正变得越来越机器可读,也更容易通过线上站点获取数据。这为人道领域创制了一个有益于创新和进步的环境,并带来了更高的透明度、明智的决策,以及高效的人道服务提供。34

人工智能遵守人权的主要挑战

正是让人工智能系统如此强大的那些特性,为使用人工智能系统所影响的人的权利和自由带来风险。然而,新兴数字技术往往都是这样,所以很重要的是精确了解人工智能的哪些地方是“新的”或是独特的——因此了解为什么它要求加以特别关注。本文并不打算对人工智能的新颖特性做一彻底的技术分析,但下文将会总结在人权相关讨论中最经常提及的一些人工智能系统所带来的挑战。

缺乏透明度和可解释性

人工智能系统对于人类决策者来说常常是模糊的,这也就是所谓的黑箱问题。35 与传统算法不同,人类可能无法追踪机器学习或深度学习过程所作出的决定,因此也无法对其进行审核,或向公众以及监督其使用的人做出解释(这也是所谓的可解释性原则)。36 这意味着人工智能系统对使用这些系统而受影响的人也会是模糊不清的,导致在系统造成伤害时确保问责方面具有挑战。人工智能系统的模糊性可使得人们无法确认其权利是否已经被违反以及为何被违反,从而也无法针对这些违法行为寻求救济。此外,即使理解这些系统是可能的,那也可能需要很高程度的技术专长,而普通人并没有这样的专长。37 这可能会阻碍为人工智能系统造成的损害寻求救济的努力。

问责

这一在透明度和可解释性方面的缺乏会严重阻碍对自动决策所造成损害的问责,在治理和实操层面都是如此。这个问题具有两面性。首先,个人常常并不知道人工智能何时以及如何被用来决定其权利。38 关于促进和保护意见和表达自由权问题的前联合国特别报告员大卫·凯伊曾警告说,个人不大可能意识到“存在影响其权〔利〕的算法决策过程以及决策的范围和程度。”关于使用人工智能系统的个人通知功能“几乎生来就不具备。” 39 在人道背景下更是如此,受影响的个人往往没有能力对数据收集和分析给出真实的同意(比如他们可能需要给出这种同意才能获得必不可少的服务)。40

其次,数据经济的模糊性及对人权问责机制的缺乏41 会使个人难以知晓对其权利造成的损害,并在这些损害发生时寻求救济。这也让即使是饱学的专家或事实调查员都难以审核这些系统并诊断出问题所在。大部分发展和人道项目的组织复杂性会进一步加剧这些挑战。42 如果一个单独的项目就包含了一长串的参与方(包括出资者、外国政府、国际组织、承包商、私营销售商、地方政府部门、民间社会合作伙伴和数据收集者),那么如果系统做出了一个歧视性的决定(或系统提供的分析最终导致偏颇的决定),那最终应该由谁来负责呢?

不可预测性

机器学习和深度学习的一个显著特征就是其能以无法预料的方式进行学习和演变。换言之,它们能够“逐渐发现新问题,找到新的解决办法。根据监督程度的不同,系统可能发现和归纳编写程序或发出指令的人没有预见的规律。”43 这里面正是它们最重要的价值;在某些情况下,机器学习算法能够分析那些其未被训练过的数据,使其能够处理新任务,甚或在新的环境下运行。但与此同时,一个人工智能系统的功能解决方案不见得总是符合逻辑的,甚至不见得能被人类解释者所理解。这种特性使得人类设计者和实施者难以预测——更遑论解释——某一系统或其在特定环境下的运用会带来何种性质和程度的风险。此外,即使是最强大的机器学习系统,其可适应性也是有限的。很多系统在新环境中并不能很好地泛化,导致如果将其用于与其训练数据大相径庭的数据,就会带来极大的不可预测性。

对隐私权的损害

人工智能系统能够分析海量私密数据或可公开获取的数据并据以做出推测,这种能力可能会严重影响受保护的隐私权的很多方面。人工智能系统可能会揭示出关于个人的所在地、社交网络、政治派别、性偏好及其他更多的敏感信息,都是基于人们自愿在网上发布的信息(比如用户在社交媒体上发布的文字和图片),或通过其数字设备无意中产生的数据(比如GPS或机站位置数据)。44 在人道领域这种风险尤其严重,因为受人工智能系统影响的人很有可能已经属于最被边缘化的人群。这样一来,有的数据或分析可能通常不会被认为是敏感的,但在这种情况下也变成了敏感的。比如说,基本的身份识别信息——比如姓名、故乡和地址——可能在大部分情况下可以公开获取,但对于一个正在逃离其母国的压迫和迫害的难民而言,这些信息如果落在不怀好意的人手里,就可能损害难民的安全和安保。45 此外,数据密集型的机器学习可以助长进一步的数据收集,从而导致对隐私权更多的侵犯以及去匿名化的风险。不止于此,运用人工智能分析大量的私人数据也与侵犯其他权利相关,包括思想和表达自由、结社自由与和平集会自由,以及获取有效救济的权利。46

不平等、歧视和偏见

如果用不完整、带有偏见或有其他缺陷的数据来训练人工智能模型,则可能会导致人工智能系统产出歧视性或不公平的决定和结果。 47 数据中的偏见和其他缺陷会在多个不同阶段侵染到系统中:在最初界定问题的阶段(比如可能会选择一个与社会经济或种族特征相关的指标变量);在收集数据的时候(比如一个边缘群体在训练数据中没有得到足够的体现);以及在准备数据的时候。 48 在某些情况下,开发者本身固有的偏见可能会在无意中被编程进人工智能模型中。已经有几个机器学习系统显示出种族或性别偏见的著名案例——比如,亚马逊用于简历审查的一个机器学习工具不成比例地拒绝了女性,或有些人脸识别工具比较不擅长识别非白人的脸孔。 49 在人道领域,避免不希望发生的偏见和歧视与中立这一核心的人道原则息息相关, 50 而且这种歧视可能会带来极高的代价——比如决定谁能得到至关重要的援助,甚至谁可以活下来而谁会死去。51 在宏观层面,(包括人工智能在内的)算法会造成“加深不同人和群体之间既有的不公平,并进一步侵害特定弱势群体的权利。”这是因为“相对于其他类型的数据分析而言,算法更有可能制造出不断重复性的危害性反馈循环,而因为算法本身的自动性而得不到检查。”52

在设计阶段缺乏背景知识

在人工智能项目的设计和应用阶段之间经常会出现脱钩的情况。如果该系统是要用于人道背景中,这个问题就更为关键。53 这些工具的设计可能缺乏足够的背景知识;很多时候它们是为了用于商业和市场决策而开发的,而不是用于在发展中国家进行人道援助。如果这些工具的设计没有考虑特定的文化、社会以及性别相关的问题,就可能导致误导性的决定,从而对人们的生命带来有害影响。例如,在硅谷构想和设计,却在一个发展中国家投入使用的系统可能没有考虑到该国独特的政治和文化敏感性。系统开发者可能并不知道在某国,某些被污名化的群体在一个数据集中没有被充分代表,甚至“不可见”,从而未能在训练模型中纠正这一偏见;又或者系统开发者在开发一个用于人道背景的工具时,可能并不知道移民社区和国内流离失所者经常会被排除在人口普查、人口统计及其他数据集之外。 54

专业技能的缺乏及最后一英里执行问题

人工智能和其他数据驱动工具的使用者缺乏足够的专业技能或培训,这也会带来很多人权方面的风险。公共部门总体上而言就是如此,其缺乏数据素养是广泛的共识。 55 这可能导致以下的倾向:错误解读系统的输出信息、高估系统的预测能力,或是过度依赖系统的输出信息,比如以系统的“决定”取代人工判断。它可能造成的风险还有决策者或政策制定者将把人工智能当作一个依靠,用人工智能分析来为他们的选择加上一层客观性或中立性的表象。

在发展中国家和人道背景中,技术资源、基础设施或组织能力的缺乏可能会妨碍人工智能系统得到成功的运用,从而进一步加剧上述风险。56 这些所谓“最后一英里的实施”的挑战可能会恶化人权风险和其他问题,尤其是在人道背景中。比如,系统缺陷——无论是已预见到的或是未预见到的——均可能增加人工犯错的几率,这可能包括各种错误,从未能监督系统到过度依赖系统,或错误解读系统提供的洞见。而这可能会带来伤害性的影响,比如不能提供关键援助,甚或歧视和迫害。

缺乏高质量的数据

可信和安全的人工智能依靠的是高质量的数据。如果不能方便地获取高质量数据集,则无法训练和使用人工智能来避免放大上述风险。但数据的可获得性和可及性的程度常常会体现社会、经济、政治和其他的不平等。57 高质量的数据收集在很多发展和人道背景下会困难很多。这会加剧人工智能系统产出不公平结果的风险。58 数据质量标准虽并不是一个新问题——负责任的技术人员早已开发出了关于高质量数据的原则和最佳实践59 ——但仍然没有足够的法律框架来保证获取可用的数据集。正如联合国秘书长在其《数字合作路线图》里所言:“大多数现有数字公共产品〔包括高质量数据〕不容易被获取,因为它们往往因语言、内容和使用所需基础设施而分布不均”。60

人工智能的过度使用

人工智能系统的分析和预测能力可能会让人觉得它们是很有吸引力的难题“解决方案”,对于缺乏资源的一线工作者和为这些项目寻求资助的人来说都是如此。这导致人工智能可能被滥用的风险,比如在可以采用风险更低的解决方式时仍采用人工智能。61 举例来说,关于人工智能的能力和限制,包括其技术上的限制,存在着很多广泛传播的误解。媒体普遍倾向于将人工智能描述为可以解决各种分析性问题的强大机器或机器人。但事实上,人工智能项目通常是非常专门化的,设计为只是在特定场合针对特定数据集为了特定目的而使用。因为这种误解,用户可能并不知道他们是在跟一个人工智能驱动的系统进行互动。此外,虽然人工智能有时可以取代人工劳力或人工分析,但在高度敏感或涉及巨大利益的情况下,通常都不适合用人工智能来取代人工决策。比如,让人工智能支持的系统就如何判刑、是否提供庇护62 或选择监护人作出决定,就可能损害个人的自主性、加重心理伤害,甚或侵蚀社会联系——因为这些情况涉及的是基本的权利和自由,而且受影响的个人可能本就已经受到创伤或处于极度困难的状态。 63

私营部门的影响

用于发展和人道领域的人工智能系统大部分都是由私营科技公司开发和部署的,常常是通过第三方供应商合同或公私合作的形式。这造成某些情况下公司利益会盖过公共利益的可能。比如,盈利目的可能会成为强大的动力,来推动采用昂贵的“高科技”路径,即使“低科技”路径可能对环境更友好,也更适合于当地环境和项目的目的。 64 此外,国家和商业之间的紧密合作可能会损害透明度和问责制,比如因为合同或商业秘密保护而阻碍获取信息。公司参与方的深度介入还可能导致授权公司就涉及公共利益的事项作出决策。例如,风险之一是人道参与方和国家将“把越来越复杂和繁重的审查和监督任务委托给”公司去做。65

固化和加深不平等

使用复杂的人工智能系统来支持对边缘群体或弱势群体的服务有时会产生相反的结果,会深化不平等并带来更进一步的权利剥夺。如前所述,这方面的一个大问题是数据偏见和模型不完善,但同时,这些问题也可被视为体现了政治经济、性别或种族方面根深蒂固的鸿沟,而日益增长的人工智能使用很有可能加深这些鸿沟,认识到这一点是很重要的。联合国教科文组织最近就提到了这一点,并将其与人工智能在权力分配方面的影响联系起来,联合国教科文组织认为“人工智能技术所产生的规模和其衍生的权力加深了个人、群体和国家间的不对等,包括在国家内部和国家之间存在的所谓的‘数字鸿沟’”。66 上面提到的公司掌控决策权可能会成为造成这种结果最重要的因素之一。扭转这种趋势并不容易,这需要政治意愿、合作、开诚布公的多方利益相关者合作、加强社会的民主治理和推动人权,以赋能人们积极地参与型塑其生活在兹的技术和治理环境。

交叉性问题

前述这些挑战将人工智能系统与我们以前规制过的技术区分开来,从而可能需要新的解决办法。但值得指出的是,很多深层的挑战并不是新事物。从这一方面来说,有时我们也可以借鉴其他领域来为人工智能治理提供最佳实践。比如,数据隐私和数据安全风险以及为了保护信息而制定的标准都已经存在很长时间了。诚然,随着技术的发展以及更多数据的产生,需要发展出新的保护机制或者升级旧机制,以适应新的挑战。由于人道工作收集和处理的数据非常敏感,数据安全始终是一个关键的考量因素。

此外,在更宽泛的“科技为发展”领域,实务工作者早已在应对人道援助中的人工智能所面临的很多挑战,67 比如前面提到的跟最后一英里项目实施问题相关的挑战。另一个长期存在的挑战是发展或人道项目有时必须要衡量和人权纪录不佳的政府进行合作所带来的风险。对于像人工智能这样强大的工具来说这点是毋庸置疑的。被设计用于有益社会目的的人工智能系统——比如在疾病暴发时用于遏制疾病传播的数字接触者追踪技术——就有可能被政府用来进行侵入式的监视。68

另外,虽然上述所有的挑战都很常见而且可能导致伤害,但这些人工智能系统或进程是在一个怎样的组织环境中工作也是决定其风险的一个同等重要的因素。不管系统本身的分析和预测能力如何(它是只有一个简单的算法还是包含了复杂的神经元网络),取决于人机交互和人工监督的性质和程度,我们可以预测到截然不同的益处和损害风险。

上述的挑战并不只是理论上的——已经有无数高级人工智能系统造成严重损害的实例了。在目前为止最受关注的一些人工智能酿成的灾害中,使用者是想要改进或精简公共服务的政府部门或其他公共部门。比如最近的一个趋势是政府使用算法分析来决定福利受益人的资格或排除欺诈性的请求。69 在澳大利亚、荷兰和美国,系统性的设计缺陷或人工监督不足——当然也还有一些其他的问题——已经导致了大量的人被剥夺了获得财务资助、住房或医疗服务的权利。 70 2020年8月,因为被指种族偏见,英国内政部决定放弃其用来筛查签证申请者的一个决策算法。71

相对来说,对于人道领域的人工智能使用已经造成的损害,我们知之甚少。正如人道数据科学和伦理小组在其报告中所指出的,对于人工智能的风险和损害,“由于缺乏跟踪和信息分享”以及“不报告事故的一般态度”,这方面仍然“缺乏被记录在案的证据”。72 在其他领域(比如社会福利),上文所述的风险已经被证实,而在人道领域至少有证据表明存在与生物特征识别相关的潜在担忧,而受影响的人也对此感到恐惧。

卡里姆(Karim)是最近的一个鲜活的例子,它是一个心理治疗聊天机器人,是为了生活在扎塔里难民营的叙利亚难民而开发的并在他们身上试用。在与数字人道网络(Digital Humanitarian Network)的研究人员交流时,有专家对此表示了担忧,他们认为开发一个人工智能心理治疗聊天机器人——尽管技术是先进的——也体现了对该种情境下弱势群体的需求缺乏了解。73 在试用期间,一些语言和后勤障碍变得很明显,除此之外,这些专家还认为,机器心理咨询师事实上并不会比没有咨询师更好——事实上长期来看它可能还有增加咨询对象疏离感的风险。 74 按照人道技术项目(Humanitarian Technologies Project)的观点:当“关于人道领域的技术使用的预设,和弱势群体对这些技术的实际使用及其有效性之间存在一条鸿沟”时,会发生什么,卡里姆似乎恰恰是一个生动的例子。75

上述挑战表明,如果人工智能工具不适用于相应的背景,或部署工具的人缺乏如何使用的专业知识,那么在弱势群体身上适用未经论证的人工智能工具就有可能严重损害人权。76

人工智能的治理方法:伦理之外

上述例子阐明了人工智能虽然可以为人类的利益服务,但如果没有适当的保障措施且不对相应的风险进行问责,那么它也有可能损害人类的利益。因此,设计这些系统的技术人员以及使用人工智能的人道和发展专家都越来越清楚地意识到需要在其工作中纳入人权和伦理考量。与此相应,人们已经制定出越来越多的技术规范和标准来确保人工智能系统是“安全的”“可靠的”和“可信任的”。77 但仅靠技术规范是不足以确保人工智能系统为人类利益服务的。正如麦格雷戈(McGregor)、默里(Murray)和吴(Ng)所主张的,应该要有一个更宽泛的总体框架,囊括系统生命周期中每个阶段的损害风险,并确保在出现问题时能加以问责。78

早期的人工智能治理工具表面上看是为了发挥这种指导性的作用而开发的,但这些工具基本上都采用了“人工智能伦理准则”的形式。79 这些准则通常包含了相应组织承诺遵守的指导性原则,类似于开发和使用人工智能的一个宪章。顾名思义,这些准则通常都援引公平和正义这样的伦理原则,而不是保障具体的人权。80 事实上,人权——所有国家都必须遵守的普世性且有拘束力的原则和条约体系——却明显没有被纳入这些文件中。81 据联合国极端贫困和人权问题特别报告员菲利普·奥尔斯顿所说,许多人工智能伦理准则都只是象征性地提到了人权——比如把承诺尊重“人权”作为一项单独的原则——却没有体现《世界人权宣言》和人权条约所规定的实质性权利。82

这种“伦理优先的方法”的缺陷正日益明显。一个关键的缺陷是当伦理原则被违反时缺乏问责机制。83 大部分伦理守则没有回答谁应该为“不符合伦理”的技术使用付出代价、应付何种代价,以及怎样监督违反守则的行为和执行守则。此外,也不清楚一个觉得自己权利受侵犯的个人能如何确定自己确实受到了侵犯,以及要遵循何种程序来寻求救济。84 与人权法不同,伦理守则基本上不会厘清如何平衡迥然不同的群体或个人的不同利益,他们中有些人可能会从某一人工智能系统中获益,而同时损害另一些人的利益。人工智能伦理守则或许是走向更具拘束力的治理措施过程中重要的第一步,但需要对其做出更进一步的阐明,形成具体和可执行的权利,这样才能产生真正的效果。

把人权作为底线

因为这些和其他的一些原因,在联合国“全球脉动”计划和人权高专办组织的一系列谘商85 中有广泛的共识,认为任何有效的人工智能治理体制都应当以人权为基石。国际人权法提供了一个人们普遍承认而又全面的框架,可以预测、防止和救济前文提到的风险和损害。正如麦格雷戈等人所指出的,国际人权法提供了“关于算法设计、开发和使用的一个组织性框架,并识别了国家和企业应当考虑的因素,以避免损害或侵犯人权”。86 这一框架并不是一系列孤立和静止的“规则”,而是“可以容纳其他的算法问责路径——包括技术性的解决方案——而且……随着国际人权法本身的发展,尤其是在商业和人权领域的发展,这一框架也可以不断发展和成长”。 87

支持国际人权法的理由可以分为几个不同的方面,共同论证这一框架对于人工智能所带来的新风险和损害是特别适用的。首先,与伦理不同,国际人权法是普世的。88 国际人权法提供了通用的语汇和一整套规则,能够跨国境和跨文化适用,确保人工智能服务于《世界人权宣言》和其他文件中所体现的共享的人类价值。没有其他共通的道德和法律原则体系像《世界人权宣言》这样在全球都得到承认。89 今日的世界,技术和数据几乎跨境无缝流动,且不能由一个单独的管辖区域对技术进行有效治理,因此这种普世的合法性就至关重要了。

其次,国际人权法对国家有拘束力。具体而言,它要求国家设立一个框架,来“防止违反人权的行为、建立监督机制来保障人权、惩治责任人,以及为声称其权利受到侵犯的个人和群体提供救济”。 90 在国际层面上,国际人权法体系还提供了一套自带的问责和倡导机制,包括联合国人权理事会和各种条约机构,这些机构有申诉机制并有能力审查缔约国的人权表现;联合国人权理事会的特别程序(即工作组和特别报告员)可以进行调查并发布报告和意见;91 日益重要的还有国际法院,它正在人权和人道相关判例中发挥着越来越大的作用。92 此外,区域性人权机制也在发展人权体制方面发挥了关键性的作用,包括使个人可以对违反人权的责任者提起法律诉讼。 93

再次,国际人权法的分析视角着眼于特定背景下的权利持有者和义务承担者,从而使其更容易将原则适用于真实的情境。94 国际人权法不空谈“公平”这样的宽泛理想,而是要求人工智能系统的开发者和实施者聚焦于哪些人受该技术的影响,以及他们哪些具体的基本权利会受影响。这是一个非常实际的做法,它将高高在上的理想转译为精准阐释的风险和损害。与此相关的是,很多人权问责机制也使个人可以在各种裁决机构中进行申诉,来维持自己的权利。当然,在一个人权法庭提起诉讼并提出一项有望成功的申诉并不像说起来那么简单。但至少人权法为这些个人提供了一种“语言和程序,来对抗强大参与方的行动”,不管这些参与方是国家还是企业。95

然后,国际人权法在定义具体权利的同时,也界定了需要被避免、减轻和救济的损害。96 这种做法使其也界定了国家和其他机构——包括发展和人道参与方——可以努力达到的目标。比如,联合国经济、社会及文化权利委员会就发展出了“可获得性、可调试性和可接受性”的标准,国家的社会保障体系应致力于达成这些标准。97

最后,人权法和人权判例提供了一个框架,可用来平衡互相冲突的权利。98 在决定是否投入使用一个既能带来好处又会造成风险的技术工具时,这一点是至关重要的。在这种情况下,人权法可以提供指引,通过对将要使用的人工智能工具适用合法性、正当性、必要性和比例性原则,判定特定的基本权利可以在何时及以何种方式受到限制。 99 人权法也能以这种方式确定红线——也即确定有哪些行为是绝对禁止的。100 当人道组织试图决定是否应该完全避免使用某一个特定的人工智能技术(比如人脸识别技术)时,这一框架将会特别有帮助。

在大部分为了人道目的使用人工智能的情况下,这种平衡框架的必要性按理来说都应该是显而易见的。联合国“全球脉动”计划的风险、危害和效益评估(Risks, Harms and Benefits Assessment)即纳入了这种平衡的方式,它要求人工智能或数据分析项目的实施者不仅要考虑隐私权方面的风险以及潜在危害的可能性、程度和严重性/重要性,同时也要将这些风险和危害与项目带来的预期效益做比较。国际人权法判例有助于给强大的人工智能工具在这种情形下如何使用提供指引,这些判例要求,只有在由法律所规定、为了实现某一合理目标,且实际使用为实现目标所必需并与目标成比例时,方可允许这种使用。 101 为了达到这种平衡,决策者可以参考数十年的国际人权法判例,来决定如何处理相竞权利或不同个人的权利之间的冲突。102 其他包含这种平衡框架的工具和指南103 还有《适用人权于通信监控的国际原则》104 以及人道协调厅关于数据影响评估的《指导说明》。 105

实施国际人权法中的不足:私营部门的问责制

国际人权法的一大限制就是其只适用于国家。因此个人只能垂直地提起人权之诉——即只能针对国家,而不能针对其他公民、组织或更重要的是针对公司——水平地提起人权之诉。 106 这对于人工智能的问责来说似乎是一个问题,因为私营部门在开发人工智能方面起着引领性的作用,而且该领域大部分的创新都是由私营部门作出的。当然,国际人权法要求国家将人权标准纳入其国内法;而国内法会规制私营部门。但过往的经验已经告诉我们,国家并不总是能做到这一点,而且即使国家将人权法纳入了其国内的规制体系,它们也只能在自己的管辖范围内执行法律。而很多大型的技术公司都是跨国运营的,也包括在人权保护偏弱或未得到充分执行的国家运营。

尽管如此,人权法有强大的道德和象征性影响力,可以塑造公共讨论,使批评更为尖锐,并助力对公司的施压,而且独立于国家履行其人权义务的能力和意愿之外的、公司本身的人权责任正在日益得到承认。107 有很多机制和施压的方法,可以促使私营公司遵守人权。

《联合国工商业与人权指导原则》(UN Guiding Principles on Business and Human Rights,《联合国指导原则》)正在成为遵守人权的商业行为方面的国际准则。108 《联合国指导原则》认为企业在其所有的商业行为中都负有尊重人权的责任,它号召企业实施人权尽责调查,以识别、处理和减轻在其产品的购买、开发和使用过程中对人权造成的负面影响。 109 越来越多人权方面的权威机构已经重申,这些义务也同样适用于算法处理、人工智能和其他新兴数字技术110 ——最近的这种重申是在联合国人权高专办关于在和平抗议情况下使用人脸识别等技术的报告中。 111 关于《联合国指导原则》如何适用于数字技术的开发和使用,人权高专办也在起草详尽的指南。112 越来越多的领先人工智能企业,比如Element AI、微软和西班牙电信(Telefonica),也已经开始将《联合国指导原则》适用于其人工智能产品。113

对于以遵守人权的方法来对待人工智能的第二个批评是在人工智能投入周期的各个阶段都优先考虑人权会阻碍创新。这是有些道理的——强调人权有时候确实会延缓甚或完全排除一个风险产品被投入使用。但这也可能避免最终需要处理违反人权的后果,而这可能会造成更高昂的代价。 114 此外,基于人权的方法的价值并不仅仅是确保遵守人权,而是将人权嵌入一个项目的整个构思、开发和开展过程中。因此,在开发过程中的每个阶段都优先考虑人权应当能够减少某一产品最后因为风险太高而无法投入使用的情况。

伦理的作用

虽然人权应当界定人工智能治理的外部边界,但在负责任的人工智能治理中伦理也占有重要的一席之地。即使是基于人权的人工智能路径的热切支持者中,也有很多人承认伦理原则在增进和补充人权方面所起到的补充和强化作用。在人工智能领域,“伦理”一般是指所谓的FAccT原则:公平、问责和透明(有时也被称为FATE,其中E代表“伦理”)。115 有人认为,FAccT路径不同于刻板的法律,它避开了硬性的“权利”,而倾向于从更广泛的角度来考虑系统会给社会带来何种影响。116

虽然基于人权的路径和基于伦理的方法之间存在着重要的区别,但我们的谘商表明,人工智能政策方面大肆讨论的“人权还是伦理”的分别某种意义上来说可能是一个伪二分法。117 值得强调的是,人权和伦理从根本上来说有着相同的目标。正如即时联通言简意赅地指出的,任何“不符合伦理”的人工智能使用也很可能会违反人权(反之亦然)。118 话虽如此,但人权倡导者对“伦理洗白”现象的担忧也是有道理的,119 “伦理洗白”是指技术创造者——通常是私营公司——用模糊而无法实施的伦理准则来自我规制。而另一方面,技术专家则往往会怀疑“僵化的”人权法是否能适应于人工智能和机器学习的新特性及其风险和损害。这两方面的担忧可能都有其道理,但两种路径实际上是可以互相补充的,而非互相妨碍。

例如,人权判例要发展出规制新兴数字技术所需要的专门性可能需要很长的时间,而将人权法适用于国内规制可能需要更长的时间。当法律没有给人工智能开发者和使用者提供明确或直接的答案时,伦理可能有助于填补空白;120 不过对既有人权法规定和判例法进行解释也可以起到这种作用。此外,伦理还可以提高人权框架所设定的最低标准,或有助于纳入人权法上还未完全确立的原则。 121 比如,开发人工智能工具的组织可以承诺在所有使用人工智能的决策中均保证人工监督——这一原则没有被明确规定在任何一个人权条约中,但毫无疑问会加强(和执行)人权。122 致力于确保人工智能的经济和物质收益得到公平分配的组织则可能希望在其人工智能的使用中纳入分配公正123 或团结124 等伦理原则。

在发展和人道领域使用人工智能时,其目的并不仅仅是通过遵守人权来避免受到规制或是降低诉讼风险。事实上,在发展和人道领域,可实施的规则或监督机制可能很少遇到阻碍。相反,这些参与方想要的是从物质上改善目标群体的生活和福祉。如果人工智能不能保护受影响人的权利,那就可能反而破坏了这一发展和人道的第一要务了。基于这些原因,发展和人道参与方正更热切地寻求以尊重人权和伦理的方式设计出来的人工智能。125

原则和工具

除非一个基于人权的框架能够在组织的日常工作中得到实际实施,否则它就不会产生多大的效果。这就要求为产品生命周期的各个阶段以及每一次使用都开发出用于人工智能系统设计和实操的工具和机制。本节将介绍几个这种工具,在我们的谘商和访谈中,很多人都认为这些工具是有帮助或必不可少的。

在其《新技术战略》中,联合国秘书长强调道,联合国承诺一方面“深化〔其〕内部能力,扩大利用新技术”,另一方面“支持关于规范与合作框架的对话”。126 秘书长的数字合作高级别小组也给出了类似的意见,号召深化数字合作,为人工智能系统的设计和使用制定透明性、可解释性和问责方面的标准和原则。 127 在联合国和其他国际组织中还有一些关于发展伦理原则和实操工具的早期工作。128

内部人工智能原则

起草一套基于人权而通过伦理得到加强的人工智能原则能有助于指引组织在该领域的工作——并最终有利于其实施人权。这种“准则”的目标将是给每一位员工提供指引,以确保在人工智能生命周期的每一阶段人的需求和权利都始终得到关注。更重要的是,这些原则也会加强该组织随后开发出来的所有合规工具或机制,包括风险评估、技术标准和审核程序。这些原则应当足够宽泛,以使其在新情况下也可以被解释而提供指引——比如出现了原本预期之外的技术能力——但这些原则也应足够具体,使其能够在组织的日常工作中加以实施。

联合国秘书长建议开发“可信、基于人权、安全和可持续并促进和平”的人工智能。129 组织的指导原则应当植根于这四点,但基于各个组织的工作性质和工作环境,也可能会有各种不同的变化。我们的谘商认为,一套有效的原则应当植根于人权原则——根据人工智能背景加以解释或调整——同时也应有补充性的伦理原则,它们的灵活性使其可以应对技术发展带来的新挑战。

本文并不打算建议一整套的原则,但越来越多的人一致同意某些挑战是需要特别关注的。下文将更详细地讨论其中的三个挑战——不歧视、透明和可解释性,还有问责。其他经常被提到的原则还有以人为中心的设计、人工控制或监督、包容性和多元性、隐私、技术稳健性、团结、可持续、民主、良治、意识和素养、乌班图(ubuntu,社团关爱精神),以及禁止致命性自主武器系统。图1基于联合国“全球脉动”计划的勒内·克劳森·尼尔森(René Clausen Nielsen)2019年的分析,显示了在人工智能伦理指南中最常出现的原则。

图1:现有人工智能指南中的伦理原则。联合国“全球脉动”计划的勒内·克劳森·尼尔森所做的分析,基于A. Jobin, M. Ienca, and E. Vayena, above note 36。

图1:现有人工智能指南中的伦理原则。联合国“全球脉动”计划的勒内·克劳森·尼尔森所做的分析,基于A. Jobin, M. Ienca, and E. Vayena, above note 36。

诚然,通过一项伦理准则本身并不能保证组织会在开发人工智能工具时优先考虑人权。这些原则要落实到实际操作中才能真正发挥作用。在这个实操化的过程中,基本的一步是要在管理层通过一项有拘束力的人权政策承诺。此外,需要有合适的管理和监督架构及过程,来陪伴和指引这些承诺的执行。接下来可以采取的步骤包括把这些承诺转译成技术标准,这样就可以进行质量管控和审核。比如有专家提议关于算法透明度的技术标准,或执行一些规则来自动检测算法进程可能产生的不公平的结果。130 此外,准则的制定应当使其能够促进并影响具体的工具和程序的创制,这些工具和程序能在人工智能生命周期的各个阶段减轻人权风险。比如它可以是下文将要谈到的人权尽责调查工具的要素之一。

虽然前述原则中的每一条都可能是至关重要的,但我们的谘商集中关注了三个互相联系的伦理原则:不歧视、透明和可解释性,以及问责。这些原则植根于国际人权法,需要进一步阐释并更仔细地加以执行。将人工智能用于人道援助的组织需要制定政策和机制,确保这些人工智能系统没有造成歧视性的影响;确保其决定能够被理解和被解释,至少在与其风险相应的程度上能够被理解和被解释;并确保因其运作而产生的损害能被问责。在使用人工智能来帮助弱势群体的行动中这点尤其关键。这些虽并非与人工智能有关的唯一治理难题,但以此为出发点,可以展开讨论是什么让人工智能不同于其他的技术,以及为何人工智能给人权带来了独特的挑战。131

不歧视

不歧视是人道组织需要确保的关键原则之一。人工智能系统往往反映了既存的权力关系和动态,而其使用又可能会造成新的或是加剧既存的不平等和依赖关系。因此我们需要开宗明义地指出,在人道领域内任何开发和使用人工智能系统的决定都需要采取一种整体性的视角,需要考虑该系统在目标环境中将会如何运作,它将如何影响人们的生活,尤其需要关注弱势群体。

我们的谘商和研究中提出了一些解决建议。首先,多元性和包容性对于确保以不歧视的方式来使用人工智能系统绝对是至关重要的。在人工智能开发和使用的各个方面,从在设计和使用人工智能系统的团队中纳入多元观点,到确保训练数据代表目标人群,都应当贯彻该项原则。与受影响群体的代表进行有效而全面的磋商,对于防止最后使用的人工智能解决方案造成排斥性和歧视性的后果具有至关重要的作用。

其次是亟需能力建设和知识共享。我们谘商的实践工作者提出需要一个善意的中间人,在全世界范围内协调知识共享,并就如何解决偏见问题提供实际的建议。这样的一个组织可以收集发展和人道领域人工智能使用方面的最佳实践,并界定在哪些领域内需要禁止使用人工智能的尝试。对于那些使用人工智能,却不知如何检验其人工智能系统和/或缺乏资源来做这种检验的组织而言,这种中间人可以作为一个用来发现问题的资源。很多组织需要有人包装数据和质询可能的偏见,以帮助他们解决潜在的歧视问题。

再次,考虑到意愿之外的歧视性后果不可能被完全消除,有的领域可能会被认为风险太高或不确定性太强,因此不能让人工智能系统在其中占据中心地位(比如作出最后的决定)。这些领域可能包括刑事司法、社会福利和难民/庇护处理程序,在这些领域中已经有一些试点项目和案例产生了有问题的歧视性影响,直接影响到了人们的生命。我们的谘商认为,在这种情况下,组织可以采用完全禁止或暂时禁止的方式。 132

透明和可解释性

人工智能系统的透明和可解释性是问责的前提。但很多机器学习和深度学习系统都不可能是完全透明的。 133 如果一个模型是无监督的,它将可以根据其自己识别的一系列规则或模式来对数据进行分类、整理或排列,而创制该模型的人不是每次都能理解模型是如何或为何得出分析结论的。 134 这就意味着为了使用这一技术,组织需要谨慎评估这些很大程度上令人费解或无法解释的系统是否能够以及如何使之能够有助于,而非有损于人权。

至少有两种意义上的透明,它们对于确保问责都至关重要。第一种是技术透明——即构成一个人工智能系统的模型、算法和数据集的透明。第二种是组织透明,它所涉及的问题包括人工智能系统是否被用于某一特定目的,使用了什么样的系统或能力,谁、出于何种目的资助或委托制造了该系统,谁创制了系统,谁做出了特定的设计决定,谁决定了在何处使用该系统,系统的产出结果是什么,以及这种结果是如何使用的。135 虽然这两种透明是互相关联的,但每一种都要求其特定的机制和政策,来确保一个系统是透明和可解释的。

为了确保透明原则,我们的谘商和研究支持将“人在回路中”(human-in-the-loop,即保留人类控制)作为一个基础性原则。“人在回路中”是指在每一个有人工智能参与的决定中都嵌入人工决策者。 136 这意味着即使在使用深度学习来产生强大预测的情况下,还是要由人工负责将这种预测落地,并尽可能地用人工来审核作出该预测的系统。137 换言之,即使人类重度依赖算法给出的结果或分析,最终做决定的还是人类。 138 但有效的“人在回路中”不只是有人在重大决定上签个名那么简单。此外,组织还需要细察人类决策者如何与人工智能系统进行互动,并确保人类决策者在组织架构中享有真正的自主性。139

问责制

问责制使受某一个特定行为影响的人能够要求行为人给出解释和理由,并在受损的情况下要求得到充分救济。140 问责有多种不同的形式。141 技术问责要求对系统本身进行审核。社会问责要求公众得以知晓人工智能系统并有足够的数字素养来理解其影响。法律问责要求有立法和规章架构,以追究有害后果责任人的责任。

首先,非常需要强健的监督机制,在各个组织和领域监督和评估问责机制方面的进展。这种监督机制可以在国家、国际或行业层面上设立,且需要具备扎实的政策、人权和技术能力。另一个方法是这一机制或其他的专门机构开展对人工智能工具和系统的认证或是“贴质量标签”;(基于审核)来“认证”那些人权得分高的,这样就可以提醒消费者,也可以打开与那些承诺使用负责任且尊重人权的人工智能的政府、国际组织、非政府组织和其他组织进行合作的大门。142

其次,在发展法律框架的同时,在设定私营公司和其他组织的运作标准方面,自我规制也将继续发挥重要作用。但用户和决策者可以通过问责机制来监督公司,并确保相关行业尽其全力保障人权。

再次,有效救济是负责任的人工智能框架中的重要一环。尤其是在缺乏国内法律机制的情况下,可以通过内部投诉机制在公司或组织的层面上提供救济。143 举报也是披露弊病和促进问责的重要工具,应当建立适当的保障和途径,来鼓励和保护吹哨人。

最后,确保良好的数据实践也是人工智能问责制的重要组成部分。我们的谘商显示了多种数据问责机制,包括良好数据的质量标准和改善高质量数据可及性的机制,如强制性的数据共享。

人权尽责调查工具

为了识别、防止和降低与人工智能系统的开发和使用相关的人权风险,必须在人工智能系统的整个生命周期都进行人权尽责调查(人权尽责)程序,这一点已日益成为共识。144 这种程序可能有助于确定必需的保障,并在损害发生时提供有效救济。人权尽责以权利享有者视角为中心。人权尽责中必不可少的部分是要与外部利益相关人进行谘商,包括与民间社会和有可能受到影响的个人和群体代表进行谘商,以避免项目驱动的偏见。145

人权影响评估

国家、人道组织、企业和其他参与方要尽到其各自在人权法项下的责任,则其需要识别其行为造成的人权风险。人权尽责通常依赖于人权影响评估来识别与实际或计划中的行为相关的、对人权潜在或实际的有害影响。146 虽然人权影响评估是一个一般性的工具,《联合国工商业与人权指导原则》将其推荐给所有的公司和所有的领域,但各组织正越来越多地将人权影响评估框架用于人工智能和其他新兴数字技术。 147 联合国秘书长的《数字合作路线图》提到,人权高专办计划制定新技术使用方面人权尽责和影响评估的系统性指南。148 在理想的情况下,人权影响评估应当帮助实践工作者识别其人工智能相关行为的影响,考虑像影响的严重程度和类型(是直接造成影响、促成影响,还是与影响直接相关)这样的因素,其目标是帮助作出是否使用该工具(以及如果使用的话,如何使用)的决定。149

为识别一个人道组织的有害人权影响,其他潜在相关的工具还包括数据保护影响评估,该工具将数据隐私和安全方面的最佳实践实操化;还有算法影响评估,该工具旨在减轻算法所带来的独特风险。有些工具是复合性的,比如联合国“全球脉动”计划的“风险、危害和效益评估”就同时包含了人权影响评估和数据保护影响评估的元素。150 该工具让团队里的每一个成员——包括技术人员和非技术人员——都可以评估和减轻与数据驱动的产品之开发、使用和具体部署相关的风险。很重要的一点是,“风险、危害和效益评估”包含了关于一个产品效益的考量——而不仅仅是风险——这就体现了人权法所规定的利益平衡这一要求。

这些工具的优点是它们可以适应技术的变化。与管控机制或禁令不同,人权尽责工具不限于特定的技术或技术能力(比如人脸识别技术),而是被设计成可以“(提前应对)新的技术能力并(允许)创新的空间”。151 此外,设计良好的人权尽责工具承认在评估人权风险时,背景的特殊性是很重要的,这也就认可了需要针对个案的具体情况进行评估。无论在特定情形下哪种工具或哪些工具的组合是最恰当的,都有必要确保这种评估被设计为或被升级为能够考虑到人工智能所特有的风险。考虑到公共卫生或难民问题等特定的发展和人道领域很有可能产生其本身特有的风险,对工具进行调整以适应相应的特定领域也会很有帮助。

需要强调的一个关键点是,人权影响评估应当是范围更广的人权尽责的一部分,有一个持续的过程来有效减轻和处理所识别的风险和影响。如果治理制度安排和领导层的行动支持对人权的“知晓并展示”,以确保公司尊重人权的政策承诺“内置于工商企业高层的各项职能中”,则人权尽责的质量就会提高,“否则可能难以保证其行动意识到或关注人权”。152 在产品周期的各个阶段以及参与一个项目的各方都应实施人权尽责。另一个很重要的方面是这一框架应当适用于整个组织——从数字科学家和工程师到律师和项目经理——这样人权尽责程序才能受益于多种不同的专业知识。

解释性模型

此外,组织可以给新技术能力或应用配备解释性模型。153 解释性模型的目的是要求对产品运作比较了解的技术人员用浅显的语言向其非技术的同事们解释该产品。这一过程一方面可以训练数据科学家和工程师们更全面地考虑其所创制的产品与生俱来的风险,另一方面可以让非技术人员——包括法律、政策和项目经理团队——更明智地决定是否以及如何上线产品。在这个意义上,解释性模型可以被看作是前述风险评估工具的先导。

合伙关系中的尽责调查工具

需要着重提醒的是,这些工具如果要有效,则必须在人工智能设计和开发链条中的各个阶段都得到适用,也包括购买阶段。很多在该领域进行创新的组织都依赖于跟技术公司、政府和民间社会组织的合作,来创制和部署其产品。为了保证遵循合适的人权和伦理标准,支持人道和发展任务的合伙关系也需要被充分审查。人道和发展领域的挑战在于大部分的尽责调查工具和程序(尚)未充分涵盖与人工智能相关的挑战。为了避免潜在的损害风险,这些程序和工具需要考虑相关的技术挑战,并保证伙伴,尤其是私营部门的参与方,承诺尊重人权尽责的最佳实践、人权和伦理标准。联合国“全球脉动”计划的“风险、危害和效益评估”工具就是这样的一个例子。154

另外,考虑到没有经过充分训练的执行者使用人工智能系统会带来的风险,组织需要保持警醒,确保所有的下游执行伙伴都能遵守人权。正如人权高专办所指出的,大部分与人工智能相关的人权损害都“会在产品使用的阶段表现出来”,有时是有意的——比如一个威权政府滥用某一工具来实施非法监控——有时是无意的,像是意料之外的歧视或使用错误。这就意味着人工智能的开发者不能把工具交给一个伙伴,然后吩咐对方说要小心使用就算了。该使用者或任何其他的第三方伙伴都必须承诺在该工具的整个生命周期中进行充分、主动和可审核的人权尽责。

公众参与

与受人工智能工具影响的人群进行沟通是有效人权尽责必不可少的组成部分。人道组织应当优先与权利人、受影响的人、民间社会和其他利益相关方进行沟通,以对潜在受影响者的需求和权利有全方位而细致的了解。这要求与其主动建立联系,包括在合适的时候进行公开的谘商,以及给受影响的个人和社群建立畅通的沟通渠道。正如特别报告员大卫·凯伊所建议的,“征询公众意见应在产品或服务最终形成或推出之前进行,以确保征询意见的意义。征询对象应包括民间社会、人权捍卫者和被边缘化或代表不足的最终用户代表”。在合适的情况下,组织可以选择公开这些意见征询(还有人权影响评估)的结果。155

审核

发展和人道组织能够确保通过审核的形式来对人工智能工具——无论该工具是内部开发的还是由卖方开发的——进行外部和独立的审查。 156 可审核性对确保透明和问责至关重要,亦可让公众得以理解这些系统并与其互动。私营卖家传统上并不愿意使其产品具有可审核性,并给出技术可行性和商业秘密考量两方面的理由;虽然如此,但人们已经提出了许多模型,可以在这些考量和外部透明性的要求之间达成足够的妥协。157 确保人工智能系统的可审核性并使其可行归根结底是政府规制者和私营部门开发者的事,而发展和人道参与方可以促进和鼓励其适用和通过。 158 比如说,捐赠人或执行者可以将可审核性作为赋予资格的前提条件。

其他机构层面的机制

可以设置一些机构层面的机制来确保将人权嵌入一个组织的DNA。前文已经讨论过的一个原则是“人在回路中”,该原则要求将人类决策者嵌入系统中,以确保所有重大决定都是经过人工监督和同意才作出的。还有一个办法是建立人工智能人权和伦理审查委员会,它可以起到类似于学术研究机构中审查委员会的作用。159 在理想的情况下,该委员会将由技术和非技术人员共同组成,其应审查并批准实施所有的新技术能力——最好还要在该能力投入使用之前对这种使用也进行审查。这种委员会作为一种安全保障要有效的话,其需要有停止或取消项目的实际权力,而且不应担心有任何的后果。审查委员会可以使用前述人权尽责工具,但其对项目的审查应当是一个单独的、更高级别的审查,而非在人工智能生命周期的各个阶段都应进行的主动人权尽责。各机构还应考虑让其人工智能方面的做法接受常规性的审核,并向其员工,以及在合适的情况下向公众公布这些审核报告的摘要。最后,如果歧视性后果的风险包括对个人基本权利的严重损害,那么就可能需要完全避免使用人工智能——包括实施全面的禁令。

能力建设和知识共享

要在开发强大而不可预测的技术的过程中将人权和伦理原则付诸实践,所面临的挑战远不是单个组织有能力应对的。特别是在公共部门和非政府组织中亟需进行能力建设。对于使用人工智能和负责监督人工智能的组织来说都是如此。比如很多数据保护机构就可能缺乏资源和能力,来充分而全面地应对该挑战。 160 人道组织可能需要帮助,以将既有的法律和政策适用于人工智能,并识别需要填补的空白。161 此外,组织中使用人工智能的职员可能需要在人工智能的人权方面接受更多的培训和教育,以确保设计和操作这些系统的人是可靠的(而不仅仅是确保系统本身的可靠性)。

人工智能治理从根本上来说是一个跨国性的挑战,因此除了组织层面的能力建设之外,有效的人工智能治理还要求国际合作。在国际层面上,可以由联合国这样的传统机构和/或由电气与电子工程师协会这样的技术性组织来运作一个知识共享门户,提供人权尽责工具范本、技术标准和其他最佳实践等资源。162 在国家层面,有专家建议政府创设一个“人工智能部”或“专业中心”,在政府各部门之间协调有关人工智能的工作。163 通过这样一个机构,各个国家都可以建立起符合本国文化、政治和经济情况的治理框架。

最后,人权框架的一个重要优势在于国际层面的问责和倡议机制。各组织应参考国际人权机制,包括联合国人权理事会相关工作组和特别报告员对人工智能所带来的新兴风险,以及减轻这些风险之最佳实践的研究和阐述。164

结论

包括仍在肆虐的新冠疫情在内,在很多情况下我们都可以看到,如果人工智能是以具包容性和尊重人权的方式而被开发和使用的,则其或许可以支持人道工作。为了最小化这些系统的风险而最大化其益处,从一开始就要嵌入人权原则。短期来看,各组织可以采取一些关键性的步骤。首先,在人道领域内开发或使用人工智能的组织可以设立一套基于人权而辅以伦理的原则,来指导其在人工智能方面的工作。这些原则应当适应于该组织的特定工作环境,从而在各个组织间可能有所不同。

此外,多元性和包容性对于防止歧视性后果而言绝对是至关重要的。从最早的开发阶段,一直到执行和跟踪阶段,人工智能项目都应当有多元团队的参与。实施保证技术和组织透明度的机制也很重要。虽然有时候彻底的技术透明是不可能的,但其他机制——包括解释性模型——会有助于教育和告知执行人、受影响人和其他利益相关方某一人工智能工具有怎样的益处和风险,从而使其可以就是否以及如何使用人工智能发表意见和观点,也使其可以质疑人工智能的使用方法。165 确保存在问责机制也很关键,无论是对于内部开发系统的人员而言,还是对于受人工智能系统潜在影响的人而言均是如此。从更广泛的角度来说,与可能受影响的个人和群体进行沟通也很重要,包括通过公共谘商和通过推动沟通渠道进行沟通。

基于人权的人工智能治理最重要的优势在于合规工具包的基本组成部分(大体上)已经存在了。发展和人道实践工作者应当调整和适用既有的人权尽责机制,包括人权影响评估、算法影响评估和/或联合国“全球脉动”计划的“风险、危害和效益评估”。这些工具应当适用于人工智能生命周期从概念化到应用的各个阶段。166 如果这些工具显然已经不足以应对人工智能系统的新风险,尤其是当这些系统发展出了更先进的能力时,则可以对这些工具进行评估和升级。167 此外,组织还可以要求私营部门的技术合作伙伴实施类似的人权尽责,并拒绝与人权合规无法核验的卖家进行合作。 168 从最早的概念化阶段到应用和跟踪阶段,与那些有可能受人工智能影响的人进行沟通都应当是实践工作者的一个优先考虑。在现实可能的范围内,发展和人道实践工作者应当确保其系统的可审核性,以便向受影响人解释其决定和进程,并对损害进行诊断和救济。最后,对于任何数据驱动的项目而言,都有必要确保该项目使用高质量数据并遵循数据保护和隐私方面的最佳实践。

 

  • 1联合国大会,《数字合作路线图:执行数字合作高级别小组的建议》,秘书长的报告,联合国第A/74/821号文件,2020年5月29日(《秘书长的路线图》),第6段,载:https://undocs.org/A/74/821(本文引用的所有网络资源均为2020年12月访问)。
  • 2例如,见两篇关于人工智能和机器学习用于应对新冠疫情的晚近文章中所详细介绍的相关措施:Miguel Luengo-Oroz et al., “Artificial Intelligence Cooperation to Support the Global Response to COVID-19”, Nature Machine Intelligence, Vol. 2, No. 6, 2020; Joseph Bullock et al., “Mapping the Landscape of Artificial Intelligence Applications against COVID-19”, Journal of Artificial Intelligence Research, Vol. 69, 2020, available at: www.jair.org/index.php/jair/article/view/12162.
  • 3《秘书长的路线图》,前注1,第53段。
  • 4“预计”人工智能“到2022年将为全球市场带来近4万亿美元的附加值,即使在COVID-19大流行之前,专家预测这可能会改变消费者的偏好,为各行业、企业和社会中的人工智能主导的自动化开辟新机会”。同上注,第53段。
  • 5Lorna McGregor, Daragh Murray and Vivian Ng, “International Human Rights Law as a Framework for Algorithmic Accountability”, International and Comparative Law Quarterly, Vol. 68, No. 2, 2019, available at: https://tinyurl.com/yaflu6ku.
  • 6See, for example, Yavar Bathaee, “The Artificial Intelligence Black Box and the Failure of Intent and Causation”, Harvard Journal of Law and Technology, Vol. 31, No. 2, 2018; Rachel Adams and Nora Ni Loideain, “Addressing Indirect Discrimination and Gender Stereotypes in AI Virtual Personal Assistants: The Role of International Human Rights Law”, paper presented at the Annual Cambridge International Law Conference 2019, “New Technologies: New Challenges for Democracy and International Law”, 19 June 2019, available at: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3392243.
  • 7See, for example, Global Privacy Assembly, “Declaration on Ethics and Data Protection in Artificial Intelligence”, Brussels, 23 October 2018, available at: http://globalprivacyassembly.org/wp-content/uploads/2019/04/20180922_IC…; UN Global Pulse and International Association of Privacy Professionals, Building Ethics into Privacy Frameworks for Big Data and AI, 2018, available at: https://iapp.org/resources/article/building-ethics-into-privacy-framewo….
  • 8关于概述,见Jessica Fjeld, Nele Achten, Hannah Hilligoss, Adam Nagy and Madhulika Srikumar, Principled Artificial Intelligence: Mapping Consensus in Ethical and Rights-based Approaches to Principles for AI, Berkman Klein Center Research Publication No. 2020-1, 14 February 2020。
  • 9 See Faine Greenwood, Caitlin Howarth, Danielle Escudero Poole, Nathaniel A. Raymond and Daniel P. Scarnecchia, The Signal Code: A Human Rights Approach to Information During Crisis, Harvard Humanitarian Initiative, 2017, p. 4, 强调了运用大数据进行工作的人道工作者很难找到基于人权的指导性资料。但也有一些既存的相关框架——最值得一提的有人道数据科学和伦理小组(DSEG),《先进数据科学方法在人道界符合伦理的使用框架》(A Framework for the Ethical Use of Advanced Data Science Methods in the Humanitarian Sector),2020年4月,载:https://tinyurl.com/yazcao2o。还有一些项目试图在人道法如何适用于致命性自主武器系统方面给实践工作者提供指引,包括阿塞尔研究所(Asser Institute)的“在军事人工智能的设计中融入国际法与伦理”(DILEMA)项目,载:www.asser.nl/research/human-dignity-and-human-security/designing-intern…
  • 10《秘书长的路线图》,前注1,第50段。
  • 11联合国大会第73/179号决议,2018年。
  • 12人权理事会第42/15号决议,2019年。
  • 13联合国大会第73/179号决议,2018年。
  • 14这些谘商包括在加纳和乌干达举行的关于合乎伦理的人工智能框架设计的实操工作坊;在突尼斯举行的数字时代人权峰会(RightsCon)上关于全球南方的人工智能和隐私权的实操工作坊;在日内瓦与人权高专办合办的关于基于人权的人工智能径路的实操工作坊;在柏林的网络治理论坛所举办的一些活动;以及与国际隐私专家协会(International Association of Privacy Professionals)和欧洲数据保护监督局(European Data Protection Supervisor)合办的关于发展和人道领域内的伦理问题的谘商。这些林林总总的谘商于2018年到2020年间进行,有来自世界各地的政府、国际组织、民间社会以及私营部门的专家参加。
  • 15见联合国“全球脉动”计划数据和人工智能治理专家组网站:www.unglobalpulse.org/policy/data-privacy-advisory-group/
  • 16See the OCHA, Data Responsibility Guidelines: Working Draft, March 2019, available at: https://tinyurl.com/y64pcew7.
  • 17ICRC, Handbook on Data Protection in Humanitarian Action, Geneva, 20.
  • 18F. Greenwood et al., above note 9.
  • 19Access Now, Human Rights in the Age of Artificial Intelligence, 2018, available at: www.accessnow.org/cms/assets/uploads/2018/11/AI-and-Human-Rights.pdf.
  • 20Article 19, Governance with Teeth: How Human Rights can Strengthen FAT and Ethics Initiatives on Artificial Intelligence, April 19, available at: www.article19.org/wp-content/uploads/19/04/Governance-with-teeth_A19_Ap….
  • 21USAID Center for Digital Development, Reflecting the Past, Shaping the Future: Making AI Work for International Development, 2018.
  • 22DSEG, above note 9.
  • 23 Jack M. Balkin, “2016 Sidley Austin Distinguished Lecture on Big Data Law and Policy: The Three Laws of Robotics in the Age of Big Data”, Ohio State Law Journal, Vol. 78, No. 5, 2017, p. 1219 (cited in L. McGregor, D. Murray and V. Ng, above note 5, p. 310). 另见欧盟对人工智能的定义:“人工智能是指能够实施智能性行为的系统,这些系统通过分析其环境并采取具有一定程度的自主性的行动来达到特定的目标。”European Commission, “A Definition of Artificial Intelligence: Main Capabilities and Scientific Disciplines”, 8 April 2019, available at: https://ec.europa.eu/digital-single-market/en/news/definition-artificia….
  • 24See “Common ML Problems” in Google's Introduction to Machine Learning Problem Framing course, available at: https://developers.google.com/machine-learning/problem-framing/cases.
  • 25Tao Liu, “An Overview of the Application of AI in Development Practice”, Berkeley MDP, available at: https://mdp.berkeley.edu/an-overview-of-the-application-of-ai-in-develo….
  • 26L. McGregor, D. Murray and V. Ng, above note 5, p. 310.
  • 27关于这几个术语的准确定义,见Access Now, above note 19, p. 8。
  • 28见联合国“全球脉动”计划的PulseSatellite项目,载:www.unglobalpulse.org/microsite/pulsesatellite/
  • 29这样的系统包括AtlasAI、EzyAgric、Apollo、FarmForce、Tulaa和Fraym。
  • 30例如,见Kimetrica公司研发的工具——营养状态迅速观察方法(MERON)。该项目与联合国儿童基金会合作进行,使用人脸识别来对儿童营养不良进行远程诊断。
  • 31关于更多人道界的人工智能项目的实例,见International Telecommunications Union, United Nations Activities on Artificial Intelligence (AI), 2019, available at: www.itu.int/dms_pub/itu-s/opb/gen/S-GEN-UNACT-2019-1-PDF-E.pdf; accepted papers of the Artificial Intelligence for Humanitarian Assistance and Disaster Response Workshop, available at: www.hadr.ai/accepted-papers; 以及人道数据科学和伦理小组的项目清单,above note 9, Chap. 3。
  • 32UN Secretary-General's Independent Expert Advisory Group on a Data Revolution for Sustainable Development, A World That Counts: Mobilising the Data Revolution for Sustainable Development, 2014.
  • 33See UN Department of Economic and Social Affairs, “Least Developed Countries”, available at: www.un.org/development/desa/dpad/least-developed-country-category.html.
  • 34DSEG, above note 9, p. 3.
  • 35Cynthia Rudin and Joanna Radin. “Why Are We Using Black Box Models in AI When We Don't Need To?”, Harvard Data Science Review, Vol. 1, No. 2, 2019, available at: https://doi.org/10.1162/99608f92.5a8a3a3d.
  • 36See Miriam C. Buiten, “Towards Intelligent Regulation of Artificial Intelligence”, European Journal of Risk Regulation, Vol. 10, No. 1, 2019, available at: https://tinyurl.com/y8wqmp9a; Anna Jobin, Marcello Ienca and Effy Vayena, “The Global Landscape of AI Ethics Guidelines”, Nature Machine Intelligence, Vol. 1, No. 9, 2019, available at: www.nature.com/articles/s42256-019-0088-2.pdf.
  • 37 See, for example, L. McGregor, D. Murray and V. Ng,above note 5, p. 319, 解释了缺乏透明度和可解释性可能造成的各种风险:“由于算法的学习过程与人类的逻辑并不相同,这会给理解和解释这些过程带来挑战。”
  • 38大卫·凯伊(David Kaye),《促进和保护意见和表达自由权问题特别报告员的报告》,联合国第A/73/348号文件,2018年8月29日,第40段。
  • 39同上注,讨论人工智能在网络信息环境下的应用。
  • 40DSEG, above note 9, p. 7.
  • 41Isabel Ebert, Thorsten Busch and Florian Wettstein, Business and Human Rights in the Data Economy: A Mapping and Research Study, German Institute for Human Rights, Berlin, 2020.
  • 42Lindsey Andersen, “Artificial Intelligence in International Development: Avoiding Ethical Pitfalls”, Journal of Public and International Affairs, 2019, available at: https://jpia.princeton.edu/news/artificial-intelligence-international-d….
  • 43大卫·凯伊,前注38,第8段。
  • 44见人权理事会,《各国实现经济、社会和文化权利问题:新技术对实现经济、社会和文化权利的作用》,秘书长的报告,联合国第A/HRC/43/29号文件,2020年3月4日(《经济、社会和文化权利报告》),第10页。See also Ana Beduschi, “Research Brief: Human Rights and the Governance of AI”, Geneva Academy, February 2020, p. 3:“由于网络平台和公司正以日益发达的方式追踪网络行为和个人的数字足迹,人工智能算法可以就行为做出推测,包括个人的政治观点、宗教、健康状况或性取向。”
  • 45这部分地解释了为什么人们会反对人脸识别和其他生物特征识别技术。See, for example, The Engine Room and Oxfam, Biometrics in the Humanitarian Sector, March 2018; Mark Latonero, “Stop Surveillance Humanitarianism”, New York Times, 11 July 2019; Dragana Kaurin, Data Protection and Digital Agency for Refugees, World Refugee Council Research Paper No. 12, May 2019.
  • 46《经济、社会和文化权利报告》,前注44,第10页。
  • 47大卫·凯伊,前注38,第37~38段。
  • 48 Karen Hao, “This Is How AI Bias Really Happens – and Why It’s So Hard to Fix”, MIT Technology Review, 4 February 2019, available at: www.technologyreview.com/2019/02/04/137602/this-is-how-ai-bias-really-h…. 关于在数据集或训练模型中经常出现的偏见种类更详尽的阐释,见DSEG, above note 9。
  • 49K. Hao, above note 48; Joy Buolamwini and Timnit Gebru, “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, Proceedings of Machine Learning Research, Vol. 81, 2018; Inioluwa Deborah Raji and Joy Buolamwini, Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products, 2019.
  • 50“需求必须是开展人道行动的唯一标准,最紧急的危难情况需要得到优先处理,而不能有任何基于国籍、种族、性别、宗教信仰、社会阶层或政见的区分。”OCHA, “OCHA on Message: Humanitarian Principles”, June 2012, available at: www.unocha.org/sites/dms/Documents/OOM-humanitarianprinciples_eng_June1….
  • 51例如,见关于自动武器系统对国际人道法所造成影响的这一讨论:Noel Sharkey, “The Impact of Gender and Race Bias in AI”, ICRC Humanitarian Law and Policy Blog, 28 August 2018, available at: https://blogs.icrc.org/law-and-policy/2018/08/28/impact-gender-race-bia…
  • 52DSEG, above note 9, p. 29.
  • 53基于我们在日内瓦进行的谘商。
  • 54关于对收集和分析移民相关数据所面临挑战的讨论,见Natalia Baal and Laura Ronkainen, Obtaining Representative Data on IDPs: Challenges and Recommendations, UNHCR Statistics Technical Series No. 2017/1, 2017, available at: www.unhcr.org/598088104.pdf
  • 55《联合国2020年数据战略》特别强调需要加强联合国各部门的公务员在数据使用和新兴技术方面的能力建设。
  • 56Michael Chui et al., Notes from the AI Frontier: Modeling the Impact of AI on the World Economy, McKinsey Global Institute, September 2018.
  • 57关于(高龄人口方面的)数据鸿沟,见HRC, Enjoyment of All Human Rights by Older Persons, UN Doc. A/HRC/42/43, 4 July 2019; 人权理事会,《老年人的人权:数据空白》,联合国第A/HRC/45/14号文件,2020年7月9日。
  • 58Jasmine Wright and Andrej Verity, Artificial Intelligence Principles for Vulnerable Populations in Humanitarian Contexts, Digital Humanitarian Network, January 2020, p. 15.
  • 59 例如,见下列文件的相关章节:OCHA’s Data Responsibility Guidelines, above note 16; the ICRC Handbook on Data Protection in Humanitarian Action, above note 17; and the Principles for Digital Development, available at: https://digitalprinciples.org/
  • 60《秘书长的路线图》,前注1,第23段。
  • 61“算法的自动化能力可能是很有用的,但算法过程也可能排除掉人工意见,而这些过程是会对人们造成影响的。因此,算法的使用或过度使用就有可能对受算法过程影响的人群造成风险,因为对于受影响的人来说,对这种过程的人工干预往往是对其进行保护或对算法过程加以修正的重要因素。算法经常会加深不同人、不同群体之间既有的不平等,并加重对特定弱势群体的权利剥夺。相对于其他类型的数据分析而言,算法更有可能制造出不断重复性的危害性反馈循环,而因为算法本身的自动性而得不到检查。”DSEG, above note 9, p. 29.
  • 62Petra Molnar and Lex Gill, Bots at the Gates, University of Toronto International Human Rights Program and Citizen Lab, 2018.
  • 63DSEG, above note 9, p. 11.
  • 64基于我们在日内瓦进行的谘商。See also Chinmayi Arun, “AI and the Global South: Designing for Other Worlds”, in Markus D. Dubber, Frank Pasquale and Sunit Das (eds), The Oxford Handbook of Ethics of AI, Oxford University Press, Oxford, 2020.
  • 65大卫·凯伊,前注38,第44段。
  • 66UNESCO, Preliminary Study on the Ethics of Artificial Intelligence, SHS/COMEST/EXTWG-ETHICS-AI/2019/1, 26 February 2019, para. 22.
  • 67See, for example, the Principles for Digital Development, above note 59.
  • 68 See UN Human Rights, UN Human Rights Business and Human Rights in Technology Project (B-Tech): Overview and Scope, November 2019, 警告道“有些政府试图将新技术用于国家功能或用于提供公共服务,而这有可能会不成比例地给弱势群体带来风险,将产品卖给这样的政府或与其合作”会不可避免地带来人权风险。
  • 69菲利普·奥尔斯顿(Philip Alston),《极端贫困与人权问题特别报告员的报告》,联合国第A/74/493号文件,2019年10月11日。
  • 70 AI Now Institute, Litigating Algorithms: Challenging Government Use of Algorithmic Decision Systems, September 2018, available at: https://ainowinstitute.org/litigatingalgorithms.pdf; 菲利普·奥尔斯顿,前注69。要注意的是,即使一个设计完美且“人在回路中”(即保留人类控制)的系统也还是可能造成糟糕的结果,如果在该特定的背景下这并非合适路径的话。比如,在一个压迫性的环境中,广泛存在而又根深蒂固的歧视可能会转而进一步加深歧视,即使人工智能系统本身并不带偏见而且保留了人类控制。
  • 71Henry McDonald. “Home Office to Scrap ‘Racist Algorithm’ for UK Visa Applicants”, The Guardian, 4 August 2020.
  • 72DSEG, above note 9, p. 3.
  • 73J. Wright and A. Verity, above note 58, p. 7.
  • 74Ibid., p. 6.
  • 75 Ibid., p. 9. 另见人道技术项目网站,载:http://humanitariantechnologies.net
  • 76 See DSEG, above note 9, p. 8, 警告避免在人道领域内试用未经论证的技术。
  • 77Peter Cihon, Standards for AI Governance: International Standards to Enable Global Coordination in AI Research & Development, Future of Humanity Institute, University of Oxford, April 2019.
  • 78“算法决策的复杂性意味着有必要将问责机制置入一个更广泛的框架,需要涵盖整个算法生命周期,从概念化和设计阶段,到其在决策过程中的实际部署和使用。”L. McGregor, D. Murray and V. Ng, above note 5, p. 311.
  • 79关于各大机构发布的人工智能伦理准则的概述,见J. Fjeld et al., above note 8。
  • 80Ibid.
  • 81 See Mark Latonero, Governing Artificial Intelligence: Upholding Human Rights and Dignity, Data & Society, 2018, 该文认为人权通常在国家人工智能战略中并不重要,但有一些例外,包括欧盟的《通用数据保护条例》,以及欧洲委员会、由加拿大和法国牵头的人工智能全球合作组织(Global Partnership on AI),以及澳大利亚人权委员会(Australian Human Rights Commission)发布的战略文件。
  • 82见菲利普·奥尔斯顿,前注69,他认为大部分人工智能道德规范都会提到人权法,但缺乏实质内容;象征性地提及人权法只是为了加强对合法性和普遍性的要求。
  • 83Corinne Cath, Mark Latonero, Vidushi Marda and Roya Pakzad, “Leap of FATE: Human Rights as a Complementary Framework for AI Policy and Practice”, in FAT* ’20: Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, January 2020, available at: https://doi.org/10.1145/3351095.3375665.
  • 84Ibid.
  • 85这些谘商包括联合国“全球脉动”计划和人权高专办在日内瓦、柏林和突尼斯举办的会议和工作坊。
  • 86L. McGregor, D. Murray and V. Ng, above note 5, p. 313.
  • 87Ibid.
  • 88“〔人权〕被认为是普世的,既是因为几乎世界上的所有国家都普遍承认人权,也是因为人权普遍适用于所有人,而不论个人的特性如何。”Nathalie A. Smuha, “Beyond a Human Rights-based Approach to AI Governance: Promise, Pitfalls, Plea”, Philosophy and Technology, 2020 (forthcoming).
  • 89Ibid.
  • 90L. McGregor, D. Murray and V. Ng, above note 5, p. 311.
  • 91Ibid.
  • 92Lyal S. Sunga, “The International Court of Justice's Growing Contribution to Human Rights and Humanitarian Law,” The Hague Institute for Global Justice, The Hague, 18 April 2016.
  • 93UN Human Rights, “Regional Human Rights Mechanisms and Arrangements”, available at: www.ohchr.org/EN/Countries/NHRI/Pages/Links.aspx.
  • 94C. Cath et al., above note 83.
  • 95Christian van Veen and Corinne Cath, “Artificial Intelligence: What's Human Rights Got to Do With It?”, Data & Society, 14 May 2018, available at: https://points.datasociety.net/artificial-intelligence-whats-human-righ….
  • 96L. McGregor, D. Murray and V. Ng, above note 5.
  • 97见《经济、社会和文化权利报告》,前注44;“Standards of Accessibility, Adaptability, and Acceptability”, Social Protection and Human Rights, available at: https://socialprotection-humanrights.org/framework/principles/standards….
  • 98 Karen Yeung, Andrew Howes and Ganna Pogrebna, “AI Governance by Human Rights-Centred Design, Deliberation and Oversight: An End to Ethics Washing”, in Markus D. Dubber, Frank Pasquale and Sunit Das (eds), The Oxford Handbook of Ethics of AI, Oxford University Press, Oxford, 2020, 该文指出,国际人权法提供了一个“有组织的框架,来合理解决具体情况下互竞的权利和各种集团利益之间的冲突”,而人工智能伦理准则却“在如何解决这种冲突方面没有提供什么指引”。
  • 99如果限制某项权利是被允许的,这种限制也必须是为了实现某一合理的目标而有必要采取的,而且应与该目标成比例。这种限制应当是可选的措施中侵入性最小的,而且其适用或援用的方式不能侵害到该项权利最核心的内容。在先的、公开的法律必须已经明确规定了在何种情况下可以实施该种限制。见《经济、社会和文化权利报告》,前注44,第10~11页。See also N. A. Smuha, above note 88, 指出《欧盟宪章》《欧洲人权公约》以及《世界人权宣言》第29条也有类似规定,来平衡互相冲突的权利。
  • 100 Catelijne Muller, The Impact of Artificial Intelligence on Human Rights, Democracy and the Rule of Law, Ad Hoc Committee on Artificial Intelligence, Strasbourg, 24 June 2020, para. 75, available at: https://rm.coe.int/cahai-2020-06-fin-c-muller-the-impact-of-ai-on-human…. 麦格雷戈等人认为“禁止任意性的权利侵犯是构成国际人权法基础的核心原则,该原则适用于所有可能妨害特定权利的决定”,而红线就是从这里来的。L. McGregor, D. Murray and V. Ng, above note 5, p. 337. 关于“任意性”和“必要且成比例”之间关系的更多内容,见联合国人权理事会,《数字时代的隐私权:联合国人权事务高级专员办事处的报告》,联合国第A/HRC/27/37号文件,2014年6月30日,第21段及之后的段落;联合国人权理事会,《数字时代的隐私权:联合国人权事务高级专员的报告》,联合国第A/HRC/39/29号文件,2018年8月3日,第10段。
  • 101国际人权法“提供了一个明确的框架,来平衡技术开发中相冲突的利益:其久经考验的判例法要求对人权(比如隐私权或不歧视)的限制必须由法律所规定、为合法目标而采取、为达成该目标所必需且与该目标成比例。这里每一个术语都有其定义,据之可对行为加以客观评估并追究责任。”Alison Berthet, “Why Do Emerging AI Guidelines Emphasize ‘Ethics’ over Human Rights?” OpenGlobalRights, 10 July 2019, available at: www.openglobalrights.org/why-do-emerging-ai-guidelines-emphasize-ethics….
  • 102“而且,执法者为此可以参考平衡实践的先例,这些有助于实现可预测性和法律上的确定性。事实上,人权机构数十年适用法律的实践已经产生了丰富的判例法,当执法者面对人工智能系统对个人和社会造成的影响,以及这些影响所产生的冲突——不管是权利、原则还是利益的冲突时,这些判例法都可以为其提供指引。”N. A. Smuha, above note 88.
  • 103关于如何设计一个着眼于人权的影响力评估的进一步指导,见联合国人权理事会,《联合国工商业与人权指导原则》,纽约和日内瓦,2011年(《联合国指导原则》),载:https://www.ohchr.org/sites/default/files/Documents/Publications/Guidin…;《经济、社会和文化权利报告》,前注44。
  • 104这些原则载于:www.eff.org/files/necessaryandproportionatefinal.pdf。关于背景及相关法律分析,见Electronic Frontier Foundation and Article 19, Necessary and Proportionate: International Principles on the Application of Human Rights to Communication Surveillance, May 2014, available at: www.ohchr.org/Documents/Issues/Privacy/ElectronicFrontierFoundation.pdf
  • 105 ICRC, Privacy International, UN Global Pulse and OCHA Centre for Humanitarian Data, “Guidance Note: Data Impact Assessments”, Guidance Note Series No. 5, July 2020, available at: https://centre.humdata.org/wpcontent/uploads/2020/07/guidance_note_data…. 关于更多为人道领域设计的影响力评估的例子,见该《指导说明》。
  • 106John H. Knox, “Horizontal Human Rights Law”, American Journal of International Law, Vol. 102, No. 1, 2008, p. 1.
  • 107 See I. Ebert, T. Busch and F. Wettstein, above note 41. And see C. van Veen and C. Cath, above note 95, 他们认为“人权作为一套语言和法律框架,本身就有很大的影响力,因为人权带有强大的道德正当性,被认为违反人权而带来声誉损害的代价可能会非常高昂。”关于算法系统的背景材料,见Council of Europe, Recommendation CM/Rec(2020)1 of the Committee of Ministers to Member States on the Human Rights Impacts of Algorithmic Systems, 8 April 2020.
  • 108《联合国指导原则》,前注103。《联合国指导原则》第一部分规定了国家应当怎样对企业进行规制。
  • 109同上注,第二部分。See also UN Human Rights, Key Characteristics of Business Respect for Human Rights, B-Tech Foundational Paper, available at: www.ohchr.org/Documents/Issues/Business/B-Tech/key-characteristics-busi….
  • 110 See Council of Europe, Addressing the Impacts of Algorithms on Human Rights: Draft Recommendation, MSI-AUT(2018)06rev3, 2018:“从事算法系统的设计、开发、销售、投入使用、实施和服务的私营部门参与方都必须实施人权尽责调查,无论这些算法系统是用于公共还是私人领域。这些企业有责任尊重其顾客及其他受其行为影响的各方所享有的国际承认的人权和基本自由。这种责任独立于国家履行其人权义务的能力和或意愿而存在。”另见大卫·凯伊,前注38。
  • 111联合国人权理事会,《新技术对在包括和平抗议在内的集会背景下促进和保护人权的影响:联合国人权事务高级专员的报告》,联合国第A/HRC/44/24号文件,2020年6月24日。
  • 112UN Human Rights, The UN Guiding Principles in the Age of Technology, B-Tech Foundational Paper, available at: www.ohchr.org/Documents/Issues/Business/B-Tech/introduction-ungp-age-te….
  • 113例如微软的人权影响力评估(HRIA)和谷歌的名人识别(Celebrity Recognition);and see Element AI, Supporting Rights-Respecting AI, 2019; Telefonica, “Our Commitments: Human Rights,” available at: www.telefonica.com/en/web/responsible-business/human-rights.
  • 114L. McGregor, D. Murray and V. Ng, above note 5.
  • 115微软就其FATE项目方面的工作发布了一系列出版物。See “FATE: Fairness, Accountability, Transparency, and Ethics in AI”, available at: www.microsoft.com/en-us/research/group/fate#!publications.
  • 116这样看来,就往往会认为伦理更适应于技术革新和现代世界;而国际人权法的原则是几十年前发展起来的,远在人工智能和机器学习系统蓬勃发展之前。
  • 117关于人工智能伦理和人权框架优缺点的有用背景信息,见Business for Social Responsibility (BSR) and World Economic Forum (WEF), Responsible Use of Technology, August 2019, p. 7(认为伦理和人权应该是“互相协同”的)。
  • 118Access Now, above note 19.
  • 119Ben Wagner, “Ethics as an Escape from Regulation: From Ethics-Washing to Ethics-Shopping?”, in Emre Bayamlioglu, Irina Baraliuc, Liisa Janssens and Mireille Hildebrandt (eds), Being Profiled: Cogitas Ergo Sum. 10 Years of Profiling the European Citizen, Amsterdam University Press, Amsterdam, 2018.
  • 120基于我们在日内瓦进行的谘商。See also Josh Cowls and Luciano Floridi, “Prolegomena to a White Paper on an Ethical Framework for a Good AI Society”, June 2018, available at https://papers.ssrn.com/abstract=3198732.
  • 121 Ibid., 辩称伦理和人权可以互相加强,而且伦理可能比人权更为宽泛。See also BSR and WEF, above note 117.
  • 122Access Now, above note 19, p. 17.
  • 123BSR and WEF, above note 117.
  • 124Miguel Luengo-Oroz, “Solidarity Should Be a Core Ethical Principle of AI”, Nature Machine Intelligence, Vol. 1, No. 11, 2019.
  • 125例如,见联合国“全球脉动”计划“项目”网页,载:www.unglobalpulse.org/projects/
  • 126联合国,《联合国秘书长的新技术战略》,2018年9月,载:https://www.un.org/en/newtechnologies/images/pdf/SGs-Strategy-on-New-Te…
  • 127High-Level Panel on Digital Cooperation, The Age of Digital Interdependence: Report of the UN Secretary-General's High-Level Panel on Digital Cooperation, June 2019 (High-Level Panel Report), available at: https://digitalcooperation.org/wp-content/uploads/2019/06/DigitalCooper….
  • 128联合国教科文组织于2019年发布了初步的人工智能原则,目前正在起草人工智能伦理方面一个标准设定的文件。2020年9月,其发布了一项经修改过的提议初稿。包括经济合作和发展组织(经合组织)和欧盟委员会在内的其他机构也发布了自己的原则。OECD, Recommendation of the Council on Artificial Intelligence, 21 May 2019; European Commission, Ethics Guidelines for Trustworthy AI, 8 April 2019, available at: https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-tr…. 在欧洲委员会,部长委员会通过了第CM/Rec(2020)1号建议,前注107。基于其人权、民主和法治标准,欧洲委员会还在研究通过一个关于人工智能的开发、设计和使用的法律框架的可能性;see Council of Europe, “CAHAI – Ad Hoc Committee on Artificial Intelligence”, available at: www.coe.int/en/web/artificial-intelligence/cahai.
  • 129《秘书长的路线图》,前注1,第88段。See also Recommendation 3C of the High-Level Panel Report, above note 127, pp. 38-39, 该文件指出:“自主智能系统的设计方式应使其决定能够被解释,并使人类能够对其使用负责。审核和认证体系应当监督人工智能系统是否遵守工程和伦理标准,这些标准应以多利益相关方和多边参与的方式制定。生死的决定权不应被交予机器……对于不同社会背景下的自主智能系统,〔需要〕加强与多个利益相关方的数字合作,来反复考虑透明和无偏见等原则……的设计和适用。”
  • 130 See A. Beduschi, above note 44, 赞同“纳入了人权规则和原则”的技术标准。
  • 131关于人工智能系统的使用如何具体影响《世界人权宣言》中的各项权利和原则,见Access Now, above note 19。
  • 132越来越多的国家和地区颁布了人脸识别技术的禁令,或是禁止将该种技术应用于刑事司法中。但也有些组织不大愿意采用完全禁止的方式。See Chris Klöver and Alexander Fanta, “No Red Lines: Industry Defuses Ethics Guidelines for Artificial Intelligence”, trans. Kristina Penner, Algorithm Watch, 9 April 2019, available at: https://algorithmwatch.org/en/industry-defuses-ethics-guidelines-for-ar… (本文中有观点将欧盟伦理指南中缺乏禁止性规定归咎于行业压力).
  • 133“虽然基于机器学习的系统目前还不能实现完全的可解释性,但开发者仍可就系统如何运行提供有价值的信息。以当地语言出版易于理解的解释性文件。召开社区会议以解释该工具并允许社区成员提出问题和给出反馈。仔细考虑文化水平和更广泛的信息生态系统。有效的公共教育程序会使用特定社区接收和共享信息的既有方式,这可以是出版物、广播、口口相传或其他途径。”L. Andersen, above note 42.
  • 134See “Common ML Problems”, above note 24.
  • 135见《经济、社会和文化权利报告》,前注44,第52段,该报告认为公众和决策者之间的认知和理解鸿沟可能“在依赖人工智能的自动化决策过程中,……是一个特殊的问题”;“全面、公开的信息对于做出知情决策和受影响各方的相关同意非常重要”;而且“法规要求公司披露何时以影响人权的方式使用人工智能系统并分享相关人权影响评估结果,也可能是一个有用的工具”。See also L. McGregor, D. Murray and V. Ng, above note 5, 他们认为透明包括算法为何以及如何被创制;模型或总体设计的逻辑;设计过程的基础性假设;如何监督系统表现;算法本身如何随着时间而改变;与算法的运作相关的因素;以及人类参与的程度。
  • 136Sam Ransbotham, “Justifying Human Involvement in the AI Decision-Making Loop”, MIT Sloan Management Review, 23 October 2017, available at: https://sloanreview.mit.edu/article/justifying-human-involvement-in-the….
  • 137 See L. McGregor, D. Murray and V. Ng, above note 5, 认为“人在回路中”是一道安全闸,保证算法系统支持决定,但不作出决定。
  • 138 “最好的人工智能是它能够吸收大量数据并识别更精确的相关性(诊断),但同时把因果关系方面的结论和最终的决定权留给人类。在社会影响力相关倡议中,这种人机交互尤其重要,因为这种倡议涉及很高的伦理风险,而其成功的标准则是改善弱势群体的生活。”Hala Hanna and Vilas Dhar, “How AI Can Promote Social Good”, World Economic Forum, 24 September 2019, available at: www.weforum.org/agenda/2019/09/artificial-intelligence-can-have-a-posit….
  • 139在我们的日内瓦会议中,一个参会者提出了这样一个假想的情况:政府部门工作人员正在使用自动化决策来决定谁的孩子要被带走。算法给出的分数是“7”。这个分数如何影响工作人员?工作人员这天心情好坏重要吗?他们有没有来自机构的或是人际的(来自同事的)压力,要其将这个分数纳入考量?如果他们不理会或否决系统的决定,他们自己会不会受到惩罚?
  • 140See Edward Rubin, “The Myth of Accountability and the Anti-administrative Impulse”, Michigan Law Review, Vol. 103, No. 8, 2005.
  • 141 See UN Human Rights, above note 68, 对人工智能给问责带来的新挑战做了概述。
  • 142High-Level Panel Report, above note 127, Recommendation 3C, pp. 38–39.
  • 143《联合国指导原则》,前注103,第29条:“为使申诉得到及时处理和直接补救,工商企业应针对可能受到不利影响的个人或社区建立或参与有效的业务层面申诉机制。”
  • 144 See I. Ebert, T. Busch and F. Wettstein, above note 41. 另见消除种族歧视委员会,《关于防止和打击执法人员种族定性行为的第36号一般性建议》,联合国第CERD/C/GC/36号文件,2020年12月17日,第66段:“各国应鼓励公司开展人权尽职调查,这需要:(a) 进行评估,以确定和评估任何实际或潜在的负面人权影响;(b) 整合这些评估,并采取适当行动,以防止和减轻已查明的负面人权影响;(c) 跟踪其努力的有效性;(d) 正式报告它们如何处理其人权影响。”
  • 145见《经济、社会和文化权利报告》,前注44,第51段。《联合国工商业与人权指导原则》将人权尽责作为公司的一个关键义务。《联合国工商业与人权指导原则》规定的人权尽责核心步骤包括:1)识别损害,与利益相关方磋谈,并确保公私部门均进行评估(如果政府部门会使用该系统的话);2)采取行动来防止和减轻损害;3)就识别和减轻损害的行动保持透明。Access Now, above note 19, pp. 34–35.
  • 146大卫·凯伊,前注38,第68段,指出“在新的人工智能系统的设计和部署阶段,包括把现有系统部署到新的全球市场时,应进行”人权影响评估。
  • 147Danish Institute for Human Rights, “Human Rights Impact Assessment Guidance and Toolbox”, 25 August 2020, available at: www.humanrights.dk/business/tools/human-rights-impact-assessment-guidan….
  • 148“为了应对各种挑战和机遇,在数字相互依存的时代保护和促进人权、人的尊严和人的自主性,人权事务高级专员办事处将制定关于使用新技术的人权尽职和影响评估全系统导则,包括为此与民间社会、外部专家以及最弱势和最受影响的人互动协作。”《秘书长的路线图》,前注1,第86段。
  • 149C. Cath et al., above note 83.
  • 150UN Global Pulse, “Risks Harms and Benefits Assessment”, available at: www.unglobalpulse.org/policy/risk-assessment/.
  • 151Element AI, above note 113, p. 9.
  • 152《联合国指导原则》,前注103,对原则16的评论,第17页。
  • 153我们日内瓦谘商的与会者使用了“解释性模型”这个词,不过这还不是一个通用的术语。
  • 154UN Global Pulse, above note 150. See also OCHA, “Guidance Note: Data Responsibility in Public-Private Partnerships”, 2020, available at: https://centre.humdata.org/guidance-note-data-responsibility-in-public-….
  • 155大卫·凯伊,前注68,第68段。
  • 156同上注,第55段。
  • 157“鉴于事关专有技术保护需求,私营部门反对在人工智能领域进行审计。虽然这些担忧可能不无道理,但特别报告员同意……特别是当公共部门使用人工智能应用程序时,供应商拒绝公开系统的运行情况会影响到公共机构履行问责义务。”同上注,第55段。
  • 158 “上述几种机制可能会在执行时面临若干挑战,特别是在信息环境下,但公司应致力于促成对人工智能系统的审计。政府应致力于通过政策或立法干预,加强审计的有效性,要求公司确保人工智能代码可审计,保证审计留痕,藉此提高针对受影响用户的透明度。”同上注,第57段。
  • 159基于我们的谘商。
  • 160基于我们的谘商。
  • 161Element AI, above note 113.
  • 162有几个正在进行的联合国进程可能可以起到这一作用,包括联合国教科文组织创制联合国第一个关于人工智能伦理标准设定文件的倡议,以及联合国秘书长创设一个关于人工智能合作的全球咨询机构的计划。
  • 163Element AI, above note 113.
  • 164 See M. Latonero, above note 81, 号召联合国人权调查员和特别报告员继续研究和宣传人工智能系统的人权影响。
  • 165Access Now, above note 19.
  • 166OCHA, above note 154.
  • 167N. A. Smuha, above note 88.
  • 168关于私营部门人权尽责方面的更多指引,见《联合国工商业与人权指导原则》,前注19,原则17。

继续阅读第 #IRRC No. 913

阅读更多关于 数字科技与战争, 国际人道法与人权法, 人道政策, 机器学习