Day 1 Trust and Fairness in AI Systems_assurance and trust in ai systems

An Introduction to Ethics in Robotics and AI pp 27-38
https://link.springer.com/chapter/10.1007%2F978-3-030-51110-4_4
Authors and affiliations
Christoph LütgeAlan WagnerSean Welsh

---

Abstract

本章讨论了信任和公平在人工智能系统的接受（the acceptance of AI systems）中所扮演的角色。将人工智能系统中的信任和公平与5项原则联系起来:非恶意、仁慈、自治、正义和可解释性（Non-maleficence, Beneficence, Autonomy, Justice and Explicability）。

信任概念由于其抽象性和结构复杂性，在社会学、心理学、营销学、经济学、管理学等不同的领域定义信任是不同的，仍没有一个统一的定义，但是达成共识的观点是：信任是涉及交易或交换关系的基础。（百度百科）

信任他人意味着必须承受易受对方行为伤害的风险。如果我们不信任别人，我们就会提高警惕。我们不会委托他们做任何重要的事。如果可以的话，我们甚至可能试图完全避免它们。此外，不确定性是信任的先决条件，因为如果事先知道结果，脆弱性就会减少。

Lee和See(2004)将信任定义为“代理（agent）通过不确定性和脆弱性帮助实现个体目标的态度”。在机器人和人工智能系统的背景下，信任问题是相似的，但在某些方面有所不同。当一个人信任另一个人时，委托人知道他们让自己在别人的行为面前变得脆弱。当人们信任AI agent时，不清楚机器是在自己做决定，还是遵循一些预定义的脚本行为。此外，人类代理之间的信任有经验支撑，人们会根据经验对代理人得行为、规范和价值观等有一定的期望。例如我们可以相信飞行员能使飞机安全着陆。但当用户与机器人或人工智能系统交互时，这些经验可能会变得毫无用处，甚至会产生误导。人们不能确信一个AI系统会以我们的最佳利益行事。本章的其余部分将讨论人类信任人工智能和机器人等机器环境下的信任和公平

---

一、User Acceptance and Trust 用户接受度和信任

信任是用户接受度的关键。人们会避免使用他们不信任的系统。显然，那些生产不受信任的产品的企业不会看到他们的产品被使用，因此会在市场上挣扎。例如，美国的公司必须遵守《爱国者法案》(Patriot Act)，该法案授权政府访问存储在云计算上的数据。欧洲的客户可能会对授予美国政府这样的特权感到不安。2015年，欧洲法院(European Court of Justice)推翻了长期存在的美欧安全港协议后，数家云存储公司在欧洲开设了数据中心，以重新赢得欧洲客户的信任。

文化影响着人们对人工智能系统和机器人的信任。Haring等人(2014a)指出，这些文化差异影响了人们对机器人的看法。跨文化研究也表明了积极性的差异(Haring等。2014b)，这反过来影响了信任。文化因素也可能影响人们听从机器人建议的程度(Wang et al. 2010)。

就机器而言，信任问题可以分解为功能性functional和伦理性ethical元素。

---

二、Functional Elements of Trust 信任的功能性要素

根据*Lee和See(2004)的研究，用户会根据包括系统可靠性在内的各种因素来衡量他们对机器的信任程度。Hancock等人(2011)研究了影响自动化信任的各种因素。这些包括基于性能的因素，如系统的可靠性、误报率、透明度和任务复杂性。这些研究表明，性能和可靠性是决定一个人是否信任一台机器的主要因素。

---

三、Ethical Principles for Trustworthy and Fair AI信任和公平人工智能的伦理原则

2018年由AI4People小组提出的《欧洲人工智能伦理原则》(Floridi et al. 2018)提出了人工智能伦理的五项原则，这些原则可以通过以下方式与信任和公平联系在一起。

3.1Non-maleficence 非恶意

非恶意原则规定人工智能不应伤害人类。伤害人类(以及动物或财产)的人工智能系统是一种风险，对个人和公司都是如此(参见第6章)。在信任和公平方面，这也延伸到了欺凌和仇恨言论等问题。

社交媒体霸凌。在一些国家，通过了反对数字媒体欺凌的法律(瑞典是1993年第一个这样做的国家)。

仇恨言论是一种不仅针对某一特定的人，也可以针对某一群体或人口的全部部分的言论。例如，它可能会攻击群体的种族、性取向、宗教、性别、身份、残疾等。自1976年起生效的《公民权利和政治权利国际盟约》已经包括一项声明，其中指出，“任何鼓吹民族、种族或宗教仇恨，构成煽动歧视、敌视或暴力的行为，均应受到法律禁止。”从那以后，许多国家通过了反对仇恨言论的法律。例如，比利时1981年通过了一项法案，该法案规定，煽动歧视、仇恨和暴力针对肤色、原籍、民族或种族持不同政见的人或群体是非法的，并将根据比利时刑法受到惩罚。其他国家，如加拿大、新西兰和英国也有类似的法律(但可能在细节和惩罚上有所不同)。

2017年，德国联邦议院通过了一项法案，明确将社交媒体上的仇恨言论定为犯罪，从而将仇恨言论法律提高到了一个新的水平。法律还规定，如果社交网络(如Facebook或其他)在一周内没有主动寻找并成功删除某些内容，则可能被处以高达5000万欧元的巨额罚款。从那时起，像Twitter或Facebook这样的社交网络采取了许多措施来遵守这项新法律。虽然他们确实成功删除了大量非法内容(正如欧盟委员会在2019年),但由于意外或过度解释误删某些声明也存在很多问题。

仇恨言论和言论自由之间的平衡正在国家内部和国家之间得到定义。社交媒体为这些辩论注入了文化和国家视角的元素。Facebook和谷歌等大公司正被迫编辑它们的内容。一些人可能认为这是打击种族主义的必要手段，另一些人可能认为这是对言论自由的攻击。

3.2 Beneficence 善行

慈善原则认为人工智能应该为人类做好事。这是生物伦理学的一般原则。（治疗的好处必须大于潜在的危害(Zalta2003)。

•减少自动驾驶车辆造成的死亡和事故;
•为老龄化社会提供机器人支持和护理(见第9.2节)
•基于智能电网的可持续性改进;
•在生物多样性方面的改进，例如通过人工智能应用来保护濒危物种。
•在教育中使用机器人和人工智能，例如使用人工智能进行个性化学习或在课堂外支持学生。
……

3.3 Autonomy 自主权

传统上，在人工智能和机器人技术中，“自主”一词指的是人工智能系统或机器人在没有人类干预的情况下操作的能力。然而这里的自治指的是人类的自主权，认为机器应该尊重人类的目标和愿望。在生物伦理学的语境中，它通常是指患者有权自己决定是否接受一项治疗（Zalta2003）。例如，一些人因为宗教原因拒绝输血而死亡。一般来说，法院认为父母没有权利将他们的观点强加给他们的孩子，比如拒绝输血(Woolley 2005)。然而，一旦孩子长大成人，他们就可以拒绝治疗。
更普遍地说，自主性指的是一个人做出决定的能力。人们可以决定他们是否想要冒险赚更多的钱或有更多的乐趣。为攀登珠穆朗玛峰的登山者拎包的夏尔巴人挣的钱比他们在尼泊尔地里干活挣的钱多五倍。然而，他们也有被困在雪崩中受伤或死亡的风险。人们应该被允许承担风险，但他们应该知道自己承担的风险是什么。**人工智能对人类自主权的尊重，将支持允许人类在一定程度上自残，并允许人类承担可能导致伤害的风险。**毕竟，人类可能喜欢攀岩或骑摩托车。
类似的，AI让渡给人类的自主权过大，可能做出违反道德、法律的事情，造成危害。另一方面，有时候需要AI被设计成武器等对抗人类，比如刑侦、军事领域等。

这里可以看出，自主权和非恶意有时候是有矛盾的。非恶意要求不可以伤害人类，自主权要求允许人类伤害自己。AI原则之间的定义存在重叠，也可能存在冲突，需要定义边界或权衡。比如自主权的边界，不能允许违反道德、法律等。

3.4 Justice 公平

人工智能应以公正和无偏见的方式行事。而公平难定义。有争论。
尽管在堕胎、安乐死、公民不服从和死刑等问题上存在激烈的伦理争议，但还有许多道德问题远没有那么难解决。如果应用范围缩小，并且可以获得做出道德决定的信息，那么AI就有可能做出一些非常具体的道德决定。通常，有明确的规定和法律，在非常具体的应用中可以被视为规范性的确定。

确定信用等级。在一些国家，银行和其他信贷机构已经在使用人工智能系统，根据申请人的现有数据对信贷申请进行预分类。这当然有许多好处，其中之一是能够在更多信息的基础上更快地做出决定，使其在理论上更加理性。然而，这也可能带来缺点，特别是导致某些偏见。例如，信贷申请人的个人信息在大多数情况下会包含其邻居的信息。在此基础上，利用公开的(或私下收集的)进一步数据，可能会对某些居民区的人产生系统性的偏见。

在法庭上使用。根据不同的国家，人工智能软件正在法庭上使用。一个相对简单的例子是，为了提高法院的工作效率，利用案件的严重性、前科等信息来确定提交给法官的判决顺序(Lin等人，2019年)。一个更有效的用途是支持法官决定囚犯是否可以缓刑释放。ProPublica 2016年的一项研究发现，在评估累犯风险方面，COMPAS系统对佛罗里达州布劳沃德县的非洲裔被告表现出系统性的偏见(Angwin et al. 2016)。

这个案子引起了相当大的争议。COMPAS 的开发者在回应ProPublica的统计分析时认为，ProPublica“专注于分类统计，而没有考虑到黑人和白人的不同基本累犯率”(Dieterich et al. 2016)。(focused on classification statistics that did not take into account the different base rates of recidivism for blacks and whites) 数学证明了当各群体的再犯率不同时，满足预测均等性的工具不可能在这些群体中具有相同的假阳性和假阴率。With particular reference to the Broward County recidivism rates it has been demonstrated mathematically that “an instrument that satisfies predictive parity cannot have equal false positive and negative rates across groups when the recidivism prevalence differs across those groups” (Chouldechova 2017).

在许多这样的情况下，很难想出应对措施。公平有多种可能相互冲突的概念。一个人可能会在公平和准确性之间面临一种可能的权衡。事实上，一些人认为，试图“蒙蔽”算法来屏蔽可能导致不公平的类别信息（比如种族）可能是有害的，更好的方法是改变我们使用机器学习和ai的方式(Kleinbergetal.2018)。虽然人们当然希望在AI编程中避免系统性偏差，但数据也应该反映实际情况，例如“情况是什么”，否则这些数据对于得出进一步的结论和采取行动没有太大用处。

重要的是要认识到基于统计模型的分类的局限性。虽然布劳德郡累犯争议主要集中在黑人和白人的误报率之间的差异上，但一项研究发现，对compass的潜在预测准确率只有65%左右。作者观察到:“这些预测并不像我们想要的那么准确，尤其是从一个前途未定的被告的角度来看”(Dressel and Farid, 2018)。

3.5 Explicability 可解释性

可解释性原则指出，人工智能系统有可能解释为什么会得出某种结论或结果。

可解释性不等于透明度。(Explicability is not to be equated with transparency.)虽然有些人要求程序和代码的最大透明度，但当涉及到AI系统时，这可能不能解决问题，甚至可能产生新问题。

欧盟在通用数据保护法规GDPR的框架内实施了“信息权”(最初称为“解释权”)的法律要求。这意味着，那些利益受到算法决策影响的人有权让算法向他们解释这个决策。显然，这对一些“不可思议的”机器学习方法(如神经网络)构成了挑战。有些人并不为机器学习中的“不可预测性”所困扰。他们认为他们可以通过经验来检验这个体系,只要它在实践中起作用，即使他们不能理解或解释它在实践中是如何起作用的，他们也不关心(Weinberger 2018)。

然而，在可能受到司法审查的道德指控的情况下，就必须要求对决定的解释。

即便如此，在实际操作中，使用COMPAS系统来评估再犯风险从而影响缓刑的前景已经在法庭上得到了检验。在卢米斯诉威斯康辛州一案中，原告声称他被剥夺了“正当程序”，因为COMPAS算法的专利性质意味着他的辩护不能挑战计算他得分的科学基础。然而，他的上诉失败了。法官们认为量刑判决并不完全基于COMPAS风险评分。法官不能仅仅根据风险评分来判断量刑，而需要将风险评分和其他因素一并考虑，以便对再犯风险进行评估。

问责性 Accountability。最基本的保证方式是提供log files日志文件。例如在飞机失事的情况下，飞行记录器可以恢复。他们为当局对这次事故的调查提供了便利。飞行记录器有时被称为“黑匣子”。系统生成的日志文件可以解释为什么它做了什么。该数据通常用于追溯系统采取的步骤以找到根本原因，并且一旦找到了根本原因，就指定原因。

---

Takeaway

信任的定义在不同领域不同。但是达成共识的观点是：信任是涉及交易或交换关系的基础。（百度百科）
信任他人意味着必须承受易受对方行为伤害的风险。不确定性是信任的先决条件。
信任问题可以分解为功能性functional和伦理性ethical元素。
功能性就是指AI的性能和准确率、可靠性等影响信任。
伦理性 本文参考《欧洲人工智能伦理原则》所列：非恶意、仁慈、自治、正义和可解释性（Non-maleficence, Beneficence, Autonomy, Justice and Explicability）
功能性准则伦理性准则以及两者之间以及内部有没有固定的优先级关系？内部准则的边界？首先要求功能性，在模型准确的前提下才考虑伦理性准则，因为性能差的模型毫无意义；各准则可能矛盾冲突，例如自主权和非恶意有时候是有矛盾的。非恶意要求不可以伤害人类，自主权要求允许人类伤害自己。例如屏蔽敏感信息可能会解决某种意义上的公平性问题，但势必伤害功能性、准确率等。

各类公平仍需定义。