英国《卫报》的一项调查揭示了英国在各种公共部门决策过程中普遍使用人工智能和复杂算法的情况。
来自至少8个公共部门部门的公务员以及几个警察单位，已经将人工智能工具纳入其工作流程。
人工智能工具帮助了福利、移民和刑事司法领域的关键决策过程。 调查显示了滥用和歧视的证据。
虽然算法和人工智能相关的偏见并不严格地属于同一个定义，但当暴露于现实世界的场景时，它们都有可能产生偏见的结果。 自学习机器学习模型可以放大数据集中的偏见。
根据报告：
- 一名议员对工作和养老金部（DWP）采用的算法表示关切，该算法被怀疑错误地导致许多人失去福利。
- 警方的面部识别工具被发现在某些条件下识别黑人面孔时的错误率高于白人面孔。这是一个公认的， 一项研究 这表明这些平台在2018年提供了可怜的2%的准确率。
- 英国内政部一直在使用一种算法，该算法不成比例地针对特定国籍的个人，以揭露为福利和税收减免而进行的欺诈婚姻。来自阿尔巴尼亚、希腊、罗马尼亚和保加利亚的国民可能被不公平地贴上了国旗。
AI工具从大量数据集中学习模式。如果数据集存在偏见或无法代表现实，则模型会继承这些模式。
国际上有许多与人工智能相关和算法偏见的例子，包括导致监禁的虚假面部识别匹配，信用评分系统， 对妇女造成偏见以及在法庭和医疗系统中使用的歧视性工具。
英国《卫报》的报告认为，英国现在发现自己处于潜在丑闻的边缘，专家们对官员使用的算法的透明度和理解表示担忧。
丑闻已经发生了在其他国家也看到了例如在美国， 预测性警务平台已被拆除在荷兰，法院反对旨在遏制社会福利欺诈的人工智能系统。
一项由人权数据分析小组 发现在加州奥克兰使用的预测警务软件不成比例地针对有色人种社区，在这些社区延续了过度警务的循环。
2016年的一项研究显示，预测性警务算法将毒品相关逮捕集中在低收入地区（上图），尽管吸毒者的分布。资料来源：Wiley。
这反映了大都会警察局的面部识别工具在特定条件下识别黑人面孔时，该技术表现出较高的错误率。
在医疗保健领域也有几个例子，例如用于帮助检测皮肤癌的人工智能模型的不一致性。在大多数情况下，少数群体和妇女面临的风险最高。
公法项目首席执行官Shameem Ahmad强调了立即采取行动的必要性，他说：“人工智能具有巨大的社会公益潜力。例如，我们可以让事情变得更有效率。但我们不能忽视严重的风险。如果不采取紧急行动，我们可能会梦游到一种情况，不透明的自动化系统经常，可能是非法的，以改变生活的方式使用，当这些过程出错时，人们将无法寻求补救。
诺森比亚大学（Northumbria University）法学教授马里恩·奥斯瓦尔德（Marion Oswald）也强调了公共部门人工智能使用中存在的不一致性和缺乏透明度，他说：“公共部门人工智能的使用方式缺乏一致性和透明度。许多这样的工具会影响到日常生活中的许多人，例如那些声称福利的人，但人们不明白为什么要使用它们，也没有机会挑战它们。
人工智能对公共部门的风险
人工智能在政府部门和警察部队中的不受限制的应用引起了人们对问责制、透明度和偏见的担忧。
在工作和养老金部门(DWP)的案例中，《卫报》的报告披露了一些例子，在没有明确解释的情况下，算法暂停了人们的福利。
议员凯特·奥萨莫尔说，她的保加利亚选民失去了他们的利益，因为一个半自动系统标记他们的案件潜在欺诈，突出了缺乏透明度。
这让人回想起澳大利亚“机器人债务”丑闻一个自动化系统错误地指控了40多万人的福利欺诈，导致了广泛的困难。
机器债务丑闻受到英联邦监察员的调查，法律挑战和公众调查，显示了算法决策造成的影响规模。
机器人债务丑闻让成千上万的人背负了不合理的债务。来源：Green Left AUS。
澳大利亚政府同意2021年的和解金额为18亿澳元。
人工智能的缺点并不局限于公共服务。企业界也出现了失败，特别是在人工智能驱动的招聘工具方面。
一个值得注意的例子是亚马逊的人工智能招聘工具，该工具显示出对女性候选人的偏见。该系统在10年的时间里对提交给公司的简历进行了训练，其中大部分来自男性，导致人工智能偏向男性候选人。
要警惕的算法偏见的三个例子
随着人工智能和算法决策融入复杂的社会过程，偏见和歧视的令人担忧的例子正在增加。
美国医疗和司法系统
2019年的一项研究发表于science据透露，一种在美国广泛使用的医疗保健算法显示出种族偏见。与白人相比，该算法不太可能让黑人参加旨在改善对有复杂医疗需求的患者的护理的计划。
这项研究解释了为什么会出现偏差，因为算法使用健康成本作为健康需求的代理。花在有相同需求水平的黑人患者身上的钱更少，算法因此错误地得出结论，认为黑人患者比同样患病的白人患者更健康。
另一个关键的例子是在预测性警务和司法量刑中使用人工智能。工具，如替代制裁惩戒罪犯管理概况（COMPAS） 被用来评估被告再次犯罪的风险。
调查显示，这些工具可能对非裔美国人被告有偏见，使他们获得比白人被告更高的风险分数。这引发了人们对人工智能辅助司法决策的公平和公正的担忧。
巴西面部识别
的 圣保罗S的SMART Sampa项目巴西，标志着将人工智能和监控整合到城市景观中的一个重要里程碑-这只是中国的典型做法。
到2024年，该公司的目标是在圣保罗安装多达20，000个摄像头，并将相同数量的第三方和私人摄像头整合到一个视频监控平台中。该网络将监督公共空间、医疗设施和学校，并审查与公共管理相关的社交媒体内容。
圣保罗的监控摄像头实施了面部识别驱动的治安制度。资料来源：维基百科。
虽然Smart Sampa承诺加强安全和改善公共服务，但专家警告说，它可能加剧现有的社会问题，特别是结构性种族主义和不平等。
在巴西，基于面部识别被逮捕的人中，超过90%是黑人。圣保罗的倡议有可能延续这一趋势，使占巴西人口56%的黑人社区进一步边缘化。
面部识别技术经常错误地识别较深的肤色，部分原因是成像技术在较深肤色方面表现不佳，部分原因是训练数据集不具代表性。
数字权利律师Fernanda Rodrigues强调了假阳性的可能性，以及随之而来的大规模监禁黑人的风险。
罗德里格斯说：“除了向这些平台提供的信息可能不准确以及系统本身可能失败的风险之外，还有一个问题先于技术影响，那就是种族主义。
“我们知道巴西的刑事制度是有选择性的，所以我们可以得出结论，[使用面部识别监视]都是为了增加对这一人群的风险和伤害，”她补充说。
隐私问题也是最重要的。批评者认为，聪明的桑帕可能侵犯基本人权，包括隐私、表达自由、集会和结社自由。该项目
聪明的桑帕也不是没有受到挑战。检察官已经进行了调查，人权组织已经采取法律行动阻止这项技术。
荷兰系统风险指示（SyRI）
2022年，海牙地区法院审查了荷兰政府对系统风险指示（SyRI）这是一种用于检测潜在社会福利欺诈的算法。
该计划的目的是通过汇总来自不同政府数据库的数据，并应用风险指标生成潜在欺诈者的概况，提高查明福利欺诈的效率。然而，可疑的决定和缺乏透明度敲响了警钟，导致民间社会组织联盟提出法律质疑。
原告辩称，Syri违反了各种国际和欧洲人权法。他们还质疑该算法应用的合法性、必要性和相称性。
海牙地区法院裁定，关于SyRI的立法及其适用不符合必要的人权标准。法院强调缺乏透明度和可能产生歧视性影响，强调在实施此类技术时需要适当的法律保障。
荷兰一家法院禁止通过SyRI进行人工智能风险分析，认为这违反了《欧洲人权公约》第8条。资料来源：Anton Ekker。
该案被誉为第一批解决人工智能对公共部门人权影响的案件之一，突出了透明度、问责制和健全法律框架的必要性。
透明和公平的工具测试至关重要
在最近围绕政府运作中算法决策的法律挑战和公众监督之后，对人工智能工具进行透明测试的呼声变得越来越迫切。
确保问责制、防止歧视和维护公众信任取决于实施严格和开放的测试协议。
透明测试允许全面了解这些算法的运作方式、它们使用的数据以及它们遵循的决策过程。这对于识别系统中潜在的偏见、不准确或歧视性做法至关重要。
然而，严格的测试程序与人工智能快速高效的承诺背道而驰。
就英国而言，首相Rishi Sunak的“支持创新”立场可能没有为全面测试程序留出足够的空间。此外，在将人工智能工具分发给公众使用之前，几乎没有协议的流程来测试它们。
这种情况在世界各地都有反映。快速增加人工智能的采用不应该以审查和分析为代价。
