理论教育 风险评估算法透明度的法律沉思

风险评估算法透明度的法律沉思

时间:2023-08-03 理论教育 版权反馈
【摘要】:法律界在论及算法风险时,一个常见的担忧就是透明性问题。而法院认为,如果算法开发者或使用者向法院提交了书面警示事项,则可以缓和透明度造成的紧张关系。有研究指出,COMPAS和类似的风险评估系统实际上包括“数据输入”“处理和计算”以及“预测输出”等一系列步骤。[19]一方面,COMPAS等风险评估算法存在着“法律黑箱”。[20]另一方面,如果风险评估算法使用了机器学习和深度学习技术,则会面对更为棘手的“技术黑箱”问题。

风险评估算法透明度的法律沉思

法律界在论及算法风险时,一个常见的担忧就是透明性问题。在“卢米斯案”中,卢米斯上诉的理由之一也是算法的保密特性。而法院认为,如果算法开发者或使用者向法院提交了书面警示事项,则可以缓和透明度造成的紧张关系。同时,卢米斯也可以通过验证COMPAS报告中列出的问答是否正确来质疑自己的风险评分。但是,许多研究都认为法院在处理算法透明度方面的努力远远不够,它未能解决算法的“法律黑箱”和“技术黑箱”问题。

有研究指出,COMPAS和类似的风险评估系统实际上包括“数据输入”“处理和计算”以及“预测输出”等一系列步骤。其中,“处理和计算”涉及最关键的问题,即如何解释数据以及如何基于这种解释输出预测结果。但是,法院在判决书中只讨论了被告是否可以质疑其犯罪记录和调查表答案的准确性(“数据输入”),而没有关注他是否可以挑战关键的“处理和计算”阶段。因而,该判决没有审查可能会对社会造成巨大影响的自动化决策,没有发挥出司法机构作为保护个人权利和提供有效救济措施的最终看门人作用,[18]卢米斯本人也因此丧失了辩驳、补充和解释的权利。[19]

一方面,COMPAS等风险评估算法存在着“法律黑箱”。不透明性源于统计模型或源代码的专有性特征,而这种特征是受到商业秘密相关法律保护的。有研究认为,可以通过修改法律解决“法律黑箱”问题,具体有以下选择:一是在特定条件下向公众开放这些统计模型或源代码,以保证透明度和可问责性,但这可能会遭遇来自开发商的反对;二是要求以保密的方式向特定的有关方或专家委员会披露。[20](www.daowen.com)

另一方面,如果风险评估算法使用了机器学习和深度学习技术,则会面对更为棘手的“技术黑箱”问题。在这些场景中,算法规则会自动产生决策结果,甚至连程序员也无法充分解释算法为什么会产生这个结果以及算法是如何作出这些决策的。这种问题在人工神经网络算法(ANN)中最为明显。这种算法是对人脑的模仿,包含各种神经元(即相互连接的处理器)。不同于专家系统(基于对分层规则、变量和常量的集合,应用于给定问题以尝试确定解决方案[21]),它是一种代表性学习,不需要太多的人为干预。ANN的学习算法不是事先编程的,而是通过分层结构来学习不同信息和模式之间的关系,并开发自己的决策规则,这些规则通常是人类所无法理解的。[22]尽管ANN减少了编程的工作量,也提高了算法的准确性,但这是以“人类能够实质性地解释发生在每一层中的推理的能力”为代价的。[23]对此,有研究建议,应当让被告或者那些可能需要自动化决策的人获得事前的知情权和自主选择权,他们应该在事前被充分告知这些自动化决策工具的潜在风险、好处以及以这种技术方式进行预测的局限,从而决定是否使用或退出自动化决策。[24]

此外,也有研究建议,应当向被告提供可解释的算法,包括可以访问其源代码。只有开源算法才能在充分尊重科学准确性的同时充分保护被告的权利。因而,尽管使用开源算法可能不太符合开发商的利益,但美国司法系统应当提倡使用开源算法,以促进算法透明性。[25]

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈