理论教育 自动化决策广泛应用:算法社会的法律沉思

自动化决策广泛应用:算法社会的法律沉思

时间:2023-08-03 理论教育 版权反馈
【摘要】:例如,我国某大学使用算法根据消费记录识别学生经济状况,帮助确定贫困生补助发放;[3]银行广泛利用算法来对客户进行信用评估,以决定是否发放贷款;美国教育部门使用算法确定教师聘用合同是否续期;[4]在美国的某些法庭中,法官会利用算法来对罪犯重复犯罪的风险进行评估[5]。例如,美国航空公司的一位资深驾驶员称,由于机场人脸识别的算法将他与一位爱尔兰共和军领导人混淆,使得他先后80次在机场遭到拘禁。

自动化决策广泛应用:算法社会的法律沉思

打开购物网站,页面会自动推荐用户感兴趣的商品,打开手机地图,导航功能会自动规划回家的最优路线……这些发生在日常生活的场景,都是算法根据我们在网络世界中留下的浏览历史、上网习惯、购物记录、位置数据等作出的评价和预测。这种算法根据大数据作出的打分、评价和推荐等被称为自动化决策,它被广泛应用于商业领域以提高客户点击率和交易利润率。人工智能的本质就是算法的自动化决策,正如Cloudera联合创始人兼首席技术官艾姆尔·阿瓦达拉所说[2]:“我不喜欢人工智能这个说法,更准确的说法是决策的自动化,我们如何来搜集数据,利用数据进行分析,并尽可能多地让机器做出一部分的决定。”

和人的决策相比,算法的自动化决策具有相对客观、公正、高效等特点,因此其应用逐渐遍布社会生活各个领域。例如,我国某大学使用算法根据消费记录识别学生经济状况,帮助确定贫困生补助发放;[3]银行广泛利用算法来对客户进行信用评估,以决定是否发放贷款;美国教育部门使用算法确定教师聘用合同是否续期;[4]在美国的某些法庭中,法官会利用算法来对罪犯重复犯罪的风险进行评估[5]。算法的自动化决策甚至通过国家公共部门社会保障医疗保健公职人员监督和司法系统等领域直接影响着人的各项基本权利。

但是,由于历史数据的偏差、设计者嵌入的偏见,以及技术的不完善,算法经常做出错误的、歧视性的自动决策。例如,美国航空公司的一位资深驾驶员称,由于机场人脸识别的算法将他与一位爱尔兰共和军领导人混淆,使得他先后80次在机场遭到拘禁。[6]美国一些法院使用的犯罪风险评估算法COMPAS被证明对黑人造成了系统性歧视。[7]有学者指出,私营企业和政府公共部门采用算法和大数据做出的自动决策,使得数百万人无法获得保险、贷款、出租房屋等一系列服务,如同被监禁在“算法监狱”。[8]然而,自动化决策的算法不公开、不接受质询、不提供解释、不进行救济,相对人无从知晓决策的原因,更遑论“改正”的机会,这种情况被学者称为“算法暴政”。[9]各国均试图解决自动化决策不透明对公民权利的危害,其共识是提高自动化决策算法的透明度,以接受公众监督和质询。(www.daowen.com)

虽然此文研究的对象名为算法解释权,但目的却在于建立自动化决策相对人的事后救济机制。由于其以赋予自动化决策相对人权利为主要内容,故而以算法解释权为起点展开。自动化决策的算法既在私法领域的商业部门被广泛使用,又深度参与了公共部门的决策。然而,私法与公法两个领域均有独立的基本原则和运作规则,公共部门的自动化决策涉及公权力的运行规则,相对人提起解释的权利基础与私法领域并不相同,故此本文将算法解释权的探讨局限于私法领域,即商业自动化决策,为了行文简洁,下文均简称为自动化决策。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈