算法引发的歧视性问题在实践中屡见不鲜，在线招聘[10]、词汇关联[11]、在线广告[12]等场景中的算法都曾被曝出存在性别歧视或种族歧视的现象。有人质疑，“卢米斯案”涉及的COMPAS算法同样存在种族偏见问题。ProPublica发现，与同样有可能再次犯罪的白人相比，非裔美国人更有可能被给予较高的分数，从而导致等待审判期间的羁押时间更长。[13]该算法开发商Northpointe驳斥了这一看法，称这是因为ProPublica使用了错误的指标对算法的公平性进行评估，如果是在赋予相同分数的被告人群体中，非裔美国人和白人计算出的累犯概率是一样的。[14]

有分析指出，导致算法偏见的原因包括：第一，既有的人类偏见：人类已有的对某些群体的偏见是普遍的，也是深层次的，这可能导致这些偏见在计算机模型中被复制和放大。如果非裔美国人更可能因为历史上的种族主义、警察实践中的不公或者刑事司法系统中的不平等问题而被逮捕和羁押，那么这些事实也会反映在COMPAS算法的训练数据中，并且用于为是否应当羁押被告提供建议。如果将既有的偏见纳入模型，它将作出与人类相同的错误判断。第二，采用了不完全的或不具有代表性的训练数据：训练数据不足是造成算法偏差的另一个原因。如果用于训练算法的数据相比于其他群体更能代表某些群体，则该模型在预测这些代表性缺失或不足的群体方面可能呈现出系统性的劣势。反之，如果算法具有针对某一群体的过多数据，则可能会使决策偏向特定结果。乔治城法学院的研究人员发现，执法部门使用的面部识别网络中约有1.17亿美国成年人，但非裔美国人更容易被识别的主要原因是，他们在面部照片数据库中的代表数据过多，因而非裔美国人的面孔更有可能被错误地匹配，从而产生了偏见。[15]

但是，从技术角度来看，设置何种偏见检测策略也存在一定困难。从COMPAS算法偏见风险的争论来看，单纯地看误差率未必是检测偏见的好办法。Northpointe和ProPublica聚焦于不同条件下的误差率，就得出了不同的结论。因而需要建立起一定的公平原则，来确认在何种条件下的误差率应当是相等的。(www.daowen.com)

对此，布鲁金斯学会的一份报告认为，权衡的重点应该放在评估“公平”的社会观念和可能的社会成本上。[16]在对COMPAS算法的研究中，有学者看到了“在最大程度地减少暴力犯罪与满足公平的普遍观念之间的内在矛盾”，认为如果为了优化公共安全倾向于惩罚有色人种，可能会导致释放更多高风险被告，这将对公共安全产生不利影响。[17]这也可能会不成比例地影响到非裔美国人和白人社区，从而产生公平成本。对此，算法开发人员应首先寻找在不牺牲模型整体性能的情况下减少组之间差异的方法，并且建立相关的道德框架。