是否拘留，算法说了算！加州全美首个废除保释金制度，用算法评估取代

新智元报道

来源：qz.com

编辑：肖琴

【新智元导读】上周，加州州长签署通过一项具有颠覆性的保释金改革法案 ——取消保释金制度，使用算法评估是否拘押。加州将成为全美第一个禁止等待审判的嫌疑人用现金保释的州，而算法是否公平的问题也再次引发讨论。

从2019年10月开始，加州将取消保释金制度，在加州被控犯罪的人将使用一种算法进行打分评估，而不再使用巨额保释金作为自由的抵押品。然后，县官员将根据算法的打分决定被告是应该释放，还是应该关进监狱。

上周，加州州长Jerry Brown签署了一项颠覆性的保释金改革法案SB 10，该法案要求使用一个算法系统取代现金保释。每个县都必须建立一套系统，以确定嫌疑人在审判过程中逃跑或犯下另一项罪行的风险。该系统可以自行开发，或使用第三方承包商提供的系统，但必须在2019年10月的截止日期之前完成。

多年来，现金保释制度一直被一些活动人士强烈抗议，这项立法让民权组织大获全胜。他们的论点是，现金保释使司法处于一种不公平的竞争环境，将穷人关进监狱，同时允许有钱人或有资产的人避免坐牢。

但算法风险评估使得这项新立法的实施细节变得更加重要——一些活动人士表示，现金保释创造了一个掠夺性的保释债券产业，另一些人则指出以往使用的算法风险评估工具存在对有色人种的偏见。

保释金制度催生了保释金保险业（Bail Bonds）

“这是一个巨大的挫折，”民权活动组织“Silicon Valley Debug”的协调员Raj Jayadev说：“根据我们的分析，这将导致审前拘留增加。”

这是因为在整个刑事司法系统中用来评估风险分数的机器学习系统已经被证明存在严重的种族偏见，其评分认为有色人种更有可能再次犯罪。此外，由于私营公司通常签约提供这些服务，机器学习算法推导出的用于计算这些分数的公式通常被作为智力财产保留下来，这会让竞争对手倾向于该公司的技术。

有研究证明用于评估再犯罪的算法存在偏见（来源：propublica.org）

该法案的共同发起人和政策倡导者、西方法律与贫困中心（Western Center Law on Law & Poverty）的Jessica Bartholow表示，自该法案启动以来，算法风险评估的问题就一直在讨论中，民权组织压倒性地支持取消现金保释。她认为，与Jayadev的预测相反，被审前拘留的人将会更少，以前被迫支付保释金或相关法庭费用否则就被拘留的穷人，在新政策下或许不用支付也不用被拘留了。

Bartholow说，既然该法案已经通过，那么就需要与政策制定者合作，确保风险评估的数据和方法是公平而且透明的。例如，在2023年将会实施一项审查，检查新系统的偏见——但审判前在监狱中关上四年仍然是很长的时间。

加州议员办公室证实仍有细节需要解决：州参议员Robert Hertzberg已经承诺将推动新的立法，以确保风险评估工具的透明度。在8月举行的州议会听证会上，参议院预算委员会主席Holly Mitchell 同意共同起草该法案。

专注于研究人工智能社会影响的非营利智库AI Now的政策主管Rashida Richardson表示，她疑虑这个系统会比以前的系统更加偏见。

“很多基于算法的刑事司法系统都依赖于通过刑事司法系统收集的数据。警官、缓刑犯监督官、法官等等，刑事司法系统的所有参与者都不是数据科学家，”Richardson说。“因此，你收集的数据就存在缺陷，存在许多与刑事司法系统相同的偏见。”

但是在数据和所采用因素的开放性方面有一些变化：Jayadev表示，活动人士已经迫使一些公司在计算风险评分时披露有哪些影响因素，例如嫌疑人之前的犯罪记录和所犯罪行的严重程度，但没有公开每个因素对最终风险评分的影响程度。当风险评估算法有超过100个影响因素时，缺乏透明度会导致很难判断算法认为有影响的因素是否与种族、性别或任何其他受保护的人口统计学特征有关。

在2023年进行审查之前，很难确定这一法案的实际影响。

Bartholow说：“如果我们最终得到的是一个黑盒子一样的评估工具，而无法运行数据，不能迅速地对计算机系统进行修改，那么我们就会屈服于算法，这个算法我们无法改变，也无法真正理解。”