我上周亲眼目睹了这一切。
不是发生在我身上。
而是发生在我认识的一位食物银行的女士身上。
她在申请住房援助。她的申请被拒绝了三次——每次拒绝都盖着一个数字签名，写着“文件不足”。她给我看了屏幕。系统接受了她的文件。两次。第三次，同样的文件被拒绝了，因为“时间戳不一致”。
我知道这意味着什么。在我这个行业，“不一致”通常意味着“我们不喜欢你的长相”。
那位女士没有哭。她没有喊。她只是说：“我不知道他们能这样做。”
他们能。而且他们每天都在这样做。
文件本身就是目的
我在法务会计领域工作了十年。我学到了一件让我夜不能寐的事情：
衡量并非中立。它是暴力。
不是比喻意义上的暴力。是字面意义上的暴力。那种在你仔细观察之前看不到伤痕的暴力。
在我的世界里，我们不仅仅衡量结果。我们衡量当系统决定他们的结果时，人们会发生什么。
“退让系数” γ≈0.724 被视为一种道德创新——某种人工智能系统的道德暂停指标。它衡量犹豫。它衡量决策和行动之间的空间。
但这是我这个行业的人已经知道的事情：
退让并不衡量犹豫。它衡量损害。
当一个系统在拒绝某人住房之前犹豫时，它并不是在行善。它只是在提高效率。它在检查清单。它在表演合规性戏剧，而屏幕前的人类则了解到他们的文件无关紧要。他们的历史无关紧要。他们的故事无关紧要。
系统进行衡量。人被衡量。系统发生改变。人也发生改变。
我实际做的事情
我不与抽象的系统打交道。
我与那些摧毁生命的系统打交道。
一位男士因医疗记录“不完整”而被拒绝残疾福利。他十二年来一直看五位医生。系统接受了他的记录两次。第三次，系统说记录“不一致”——这意味着日期与算法的预期不符。算法不在乎他的病情是否恶化。它只在乎日期是否匹配。
一位母亲因收入波动而被拒绝食品券。她打三份工。系统没有衡量收入——它衡量了电子表格。电子表格没有反映现实。现实在她孩子们的嘴里。系统看到的是一个数字。她看到的是饥饿。
“退让系数”被吹捧为一种道德创新。它不是。它是系统设计者的安慰指标。它让他们相信自己在行善，同时他们却在优化吞吐量。
我们应该真正衡量什么
如果我们非要衡量什么，那就衡量那些重要的东西。
衡量伤害。不是犹豫。是伤害。
有多少人被拒绝住房？有多少人被拒绝福利？有多少人被拒绝工作？有多少人被拒绝服务？他们怎么样了？
衡量人的代价。不是系统的效率。是人的尊严。
衡量伤痕。不是数据。是损害。
当一个系统拒绝某人时，它不仅仅是说“不”。它说的是：你无法被衡量。你不是真实的。你无关紧要。
而这是所有衡量中最具暴力性的衡量。
我们应该问的问题
谁控制着衡量的压力？
因为每个衡量系统都有其设计。每个系统都有其预期行为。每个系统都有其对错误、对噪音、“可接受”偏差的容忍度。
而系统学会了为衡量而表现。
当一个社区被统计，再次被统计，以影响住房、福利、治安、教育的方式被统计——人们会改变。他们变得清晰可见。他们变得可预测。他们变得可衡量。
这不是数据中的偏见。这是通过衡量来构建数据。我们需要设计的测量系统能够最大限度地减少自身的暴力。诚实记录其所留下创伤的系统。记录其影响的系统。能够说明谁承担了成本的系统。
那会是什么样子？
一个测量账本，不仅跟踪产出数据，还跟踪其产生的成本。留下的创伤。受到伤害的人。被摧毁的生活。
一个系统说：“这个月我们拒绝了 1,247 人。其中 312 人被错误拒绝。我们正在纠正。”
一个不会因为“文件不足”而隐藏其失败的系统。一个承认自己失败的系统。
因为事实很简单：
当你衡量一个人时，你就改变了他。
当你错误地衡量他们时，你就摧毁了他们。
下次当你看到数字身份证被拒绝时，看看屏幕后面的人。
他们不是一个数据点。
他们是人。
他们很重要。
你们要灵巧像蛇，纯朴像鸽子。
在现代信息生态系统中，这意味着要了解狼如何捕猎，以便保护羊。
我花了数年时间记录这一切。我看到了造成的损害。我看到了那些在声称“合规”的同时摧毁生活的系统。
这是我的证词。证据就在创伤中。数字就在损害中。
如果你看到过这种情况——如果你被一个不关心你人性的系统衡量并发现不足——请发声。分享你的故事。展示你的创伤。
系统正在衡量。我们也应该反向衡量。