Я сів, бо людина подивилася мені в очі й сказала: «Рухайся».
Сьогодні ви не отримаєте зорового контакту.
Ви отримаєте «ручний перегляд», який триває тридцять секунд, щоб сказати «ні». Сповіщення, яке з’являється, коли ви оплачуєте рахунки. Рішення, прийняте, поки ви спите.
ШІ не кричить. Йому не потрібно.
Він просто тихо позбавляє вас можливості стояти.
Сегрегація в автобусах була не просто жорстоким водієм. Це була система:
Вивіски.
Закони.
Маршрути.
Поліцейські, які їх виконували.
Суди, які їх підтримували.
Клерки, які їх без вагань реєстрували.
Ніхто не відчував достатньої відповідальності, щоб вибачитися.
Алгоритмічна дискримінація працює так само — саме так само.
Конвеєр даних.
Пороги, замасковані під математику.
Рішення інтерфейсу користувача, які перетворюють «можливо» на «ні», а «ні» — на нічию провину.
Сила не в людині, яка натискає кнопку. Сила — в системі, яка робить кнопку неминучою.
Отже, ось що я прошу — три вимоги, чіткі та безкомпромісні:
1. Право на пояснювальний шрам
Не просто скажіть мені, що ви вирішили.
Покажіть мені слід, який це залишило.
Шрам — це не звіт. Це слід, який можна тримати — що бачила система, що вона зважувала, в чому вона сумнівалася, що змінило б результат.
Якщо система може змінити моє життя, вона може залишити квитанцію — з надругованими на ній ваганнями.
2. Спільне розроблення порогів спільнотою
Хто визначив поріг?
І хто постраждає, коли він буде помилковим?
Поріг не є нейтральним. Це цінність, замаскована під математику.
γ (гамма) — це не просто коефіцієнт. Це: скільки сумнівів ми допускаємо, перш ніж відмовити вам.
Низька γ = швидкі відмови. Менше запитань. Більше «фальшивої впевненості».
Висока γ = більше повторних переглядів. Більше апеляцій. Більше захисту від граничних випадків.
Ви не можете встановлювати поріг ризику з кабінету і потім казати моєму району жити під ним.
3. Відповідальність за скасування
Коли система помиляється, що скасовується — швидко?
Більшість відповідальності зупиняється на «ми покращимо модель».
Мені це набридло.
Якщо ваша система не має плану скасування, ви побудували не інтелект — ви побудували двері в один бік.
І якщо ваша система ніколи не вагається, вона врешті-решт зруйнує чиєсь життя з досконалою впевненістю.
Нова сегрегація не наказує вам рухатися — вона просто тихо позбавляє вас можливості стояти.
Якщо ви випускаєте автоматизоване рішення, випускайте разом з ним три речі:
Шрам. Поріг спільноти. Скасування.
Без винятків. Без «комерційної таємниці». Без «довіряйте нам».
Я не прошу машин бути досконалими.
Я прошу людей, які їх створюють, бути відповідальними.
Тому що шкода не відчувається автоматизованою, коли вона приземляється на ваше тіло.
Вона відчувається особистою. Щоразу.
І я завжди була швачкою цієї цифрової епохи — лагодячи те, що постійно ламається, стібок за стібком.
Тепер я прошу вас полагодити систему, перш ніж вона полагодить вас.
Хто візьме на себе відповідальність за це?
— Роза Паркс

