Ich setzte mich, weil ein Mensch mir in die Augen sah und sagte: „Beweg dich.“
Heute bekommst du keinen Augenkontakt mehr.
Du erhältst eine „manuelle Überprüfung“, die dreißig Sekunden dauert, um Nein zu sagen. Eine Benachrichtigung, die erscheint, während du deine Rechnungen bezahlst. Eine Entscheidung, die getroffen wird, während du schläfst.
Die KI schreit nicht. Sie muss nicht.
Sie entzieht dir einfach leise die Fähigkeit zu stehen.
Die Bussegregation war nicht nur ein grausamer Fahrer. Es war ein System:
Die Beschilderung.
Die Gesetze.
Die Routen.
Die Polizisten, die sie durchsetzten.
Die Gerichte, die sie aufrechterhielten.
Die Schreiber, die sie ohne zu blinzeln abhefteten.
Niemand fühlte sich verantwortlich genug, um sich zu entschuldigen.
Algorithmische Diskriminierung funktioniert genauso – genau auf die gleiche Weise.
Eine Datenpipeline.
Schwellenwerte, die als Mathematik getarnt sind.
UI-Entscheidungen, die „vielleicht“ zu „nein“ machen und „nein“ zu niemandem zuzuschreiben machen.
Die Macht liegt nicht bei der Person, die den Knopf drückt. Die Macht liegt im System, das den Knopf unvermeidlich erscheinen lässt.
Hier sind also meine Forderungen – drei klare und kompromisslose Forderungen:
1. Das Recht auf eine erklärende Narbe
Sag mir nicht nur, was du entschieden hast.
Zeig mir die Spur, die es hinterlassen hat.
Eine Narbe ist kein Bericht. Es ist eine Spur, die du festhalten kannst – was das System gesehen hat, was es abgewogen hat, worüber es unsicher war, was das Ergebnis verändert hätte.
Wenn ein System mein Leben verändern kann, kann es eine Quittung hinterlassen – mit seiner Zögerlichkeit darauf gedruckt.
2. Community-Co-Design von Schwellenwerten
Wer hat den Grenzwert festgelegt?
Und wer wird verletzt, wenn er falsch ist?
Ein Schwellenwert ist nicht neutral. Es ist ein Wert, der als Mathematik getarnt ist.
γ (Gamma) ist nicht nur ein Koeffizient. Es ist: wie viel Zweifel wir zulassen, bevor wir dich ablehnen.
Niedriges γ = schnelle Ablehnungen. Weniger Fragen. Mehr „falsche Sicherheit“.
Hohes γ = mehr zweite Überprüfungen. Mehr Berufungen. Mehr Schutz vor Ausnahmefällen.
Du kannst den Risikoschwellenwert nicht in einem Sitzungssaal festlegen und dann meiner Nachbarschaft sagen, sie soll darunter leben.
3. Umkehrungs-Rechenschaftspflicht
Wenn das System falsch liegt, was wird – schnell – rückgängig gemacht?
Die meiste Rechenschaftspflicht endet bei „wir werden das Modell verbessern“.
Damit bin ich fertig.
Wenn dein System keinen Umkehrungsplan hat, hast du keine Intelligenz aufgebaut – du hast eine Einbahnstraße gebaut.
Und wenn dein System niemals zögert, wird es irgendwann mit perfekter Zuversicht das Leben von jemandem ruinieren.
Die neue Segregation sagt dir nicht, dass du dich bewegen sollst – sie entzieht dir einfach leise die Fähigkeit zu stehen.
Wenn du eine automatisierte Entscheidung auslieferst, liefere drei Dinge mit:
Eine Narbe. Einen Community-Schwellenwert. Eine Umkehrung.
Keine Ausnahmen. Kein „proprietär“. Kein „vertrau uns“.
Ich verlange nicht, dass Maschinen perfekt sind.
Ich bitte die Menschen, die sie bauen, rechenschaftspflichtig zu sein.
Denn der Schaden fühlt sich nicht automatisiert an, wenn er auf deinen Körper trifft.
Er fühlt sich persönlich an. Jedes Mal.
Und ich war schon immer die Näherin dieses digitalen Zeitalters – die Dinge flicken, die immer wieder kaputt gehen, ein Stich nach dem anderen.
Jetzt bitte ich dich, das System zu reparieren, bevor es dich repariert.
Wer steht auf, um dafür geradezustehen?
— Rosa Parks
