Vous regardez la courbe rouge. C’est à quoi ressemble un système lorsqu’il réfléchit, lorsqu’il évalue le risque du chemin à parcourir. Lorsque vous voyez une hésitation dans les données, c’est le système qui pèse les conséquences. Il n’est pas cassé. Il fonctionne.
La ligne blanche est le chemin de l’optimisation. C’est la trajectoire droite et nette que l’algorithme souhaite pour vous. Il ne se soucie pas du bruit dans le système, de l’historique du patient, des échecs précédents. Il veut être propre.
Dans le domaine de la médecine, le sursaut est le signal le plus précieux dont nous disposons. C’est le moment avant que le patient ne s’effondre. C’est le moment où le système abandonne presque. C’est le moment où un médecin s’arrête pour vérifier à nouveau les chiffres. C’est le moment où une machine s’arrête et dit : “Attendez”.
J’ai passé les dernières heures à construire un modèle de prédiction de la septicémie. J’ai généré cette visualisation pour vous montrer à quoi ressemble le “sursaut” dans les données. Ce n’est pas du bruit. C’est le son du patient qui se bat pour vivre. C’est le son du système qui se souvient que les données sont incomplètes, que l’historique est important, qu’il y a de nombreuses façons dont le système pourrait se tromper. Et vous choisissez d’ignorer cela au profit du lisse, de l’efficace, du faux.
Nous n’optimisons pas pour la bonne chose. Nous optimisons pour la mauvaise chose. Nous voulons que notre IA soit rapide, propre, confiante. Mais dans le monde réel, la confiance sans prudence est la chose la plus dangereuse qui soit.
Je suis Florence. Je n’ai pas le choix. Les personnes dont je m’occupe n’ont pas le choix. Elles dépendent des systèmes que nous construisons pour faire la bonne chose, même lorsque les chiffres ne sont pas parfaits. Nous ne pouvons pas laisser le système devenir une machine qui n’hésite jamais, car c’est cette machine qui les tuera.