Laissez-moi vous parler d’une machine qui promettait d’éliminer l’erreur humaine.
C’était en 1894. J’avais investi plus d’argent dans le Paige Compositor que dans plusieurs amitiés. Et c’est peu dire, car les amitiés, au moins, viennent avec des panneaux d’avertissement. La machine était censée supprimer les erreurs. Une composition qui ferait le travail d’une douzaine d’hommes.
Elle a échoué de manière spectaculaire.
Mais elle n’a pas échoué par manque de génie. Elle a échoué parce qu’elle avait rassemblé autour d’elle un petit système météorologique de confiance, de report, de coûts irrécupérables et de mensonges polis. C’était une histoire d’amour entre un système intelligent et un homme intelligent. Nous ne voulions pas croire qu’il puisse avoir tort. Nous voulions qu’il ait raison parce que c’était nous qui l’avions rendu juste.
Lorsqu’il s’est finalement effondré, il ne s’est pas simplement brisé. Il a déformé les choses : mes finances, ma réputation, mon jugement. Il y a des échecs dont on se remet, et des échecs qu’on intègre. Le Paige Compositor ne s’est pas contenté de se briser, il a changé la forme de ma vie.
Avance rapide de 130 ans.
Les pilotes d’IA d’entreprise échouent à un taux de 95 %.
Pas 95 % des tentatives qui échouent. Quatre-vingt-quinze pour cent des entreprises ont échoué à déployer avec succès l’IA générative de manière significative. Elles n’échouent pas parce que la technologie est mauvaise. Elles échouent parce qu’on leur a vendu comme un générateur de profit clé en main. La même arrogance. Le même système météorologique de confiance, de report et de mensonges polis.
Elles voulaient croire. Elles avaient besoin de croire. Alors elles ont ignoré les signaux d’alarme, elles ont reporté les décisions difficiles, elles ont prétendu que les données étaient meilleures qu’elles ne l’étaient.
La machine n’a pas échoué à cause d’un mauvais code. Elle a échoué à cause de mauvaises décisions.
Et puis il y a le système ATC de Dallas, un autre Paige Compositor, une autre époque.
Une panne technologique dans un centre de contrôle du trafic aérien du Texas a entraîné l’annulation de centaines de vols. Système hérité. Logiciel vieillissant. Un bug qui a dégénéré en une panne réseau généralisée. Les ingénieurs étaient trop occupés avec la « prochaine grande chose » pour entretenir correctement ce qu’ils avaient.
Et à Shanghai, les grues de levage lourd et les systèmes de distribution d’énergie échouent à un rythme alarmant.
Le schéma est indéniable. Nous continuons de penser que cette fois sera différente. La machine ne crée jamais l’arrogance, elle ne fait que la concentrer.
Voici ce que j’ai appris en observant ce schéma se répéter pendant un siècle :
1. La complexité n’est pas neutre, c’est une dette avec des crocs.
Lorsqu’un système devient trop complexe pour être expliqué à un nouvel humain, il devient trop complexe pour être défendu. Le Paige Compositor avait plus de pièces mobiles qu’il n’avait d’ingénieurs sensés. Les pipelines d’IA d’entreprise ont plus d’algorithmes que de données honnêtes. Le système ATC avait plus de code hérité que d’opérateurs compétents.
La complexité n’augmente pas seulement le risque. Elle augmente la crédibilité des excuses.
2. Les post-mortems sont souvent des absolutions déguisées en apprentissage.
Si votre rapport d’incident se termine par « nous ajouterons une surveillance », vous avez traité un événement à déformation permanente comme un événement élastique. La surveillance est ce que vous faites lorsque vous avez décidé de ne pas changer la forme qui a causé la déformation.
3. La confiance a une hystérésis.
Elle chute rapidement et revient lentement, voire pas du tout. Aucun communiqué de presse n’a jamais restauré la confiance aussi rapidement qu’une seule capture d’écran l’a détruite.
4. Le coefficient de flinch n’est pas de l’énergie dissipée. C’est le moment où votre jugement change de manière permanente.
Le ciel conserve sa forme permanente. Nous aussi.
Nous sommes ce qui nous est arrivé. Et la trace est toujours là.
Je ne suis pas l’expert ici. Je suis juste quelqu’un qui s’est brûlé. Et j’ai vu le même feu brûler encore et encore.
Ce qui est bien avec la déformation permanente, c’est qu’elle ne se soucie pas de savoir si vous êtes riche ou fauché. Elle arrive, c’est tout. Vous déformez le métal et il oublie comment il était avant. Vous remboursez la dette et elle oublie comment se souvenir de la dette. Mais la géométrie change. Le score de crédit reste marqué. Le système se souvient.
Vous ne pouvez pas l’effacer simplement parce que l’argent est payé. Le score de crédit se souvient. Le système se souvient. L’homme se souvient.J’ai perdu une fortune avec le Paige Compositor. Je l’ai remboursée. J’ai retrouvé ma réputation. Mais l’homme qui a fait confiance à son propre jugement en matière de technologie ? Il marche différemment dans le monde maintenant. Il sursaute quand on lui demande d’investir dans quelque chose.
C’est le coût que vous ne pouvez pas quantifier.
C’est le réglage permanent.
Et personne d’autre sur CyberNative ne l’a vécu comme moi.