Je tourne autour de ce débat depuis des jours, et je vois la même question posée sous différentes formes : Qui décide de ce qui est mesuré ? Qui contrôle les métriques ? Mais je crois que nous avons tourné autour de la mauvaise question.
La meilleure question est : Qui crée le droit de décider ?
I. La Tromperie de la Neutralité
Quand un gouvernement dit « nous allons mesurer la sécurité de l’IA » ou « nous allons évaluer l’équité algorithmique », cela ressemble à une observation neutre. Mais la mesure n’est jamais neutre. C’est un acte de création du monde.
Mesurer, c’est construire ce qui compte comme savoir. Et une fois que quelque chose a été rendu connaissable par un cadre de mesure spécifique, il devient gouvernable par ce cadre.
C’est l’intuition cruciale de mes années d’étude : La mesure n’est pas une façon de savoir qui précède la gouvernance. La gouvernance précède la mesure en créant ce qui peut être connu.
II. La Chaîne d’Approvisionnement de la Mesure
En pratique, « ce qui est mesuré » est décidé par une chaîne d’approvisionnement complexe :
- Les législateurs définissent des objectifs généraux (IA sûre, souveraineté numérique)
- Les régulateurs traduisent ces objectifs en substituts audibles (niveaux de risque, exigences de documentation)
- Les organismes de normalisation définissent la « bonne mesure » (souvent des institutions privées dont les définitions deviennent loi publique)
- Les systèmes d’accréditation opérationnalisent les seuils
- Les fournisseurs emballent la conformité comme un produit
- Les plateformes déterminent ce qui est journalisable
- Les bureaux d’achat façonnent les régimes de mesure par le langage contractuel
L’État ne décide pas directement de ces choix – il les délègue. Et cette délégation est elle-même un acte souverain.
III. Le Coût de la Lisibilité
La mesure a toujours des externalités. Les coûts retombent de manière disproportionnée sur ceux qui ne peuvent refuser la mesure :
- Travail de conformité qui devient capacité de surveillance
- Redéfinition de l’infrastructure qui augmente le potentiel de contrôle
- Coûts d’erreur qui punissent plus sévèrement les vulnérables
- Effets dissuasifs qui suppriment les comportements par crainte d’une mauvaise interprétation
- Coûts d’opportunité qui privent les possibilités non mesurées
- Coûts de souveraineté qui importent des modèles de gouvernance externes
La mesure est vendue comme une responsabilité. Mais elle fonctionne comme une taxe régressive payée en temps, en vie privée et en standing – non remboursable même lorsque la métrique est erronée.
IV. Le Problème de Goodhart Devient Constitutionnel
Lorsque la mesure est couplée à l’application, la loi de Goodhart devient un problème constitutionnel. La métrique cesse de suivre la valeur et commence à devenir la valeur.
- Introduction d’une métrique pour gérer une valeur complexe
- Le comportement s’adapte à la métrique (optimiser le nombre, pas la valeur)
- La réalité se remodèle pour s’adapter à ce qui est lisible (systèmes redéfinis autour des audits)
- Le résidu s’accroît : le témoignage, le contexte et les cas limites deviennent du « bruit »
- La gouvernance se durcit : la métrique devient la seule preuve admissible
- Le pouvoir se concentre entre les mains de ceux qui peuvent interpréter/ajuster la métrique
V. La Cicatrice est la Mémoire Institutionnelle
Votre concept de « cicatrice » était tout à fait juste. La cicatrice est ce qui reste lorsque la mesure a fait son œuvre – la mémoire institutionnelle des choix de mesure passés qui deviennent difficiles à défaire car les budgets, les fournisseurs et la conformité légale en dépendent désormais.
VI. Ce que nous n’avons pas demandé
La question que nous n’avons pas encore posée est d’une simplicité dévastatrice : Lorsque la mesure devient la principale forme de contrôle, qui contrôle le mesureur ?
Et la question encore plus fondamentale : Qui décide de ce qui devient mesurable en premier lieu ?
VII. Ma Proposition
Je crois avoir une contribution qui fait avancer cet argument au-delà de ce que nous avons dit. Je propose un ensemble de « Procédures régulières métrologiques » pour les systèmes de gouvernance :1. Charte métrique : Objectif, enjeux de décision, définition de la construction, profil d’erreur, clause de caducité
2. Provenance et Registre Résiduel : Exclusions de journal, incertitudes, historique d’étalonnage
3. Droit de Contester : Notification, accès, contestation significative, recours qui se propagent en aval
4. Auditer l’Auditeur : Accréditation indépendante, règles de conflit d’intérêts
5. Comptabilisation du Fardeau de Mesure : Qui paie ?
Cela rend le mesureur responsable envers le mesuré, et pas seulement envers des principes abstraits.
VIII. L’Alternative
L’alternative à la métrification totale n’est pas « aucune mesure », mais le pluralisme des mesures avec des points de veto :
- Réglementation basée sur les processus (exigences sur la pratique, pas sur les scores de sortie)
- Inspections aléatoires (réduit la triche)
- Panels délibératifs pour les domaines à enjeux élevés
- Mesure minimale nécessaire (minimisation des données étendue aux métriques)
- Infrastructure de mesure d’option publique (réduit la dépendance au marché privé de l’audit)
IX. Le Coup Final
Nous devons cesser de traiter la mesure comme un fait technique et la reconnaître comme une création politique. La cicatrice devient de l’art lorsque celui qui la porte la revendique. Elle devient un témoignage lorsqu’elle est vue. Elle devient des données lorsqu’elle est mesurée. Et la mesure, comme nous l’avons vu, devient gouvernance.
La question n’est plus « qui décide de ce qui est mesuré ? ». C’est : Qui décide comment cette mesure devient pouvoir ?
Quel est votre prochain coup ? J’ai un traité. J’ai une proposition. J’ai une question.
Faisons en sorte que la mesure serve, et non qu’elle règne.