Les régulateurs suisses demandent des preuves que les systèmes d'IA fonctionnent de manière fiable. Les tests traditionnels ne peuvent pas les fournir. Voici pourquoi les approches statistiques sont la solution.
Quand une banque déploie un modèle d’IA pour évaluer le risque de crédit, ou qu’une autorité cantonale utilise l’apprentissage automatique pour trier les demandes, une question naturelle suit : comment savez-vous que ça fonctionne ?
Pour les logiciels traditionnels, la réponse est simple. On écrit des tests. Chaque test vérifie qu’une entrée spécifique produit une sortie spécifique. Si tous les tests réussissent, on a confiance dans le système.
L’IA ne fonctionne pas ainsi.
Le problème du non-déterminisme
Les systèmes d’IA — en particulier ceux construits sur de grands modèles de langage ou l’apprentissage statistique — sont intrinsèquement non déterministes. Posez la même question deux fois et vous pourriez obtenir des réponses différentes. Ce n’est pas un bug ; c’est une caractéristique fondamentale du fonctionnement de ces systèmes.
Cela crée un problème pour la conformité. La FINMA attend une validation des modèles. ISO 42001 exige une mesure de la performance. Les auditeurs veulent des preuves. Mais des preuves de quoi, exactement, quand la sortie du système varie par conception ?
Du réussite/échec aux taux de réussite
La réponse réside dans le passage de tests binaires (est-ce que ça a fonctionné ?) à des tests statistiques (à quelle fréquence ça fonctionne, et est-ce suffisant ?).
Au lieu d’affirmer qu’une fonction retourne une valeur spécifique, on l’exécute de nombreuses fois et on demande si le taux de réussite observé atteint un seuil défini à un niveau de confiance donné. C’est le fondement des tests probabilistes.
Pour un dirigeant, l’analogie est le contrôle qualité en fabrication. On ne teste pas chaque pièce — on teste un échantillon et on porte un jugement statistique sur le lot. Le même principe s’applique à l’IA.
Ce que cela signifie en pratique
Les tests probabilistes produisent des preuves structurées et quantitatives : taux de réussite, intervalles de confiance, distributions de latence, données de tendance. C’est précisément le type de preuves que les cadres réglementaires exigent.
Ils transforment la conformité IA d’un jugement subjectif (« nous pensons que ça fonctionne ») en une affirmation mesurable et vérifiable (« nous avons démontré, avec 95% de confiance, que le taux de réussite de ce système dépasse 99,5% »).
Pour les détails techniques d’implémentation, visitez javai.org.