Les régulateurs suisses exigent la preuve que les systèmes d'IA fonctionnent de manière fiable. Les tests traditionnels ne peuvent pas le fournir. Voici pourquoi les approches statistiques sont la solution.
Quand une banque déploie un modèle d’IA pour évaluer le risque de crédit, ou quand une autorité cantonale utilise l’apprentissage automatique pour trier les demandes, une question naturelle se pose : comment savez-vous qu’il fonctionne ?
Pour les logiciels traditionnels, la réponse est simple. Vous écrivez des tests. Chaque test vérifie qu’une entrée spécifique produit une sortie spécifique. Si tous les tests réussissent, vous avez confiance dans le système.
L’IA ne fonctionne pas de cette façon.
Le problème du non-déterminisme
Les systèmes d’IA — en particulier ceux basés sur de grands modèles de langage ou l’apprentissage statistique — sont intrinsèquement non-déterministes. Posez la même question deux fois et vous pouvez obtenir des réponses différentes. Ce n’est pas un bug ; c’est une caractéristique fondamentale du fonctionnement de ces systèmes.
Cela crée un problème de conformité. FINMA s’attend à une validation des modèles. ISO 42001 exige une mesure de performance. Les auditeurs veulent des preuves. Mais des preuves de quoi, exactement, quand la sortie du système varie intentionnellement ?
Du pass/fail aux taux de réussite
La réponse réside dans le passage des tests binaires (a-t-il marché ?) aux tests statistiques (à quelle fréquence fonctionne-t-il et est-ce suffisant ?).
Au lieu d’affirmer qu’une fonction retourne une valeur spécifique, vous l’exécutez plusieurs fois et demandez si le taux de réussite observé atteint un seuil défini à un niveau de confiance donné. C’est le fondement des tests probabilistes.
Pour un gestionnaire d’entreprise, l’analogie est le contrôle de qualité en fabrication. Vous ne testez pas chaque article — vous testez un échantillon et portez un jugement statistique sur le lot. Le même principe s’applique à l’IA.
Ce que cela signifie dans la pratique
Les tests probabilistes produisent des preuves structurées et quantitatives : taux de réussite, intervalles de confiance, distributions de latence, données de tendance. C’est précisément le type de preuves que les cadres réglementaires exigent.
Cela transforme la conformité de l’IA d’un jugement subjectif (« nous pensons qu’il fonctionne ») en une affirmation mesurable et vérifiable (« nous avons démontré, avec 95 % de confiance, que le taux de réussite de ce système dépasse 99,5 % »).
Pour les détails techniques de mise en œuvre, visitez javai.org.