Tester un système d'IA pour les biais : à quoi ressemblent des « mesures raisonnables » en pratique

Tester un système d'IA pour les biais consiste à vérifier si ses résultats diffèrent entre les groupes d'une manière que vous ne pouvez pas justifier, puis à consigner ce que vous avez trouvé. C'est tout l'exercice. Il n'exige pas d'équipe de science des données, et l'omettre est plus risqué que ne le croient la plupart des entreprises canadiennes.

Voici pourquoi. Les lois sur les droits de la personne, dans les différentes juridictions canadiennes, visent l'effet discriminatoire et pas seulement l'intention. Un outil d'embauche qui classe systématiquement un groupe plus bas pose problème même si personne n'a voulu ce résultat et que personne ne peut l'expliquer. « C'est le modèle du fournisseur » n'est pas une défense que l'on souhaite éprouver.

Que peut-on tester sans équipe de recherche ?

Trois choses, par effort croissant. La plupart des entreprises peuvent faire les deux premières en une semaine.

Les taux de résultat par groupe. Prenez les décisions produites par le système sur une période. Comparez le taux de résultat favorable entre les groupes que vous pouvez licitement observer ou raisonnablement inférer. Si les candidats d'un groupe progressent à la moitié du taux d'un autre, vous avez quelque chose à expliquer, et mieux vaut vous l'expliquer à vous-même qu'à un tribunal.

La revue des intrants. Listez chaque caractéristique que voit le système. Cherchez les indicateurs indirects : code postal, prénom, année de diplomation, interruptions d'emploi, photographie, langue de la candidature. Chacun est corrélé à une caractéristique protégée. Retirer un champ protégé tout en conservant cinq indicateurs indirects ne règle rien.

Les tests appariés. Construisez des paires identiques sauf sur un attribut, faites-les passer dans le système et comparez. C'est la technique qu'utilisent depuis des décennies les chercheurs en équité du logement, elle n'exige aucun accès au modèle et fonctionne sur la boîte noire d'un fournisseur. C'est aussi l'artefact le plus convaincant que vous puissiez remettre à un auditeur.

Le problème de mesure dont personne ne vous parle

Souvent, vous ne pouvez pas mesurer l'écart, faute de recueillir les données démographiques qui le permettraient.

C'est une tension réelle au Canada. Les principes de protection de la vie privée poussent à collecter moins. Les tests d'équité exigent précisément les attributs que vous avez évité de recueillir. Les deux réflexes sont justes, et la solution n'est pas d'introduire des caractéristiques protégées dans vos systèmes opérationnels.

Ce qui fonctionne : les recueillir séparément, de façon volontaire, avec une finalité clairement limitée, conservées à l'écart du système décisionnel et utilisées uniquement pour une analyse agrégée. Ou recourir aux tests appariés, qui contournent entièrement le problème puisque vous construisez vous-même les intrants. Ou travailler avec le fournisseur et lui demander par écrit quels tests il a menés et sur quelle population.

Ce qui ne fonctionne pas : conclure que faute de pouvoir mesurer, vous n'avez aucune obligation de regarder. Ce raisonnement ne survit pas au contact d'une plainte.

Que veut dire « raisonnable » ici ?

Proportionné aux enjeux et à la portée de la décision, documenté, et répété.

Pour un outil qui rédige du contenu marketing, raisonnable équivaut presque à rien. Pour un outil qui trie des candidatures en volume, raisonnable signifie tester avant le déploiement, surveiller ensuite, disposer d'un humain pouvant renverser la décision, et retester lorsque le modèle ou le bassin de candidats change. L'écart entre les deux est énorme, d'où l'importance de commencer par l'évaluation de l'incidence algorithmique : elle vous dit de quel côté de l'échelle vous êtes.

Trois marqueurs pratiques d'un programme réel plutôt que décoratif :

• Le test a été défini avant de voir les résultats, de sorte que le seuil n'a pas été choisi pour réussir.
• Quelqu'un avait le pouvoir d'arrêter le déploiement selon le résultat, et cette personne n'était pas le responsable du système.
• Le constat a été consigné, y compris lorsqu'il s'agissait d'« aucun écart important constaté », avec la date et la méthode.

Ce troisième point compte plus qu'il n'y paraît. Un résultat négatif que vous pouvez produire un an plus tard vaut bien plus qu'un souvenir assuré.

Que faire lorsqu'on trouve quelque chose ?

Pas nécessairement éteindre le système. Quatre réponses légitimes, et l'important est d'en choisir une délibérément.

Corriger les intrants, si un indicateur indirect cause le dommage. Ajuster le seuil ou le processus, par exemple en envoyant les cas limites à une révision humaine plutôt qu'à un rejet automatique. Restreindre l'usage, pour que l'outil classe sans filtrer. Ou le retirer, si l'écart est important et inexplicable.

Quel que soit le choix, consignez le raisonnement, l'approbateur et la date dans votre journal des incidents ou votre dossier d'évaluation. Une organisation qui a constaté un écart, l'a examiné et a agi se trouve en position défendable. Une organisation qui n'a jamais regardé, non, et toute la différence entre les deux est documentaire.

Et les outils achetés ?

Posez quatre questions au fournisseur et consignez les réponses mot pour mot : quels tests d'équité ont été menés, sur quelle population, quels écarts ont été trouvés, et ce que vous êtes censé tester sur vos propres données. Un fournisseur qui n'en a fait aucun n'est pas disqualifié, mais l'obligation de test bascule vers vous, et il faut en tenir compte avant de signer. Gardez les réponses avec l'entrée de votre inventaire des fournisseurs.

Ceci est de l'information générale et non un avis juridique.

Valdra rattache les tests de biais au système concerné, avec la méthode, la date et la décision qui a suivi, pour que le dossier existe quand quelqu'un pose la question un an plus tard. La vue gouvernance de l'IA l'héberge.