L'évaluation de l'incidence algorithmique : l'outil fédéral que les entreprises privées devraient emprunter

Une évaluation de l'incidence algorithmique mesure les conséquences qu'un système décisionnel automatisé a sur les personnes qui y sont soumises, et fixe le niveau de supervision requis en proportion. Le gouvernement fédéral en a conçu une pour ses propres institutions dans le cadre de la Directive du Conseil du Trésor sur la prise de décisions automatisée. Elle ne s'applique pas aux entreprises privées. Empruntez-la quand même.

La raison est simple. Il n'existe au Canada aucun instrument gratuit, éprouvé et structuré comparable pour le secteur privé, et la solution de repli habituelle est l'évaluation des facteurs relatifs à la vie privée, qui répond à une autre question.

En quoi cela diffère-t-il d'une évaluation de la vie privée ?

Une ÉFVP demande si les renseignements personnels sont traités licitement. Une évaluation d'incidence algorithmique demande si la décision est équitable, explicable, réversible et proportionnée aux enjeux.

On peut réussir l'une et échouer l'autre, facilement. Un trieur de candidatures qui ne recueille rien de plus que ce que les candidats ont déjà soumis, conserve le tout au Canada et supprime selon un calendrier passera l'ÉFVP sans difficulté. Il peut malgré tout être le mauvais outil, s'il filtre des personnes sur un indicateur indirect que personne n'a examiné et qu'aucun recours pratique n'existe.

Les deux méritent d'être faites sur le même système, et elles partagent des intrants. Notre assistant d'ÉFVP couvre la première ; la seconde fait l'objet de ce billet.

Que mesure réellement l'évaluation ?

Quatre dimensions, et la notation compte moins que la discussion que chacune impose.

Les enjeux. Qu'arrive-t-il à quelqu'un si le système se trompe ? Un billet de soutien mal classé se rattrape. Une demande refusée, une réclamation signalée ou une candidature rejetée, souvent non, car la personne n'apprend jamais pourquoi.

La réversibilité. Existe-t-il un véritable moyen de contester et de renverser le résultat, et la personne sait-elle qu'il existe ? Un processus d'appel théorique enfoui dans un pied de page n'est pas de la réversibilité.

L'explicabilité. Pouvez-vous dire à la personne, en langage clair, quels facteurs ont mené au résultat ? Si la réponse honnête est qu'un modèle a produit un score sans que personne puisse dire pourquoi, cela limite les usages possibles du système.

La portée. Combien de personnes, à quelle fréquence, et peuvent-elles y échapper ? Un système appliqué à tous les candidats sans autre voie possible pèse plus lourd qu'un système appliqué à un sous-groupe volontaire.

Notez ces dimensions de façon constante et il se produit une chose utile : les systèmes se classent d'eux-mêmes, et la supervision due à chaque niveau devient un argument que vous pouvez réellement défendre à l'interne.

Que fait-on du résultat ?

Rattachez des contrôles précis à des niveaux précis, et consignez-les avant le déploiement, non après la première plainte.

Pour les systèmes à faible incidence, l'enregistrement à l'inventaire et une revue périodique suffisent. Pour le niveau moyen, ajoutez un réviseur humain nommé ayant le pouvoir de renverser, une attente d'exactitude documentée et l'information de la personne visée quant à l'usage d'une automatisation. Pour l'incidence élevée, ajoutez des tests avant déploiement sur des données représentatives, une surveillance après la mise en service, une voie d'appel définie avec un décideur humain et une réévaluation périodique.

La question de l'information mérite attention, car c'est celle vers laquelle le droit canadien avance le plus vite. La Loi 25 du Québec exige déjà d'informer une personne lorsqu'une décision repose exclusivement sur un traitement automatisé et de lui permettre de présenter ses observations. Le successeur proposé de la LPRPDE dans le projet de loi C-27 envisage des explications pour les décisions automatisées. Bâtir cette information maintenant coûte une phrase ; la rajouter plus tard coûte un projet.

Est-ce excessif pour une petite entreprise ?

Pour la plupart des systèmes, oui, et je préfère que vous vous en absteniez plutôt que de le faire mal partout.

Le seuil que j'applique : menez une évaluation d'incidence sur tout système produisant, au sujet d'une personne identifiée, un résultat auquel cette personne s'opposerait si elle le comprenait. C'est une courte liste dans la plupart des entreprises. Elle attrape habituellement les outils d'embauche, la notation de crédit ou de risque, les signalements de fraude, le tri des réclamations, et tout ce qui vise des patients ou des étudiants. Elle exclut habituellement les assistants de rédaction, les résumeurs, les notes de réunion et les aides au codage, qui constituent l'essentiel de ce qu'utilise une petite entreprise.

Faites bien la courte liste. Laissez le reste jusqu'à ce qu'il change de catégorie, et rappelez-vous qu'un assistant de rédaction devient un système à évaluer le jour où quelqu'un colle sa sortie telle quelle dans une lettre de décision.

Pour les tests d'équité qu'exige habituellement un résultat de niveau élevé, tester un système d'IA pour les biais explique à quoi ressemblent des mesures raisonnables en pratique.

Ceci est de l'information générale et non un avis juridique.

Valdra mène l'évaluation d'incidence en parallèle de l'évaluation de la vie privée sur le même dossier de système, de sorte que le niveau attribué détermine automatiquement les contrôles et le calendrier de revue. La vue gouvernance de l'IA réunit les deux.