Que mettre dans un rapport au conseil sur le risque lié à l'IA

Un rapport au conseil sur le risque lié à l'IA devrait tenir sur une page et répondre à quatre questions : qu'exploitons-nous, que peut-il nous arriver, que faisons-nous, et qu'est-ce qui a changé depuis la dernière fois ? La plupart des rapports que je vois n'en traitent aucune, parce qu'ils expliquent la technologie à la place.

Les administrateurs ne demandent pas à être formés sur les architectures de modèles. Ils demandent si l'organisation peut démontrer qu'elle a fait preuve de diligence, la norme même à laquelle leurs propres devoirs sont mesurés.

Les six chiffres qui ont leur place

La dernière ligne change les conversations au conseil. Les acceptations de risque sont des décisions légitimes, mais une acceptation ouverte depuis quatorze mois n'est plus une décision, c'est une habitude. Afficher l'ancienneté transforme une dérive invisible en choix visible.

Que faut-il en exclure ?

Les noms de modèles, les noms de fournisseurs, les pourcentages d'exactitude et l'architecture. Rien de tout cela n'aide un administrateur à décider, et un cahier du conseil circule plus largement qu'on ne le suppose.

Écartez aussi le langage de la certitude. « Nous sommes conformes à la réglementation sur l'IA » n'est pas une phrase défendable aujourd'hui, le cadre canadien étant toujours devant le Parlement. « Nous avons évalué nos sept systèmes les plus à risque au regard des exigences attendues, et voici les écarts » se défend et sert bien mieux.

Comment présenter le risque sans alarmer ni endormir ?

Donnez à chaque risque important trois lignes : ce qui pourrait arriver, la vraisemblance selon vous, et ce qui devrait être vrai pour que cela arrive. La troisième ligne produit la bonne discussion, car elle transforme une crainte abstraite en une chaîne que quelqu'un peut rompre.

Par exemple, au lieu de « risque de biais dans l'embauche », écrivez : une candidature pourrait être écartée sur un indicateur indirect d'un motif protégé ; nous jugeons cela possible parce que l'outil n'a pas été testé sur notre bassin de candidats ; il faudrait que le modèle du fournisseur pondère une caractéristique que nous n'avons pas examinée. L'administrateur peut alors poser la bonne question : avez-vous interrogé le fournisseur ?

Exprimez la vraisemblance en mots, non en pourcentages indéfendables. Un soixante-treize pour cent inventé vaut moins que « nous jugeons cela plausible et non testé ».

À quelle fréquence ?

Deux fois par an pour la plupart des entreprises, chaque trimestre si l'IA se trouve sur un chemin critique de revenu ou de sécurité, et immédiatement en cas d'incident important.

Entre les rapports, une chose compte plus que la fréquence : la même personne les présente et les chiffres se définissent de la même façon. Les conseils détectent instantanément un changement de définition, et un indicateur redéfini entre deux réunions détruit la confiance dans l'ensemble du rapport, à juste titre.

Que doit décider le conseil ?

Donnez-lui des décisions, pas de l'information. Un rapport sans décision enseigne aux administrateurs que le sujet est maîtrisé et n'exige pas leur attention, soit l'inverse de ce qu'exige la gouvernance.

Décisions réalistes au niveau du conseil : approuver l'appétit pour le risque des décisions automatisées visant des clients, financer un contrôle que la gouvernance a demandé deux fois sans l'obtenir, accepter un risque résiduel précis avec une date de revue, ou exiger une évaluation indépendante du système le plus à risque. Chacune est un choix réel assorti d'un coût, ce à quoi sert un conseil.

Consignez la décision au procès-verbal avec assez de précision pour qu'on puisse s'y fier plus tard. « Le conseil a discuté du risque lié à l'IA » ne vaut rien dans une enquête ultérieure. « Le conseil a accepté le risque résiduel du système de tri des réclamations jusqu'à la réévaluation du deuxième trimestre, sous réserve d'un suivi mensuel des renversements » est un artefact de gouvernance.

Pour la structure sous-jacente, qui est responsable de la gouvernance de l'IA traite du comité qui devrait produire ce rapport.

Ceci est de l'information générale et non un avis juridique.

Valdra produit les chiffres sous-jacents directement à partir du registre, des évaluations et du journal des incidents, pour que le rapport au conseil reflète l'état actuel plutôt qu'un instantané assemblé à la main. La vue gouvernance de l'IA les réunit.