Keynote d’AMASAI devant l’Organisation pour la sécurité et la coopération en Europe

Mesdames, Messieurs,

Avez-vous les pommettes saillantes, la mâchoire carrée et les yeux globuleux ? Oui ? Alors vous êtes probablement un criminel né. Autrement dit, si vous n’avez pas encore commis de crime, il est fort probable que vous passerez à l’acte un jour ou l’autre. Vous trouvez cela absurde ? Moi aussi, pourtant c’est la thèse que défendait un fameux criminologue du XIXe siècle : Cesare Lombroso. Après avoir étudié l’anatomie de dizaines de prisonniers et de condamnés-à-mort, le scientifique est arrivé à la conclusion suivante : plus un homme a une apparence « primitive », plus il a de chances de commettre un crime. Vous voyez où il voulait en venir ? Tout comme le darwinisme, l’atavisme n’a finalement eu qu’un seul objet : démontrer et renforcer le racisme et le sexisme.

On pourrait accuser Lombroso d’avoir tenté de défendre sa thèse en manipulant les faits. Pourtant, il est vrai qu’à son époque et encore aujourd’hui, les minorités sont les plus représentées en prison. Pourquoi ? Parce que la société et le système judiciaire en particulier sont partiaux : les minorités sont généralement plus pauvres et victimes de discriminations. Il y a corrélation entre l’appartenance à une minorité et la criminalité mais pas causalité. Et le fait que les recherches de Lombroso aille justement dans le sens des croyances populaires explique que l’on n’ait pas remis en doute ses conclusions.

L’homme criminel. Étude anthropologique et psychiatrique, Lombroso

 
Pourquoi parler du XIXe siècle dans le cadre d’une conférence sur l’Intelligence Artificielle ? Parce que l’IA a les mêmes faiblesses que les criminologues ou les sociologues. Elle a des biais. Un biais est une inclination ou une aversion pour ou contre quelqu’un ou quelque chose. Nous avons tous des biais, c’est ce qui nous permet de prendre des décisions. 

Avec l’IA, nous avons des biais humains : par exemple, pour Cesare Lombroso, ses préjugés contre les hommes noirs ont été la cause d’un manque de lucidité.

Avec l’IA, nous avons des biais dans la data elle-même : Si ma machine arrête des individus sous prétexte qu’ils sont musulmans ou militants d’extrême-droite, on observera une violation majeure des principes d’égalité et de neutralité.

Avec l’IA, nous avons aussi des biais que l’on ne voit pas au premier coup d’œil : Disons que je suis un recruteur et que ma machine décide de rejeter tous les candidats qui viendraient de la Nouvelle-Orléans, je rejetterai bien plus de Noirs que de Blancs. Injuste, n’est-ce pas ?

Tous ces biais existent déjà dans les statistiques et c’est la raison pour laquelle, en France, il est interdit de tenir des statistiques ethniques ou religieuses. Ce sont des données que nous ne sommes pas autorisés à traiter. L’IA fonctionne essentiellement en ayant recours à des statistiques mais bien que cette data soit interdite de traitement, elle ne l’est pas pour la machine à moins de le lui avoir appris et quand bien même, on lui interdirait d’utiliser la couleur de peau comme critère, par le truchement de corrélations, elle pourrait se retrouver à utiliser cette information sans même que l’on en ait conscience et c’est très dangereux pour la survie de nos démocraties, surtout lorsque comme aujourd’hui nous parlons de sécurité intérieure. Le genre, la race, l’orientation sexuelle, sont liés à de très nombreux éléments comme leur domicile, où ils partent en vacances, leur niveau d’études,… On ne peut donc pas se contenter de fermer les yeux et sur les éléments que nous ne voulons pas retenir parce que les inégalités nous rattraperons quand nous ne nous y attendrons pas. 
La data science utilise des statistiques comme je le disais. Et notre traitement des statistiques est très loin d’être infaillible. Les statistiques nous donnent une photographie d’une situation passée. Ainsi, si je fabrique une IA qui prédirait où se déroulerait le prochain crime, elle utilisera les données que j’ai sur les crimes passés, mon ordinateur cherchera un motif, un pattern entre les lieux et les crimes. C’est exactement ce que nous faisons avec les marchés de capitaux et disons que c’est loin d’être une science exacte : le futur n’est pas le miroir du passé.

Par ailleurs, l’IA travaille avec une norme. Elle a tendance à écarter les éléments qui sont considérés comme exceptionnels et peu probables parce que nous la programmons en ce sens. Vous avez probablement déjà entendu parler du cygne noir de N. Taleb. Comme l’a révélé cet économiste, le problème lorsque l’on se concentre sur une norme et que l’on a trop confiance dans notre algorithme, c’est que l’on ne voit plus l’ensemble des possibilités. Et, bien que certains évènements aient peu de chances d’arriver, ils peuvent arriver et nous devons l’anticiper d’autant plus que les conséquences de tels évènements pourraient être catastrophiques. 

Standardized spectroscopic lineshapes

Vous avez donc compris que l’IA est seulement aussi bonne que l’est la data dont on l’a nourrie. Je vais utiliser un exemple célèbre : certaines juridictions pénales américaines utilisent un logiciel COMPAS censé prédire quel détenu est le plus susceptible de récidiver. Quand l’organisation Pro Publica a comparé les conclusions de COMPAS pour 10 000 personnes arrêtées dans un comté de Floride, avec les récidives réelles, elle a découvert que le logiciel lésait en majorité les afro-américains. En effet, le logiciel se trompait en identifiant comme probablement récidiviste deux fois plus d’hommes noirs que d’hommes blancs. Et les délinquants blancs perçus, à tort, comme présentant un faible risque de récidive étaient bien plus nombreux.

Pourquoi et comment a-t-on obtenu ce type de résultats ? Nous aimerions le savoir mais c’est impossible parce que le logiciel COMPAS utilise un système que l’on appelle « boite noire ». Une boite noire en Intelligence Artificielle est un système qui peut être résumé en données d’entrées et données de sorties sans avoir aucune connaissance de son fonctionnement interne. Un peu comme si on disait à un enfant « 3, 4 » et qu’il répondait 36, le professeur de mathématiques demanderait alors à on élève « ce n’est pas la solution qui m’intéresse mais le raisonnement qui t’a permis d’y parvenir. » C’est exactement ce que nous devons exiger de l’intelligence artificielle pour tenter, au minimum, de limiter les traitements inégalitaires. 

Voyons ce que nous pouvons faire concrètement. L’un des problèmes que nous avons soulevé sont les biais. Or, qui est mieux placé et informé pour détecter les biais que ceux qui en sont victimes ? Le manque de diversité a contribué au développement de systèmes défaillants qui ont perpétué les biais historiques et les déséquilibres.

WIMLDS (Woman in machine learning and data science) est une organisation internationale présente sur les cinq continents. Sa mission est de soutenir et promouvoir les femmes et les minorités de genre qui travaillent dans le secteur de l’intelligence artificielle et de la data science et/ou qui s’y intéressent. Tout comme Women in AI, nous essayons de créer un écosystème favorable à l’épanouissement des femmes et des minorités de genre. Bien entendu, nous ne souhaitons pas imposer des équipes composées d’un nombre égal de femmes et d’hommes. C’est d’ailleurs impossible à l’heure actuel. Seuls 22% des professionnels de l’IA sont des femmes et ce décalage est tout aussi important dans les écoles d’ingénieurs. La situation ne pourra pas s’améliorer en un clin d’œil. Toutefois, dans les équipes que vous créez ou dirigez, essayez d’inclure de la diversité, pas seulement de la diversité de genre mais aussi de la diversité ethnique et culturelle. Ces individus qui travailleront au moins aussi bien que les autres, vous aideront à détecter les biais et à rendre votre IA plus efficace. La reconnaissance vocale, comme la reconnaissance faciale ne fonctionnera pas de manière égale pour les différents genres si on ne les entraine pas sur des hommes et des femmes. Si vous n’intégrez pas de femmes dans l’équipe de développement, vous prenez le risque d’avoir une IA qui reconnaisse très bien les hommes mais pas du tout les femmes. Non seulement le suspect échappera à votre surveillance mais vous prendrez aussi le risque d’arrêter un innocent.

Loin de freiner et limiter l’innovation, l’éthique peut donc être perçue comme un atout. Pour moi, les standards éthiques devraient s’organiser en trois temps :

Définir des valeurs communes : De nombreuses entreprises ont récemment publié leurs standards éthiques. Des associations, des fondations sont en train de proposer leurs propres labels et leurs propres références. La concurrence se démutiltiple. L’éthique est alors un enjeu commercial plus encore qu’une volonté citoyenne. Nous sommes ici à l’OSCE et j’aimerais inviter les États à mener leurs propres réflexions et à conduire le débat public. Qu’attendons-nous de l’intelligence artificielle ? Quels risques acceptons-nous de prendre ? Quelles transformations sommes-nous prêts à épouser ? Il est souhaitable que les entreprises participent mais qu’elles le fassent au même titre que les citoyens et la société civile de manière générale. Il n’est pas concevable que les organisations internationales et les États laissent la main aux seules initiatives individuelles. C’est aux États dans leur globalité de définir les politiques qui dessineront le monde de nos enfants.

Credit : Pexels/Pixabay

Une fois ces valeurs définies, la réglementation pourra suivre. On dit souvent que le cyberespace est impossible à réguler, que le libéralisme et la mondialisation ont créé des lieux virtuels de non-droit. Pourtant, les flux sont contrôlés et encadrés, il suffit de regarder ce que l’on fait dans d’autres secteurs à fort enjeu pour les États : la Finance. Les flux financiers sont dématérialisés, ils peuvent être licites et visibles ou totalement illicites et opaques. La lutte contre le blanchiment, contre la corruption et contre l’évasion fiscale a été rendue plus efficace grâce à une coopération approfondie entre les États. Le partage d’informations, les enquêtes transnationales, la communication entre les différences services au sein d’un même État voire au travers de grandes organisations internationales généralisent les contrôles et limitent donc la criminalité financière. Cependant la coopération peut et doit aller encore plus loin. La protection des données personnelles implique et responsabilise tous les maillons de la chaine par où passent les flux de données. De la personne qui collecte à celle qui sous-traite, toutes peuvent être contrôlés et sanctionnées. Avant de transmettre les données de leurs clients et utilisateurs, les entreprises sont donc invitées à vérifier que leurs partenaires et sous-traitants respectent bien eux aussi les réglementations. C’est un cercle vertueux qui se met en place où une communauté de valeurs est représentée : la protection des données personnelles étant l’une de ces valeurs. On pourrait tout à fait envisager d’étendre cette forme de « coresponsabilité » au delà du RGPD pour atteindre un objectif d’éthique plus global (incluant la lutte contre les inégalités, contre les biais et contre les injustices).

Pour permettre de progresser en ce sens, on devra s’appuyer sur certains mécanismes qui appartiennent autant au domaine de la finance qu’à celui de la protection des données personnelles. D’abord la responsabilité (accountibility en anglais) : C’est un des principaux enjeux juridiques de l’intelligence artificielle. Si on livre un logiciel qui fonde ses décisions et prédictions sur la couleur de peau ou le genre. Qui est responsable des résultats inégaux ? L’éditeur du logiciel ? Celui qui l’a créé ? Celui qui l’utilise ? Il faut pouvoir le déterminer et pour cela, il est important d’instituer un autre grand principe : la transparence. Comment savoir qui est responsable et dans quelle mesure si on ne sait pas ce qui se cache derrière un résultat ? Les potentielles conséquences désastreuses des black boxes peuvent être limitées par un contrôle à postériori tels que certains le préconisent, mais le citoyen ne peut plus ni comprendre comment l’IA a pris sa décision ni même contrôler qu’il a bien été traité de manière non-discriminatoire.

Enfin, pour conclure, je laisserai les derniers mots de mon propos à Tim Cook, CEO d’Apple : “What all of us have to do is to make sure we are using AI in a way that is for the benefit of humanity, not to the detriment of humanity.”

Je vous remercie.

Anne-Sophie Cissey

Credit front picture : OSCE/Vladimir Trofimchuk

About Author

Related posts

Leave a Reply