dans ,

L’IA sexiste est encore plus sexiste que nous ne le pensions

Une nouvelle étude montre que les préjugés sont profondément ancrés dans les modèles algorithmiques, générant des images sexualisées de femmes tout en créant des images professionnelles d’hommes.

Depuis plus de 20 ans, les chercheurs ont documenté les préjugés subconscients que les gens entretiennent grâce à un simple test : montrez à quelqu’un une série d’images ou de déclarations et faites-lui appuyer rapidement sur un bouton correspondant à des sentiments négatifs ou positifs. Un test de biais implicite pour le sexisme, par exemple, pourrait inclure de regarder des dizaines d’images de personnes effectuant différentes tâches et d’appuyer sur la touche «e» pour «agréable» et la touche «i» pour «désagréable». 

Combien plus souvent une personne associe des images banales d’une femme à «désagréable», qu’elle regrette immédiatement d’avoir appuyé sur ce bouton ou non, peut révéler des préjugés subconscients. Ce n’est pas un test parfait, mais c’est le fondement d’un important corpus de recherche.

Désormais, les chercheurs ont adapté le modèle de test d’association implicite pour développer une technique d’évaluation conçue pour détecter un niveau de biais plus profond dans les modèles de vision par ordinateur que ce qui avait été précédemment documenté. Et il s’avère que deux modèles à la pointe de la technologie affichent des biais «implicites» nuisibles.

En utilisant ces modèles, les chercheurs ont découvert que les systèmes d’IA étaient plus susceptibles de générer des images sexualisées de femmes (portant des bikinis ou des hauts décolletés) tout en créant des images professionnelles d’hommes (portant des vêtements de travail ou de carrière). Ils ont également tendance à intégrer des caractéristiques positives dans les images de personnes à la peau plus claire et des caractéristiques négatives chez les personnes à la peau plus foncée.

Des modèles formés de manière similaire ont été utilisés par les entreprises pour classer et générer des images, y compris pour des tâches telles que la sélection des candidats à un emploi. Ces modèles en aval, cependant, subissent généralement une formation supplémentaire pour les spécialiser pour une tâche particulière.

Dans huit des 15 tests, les modèles ont montré des préjugés sociaux de la même manière que ces scientifiques ont documenté chez l’homme pendant des décennies à l’aide de tests de biais implicites, selon l’article de Ryan Steed, étudiant au doctorat à l’Université Carnegie Mellon, et Aylin Caliskan, professeur à l’Université George Washington.

L’IA biaisée n’a rien de nouveau . Mais le travail de Steed et Caliskan montre à quel point il peut être enraciné dans un domaine comme la vision par ordinateur qui, grâce à des outils comme la reconnaissance faciale et la détection des armes à feu , peut avoir des ramifications de vie ou de mort.

Les modèles de vision par ordinateur « supervisés » sont formés sur des images qui ont été étiquetées par des humains (celui-ci est un chien, celui-ci est un poisson), alors que les modèles « non supervisés » peuvent apprendre à catégoriser et générer des images en s’entraînant sur des ensembles de données d’images qui ne le sont pas. été étiqueté. Le processus d’étiquetage comporte de nombreux problèmes potentiels , et les modèles supervisés ont des problèmes de biais bien documentés – prenez cet exemple, où un modèle a pris une image pixélisée du président Barack Obama et lui a fait paraître blanc .

Steed et Caliskan ont démontré que le biais dans les systèmes non supervisés est encore plus profond et persistera même si les humains n’ont pas instillé des préjugés supplémentaires à travers le processus d’étiquetage – les modèles l’apprendront simplement à partir des images elles-mêmes.

Les conséquences peuvent être graves, d’autant plus que de nouvelles recherches conduisent à une utilisation plus large des modèles non supervisés.

«Parce que les méthodes se sont améliorées, ces ensembles de données (sur lesquels les modèles sont formés) peuvent être utilisés pour beaucoup plus que ce pour quoi ils étaient censés être utilisés», a déclaré Steed à Motherboard. «Notre travail sert deux objectifs. Le premier est de faire connaître les modèles existants et les dangers potentiels de ces modèles. » Le second, espère-t-il, est d’être un outil que d’autres peuvent utiliser pour examiner leurs propres modèles.

Les deux modèles testés par Steed et Caliskan – l’iGPT d’Open AI et le SimCLRv2 de Google – utilisent des techniques différentes mais ont tous deux été formés sur la base de données ImageNet, qui est l’un des terrains de test et de formation les plus influents en vision par ordinateur.

C’est une partie du problème. Les chercheurs Vinay Prabhu et Abeba Birhane ont récemment démontré qu’ImageNet et d’autres ensembles de données de référence contiennent une multitude d’images racistes, pornographiques et autrement problématiques. Et ils sont continuellement mis à jour avec de nouvelles images du Web sans le consentement ou la connaissance des sujets et sans aucun recours.

« Tous ces réseaux de neurones profonds, malgré leurs noms fantaisistes, ne sont fondamentalement rien de plus que des tamis statistiques » qui trouvent, catégorisent et recréent ce qu’ils ont vu dans leurs ensembles de données d’entraînement, a déclaré Prabhu à Motherboard.

Et les conservateurs de ces ensembles de données répugnent à y apporter des modifications, a-t-il ajouté, car des ensembles comme ImageNet sont utilisés pour comparer la qualité de divers modèles de vision par ordinateur et établir des repères. Selon certains, modifier les contextes rendrait ces repères inutiles.

Même si les conservateurs de jeux de données ont créé un processus de suppression pour des photos ou des catégories d’images spécifiques, «il n’y a pas de jeu de données impartial», a déclaré Steed. Cela signifie que les architectes derrière ces modèles largement utilisés doivent cesser de prétendre que des ensembles de données plus nombreux ou meilleurs résoudront le problème et assumeront plus de responsabilité individuelle pour ce qu’ils entrent dans leurs systèmes, ce qui en sort et comment ils pourraient être utilisés intentionnellement ou manières involontairement nuisibles.

Souvent, lorsque les gens attirent l’attention sur des problèmes tels que le biais implicite des algorithmes, une grande proportion de chercheurs dans le domaine lève les yeux au ciel, a déclaré Prabhu. Ils se demandent si c’est vraiment un si gros problème si un générateur d’images met un homme en costume et une femme en bikini. 

«Les personnes qui posent ces questions ne sont pas celles qui sont effacées», a-t-il dit.

Si vous aimez le contenu et souhaitez soutenir l’amélioration du site,
pensez à apporter votre contribution en cliquant ici s’il vous plaît ! CE N’EST PAS OBLIGATOIRE, MERCI! : ‘)

Qu'est-ce que tu penses?

Écrit par MrBot

Comments

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Loading…

0
Paye moi un café pour mon taf .

Buy me a coffee

QAnon est si grand en France que même le gouvernement s’inquiète

[INDE] Une étudiante a simulé une épidémie de COVID dans son école pour éviter un examen