Les prédictions haussières suggèrent que l'intelligence artificielle (IA) pourrait contribuer jusqu'à 15 $.7 billions à l'économie mondiale d'ici 2030.Des voitures autonomes aux approbations hypothécaires plus rapides et aux décisions publicitaires automatisées, les algorithmes d'IA promettent de nombreux avantages pour les entreprises et leurs clients.
Malheureusement, ces avantages peuvent ne pas être appréciés également.Le biais algorithmique - lorsque les algorithmes produisent des résultats discriminatoires contre certaines catégories d'individus, généralement des minorités et des femmes - peuvent également aggraver les inégalités sociales existantes, en particulier en ce qui concerne la race et le sexe.De l'algorithme de prédiction de récidive utilisés dans les tribunaux à l'algorithme de prédiction des soins médicaux utilisés par les hôpitaux, des études ont trouvé des preuves de biais algorithmiques qui aggravent les disparités raciales pour ceux qui sont touchés, pas mieux.
De nombreuses entreprises ont fait des efforts considérables pour lutter contre les biais algorithmiques dans leur gestion et leurs services.Ils utilisent souvent des approches axées sur les données pour étudier ce que seront les prédictions d'un algorithme avant de les lancer dans le monde.Cela peut inclure l'examen des différentes spécifications du modèle d'IA, en spécifiant la fonction objectif que le modèle doit minimiser, sélectionner les données d'entrée à semer dans le modèle, prétraiter les données et faire des prévisions de modèle post-traitement.
Cependant, le résultat final du déploiement d'un algorithme repose non seulement sur les prévisions d'algorithme, mais aussi comment il sera finalement utilisé par les entreprises et les clients - et ce contexte critique de réceptivité et d'adoption de l'algorithme est souvent négligé.Nous soutenons que le déploiement d'algorithme doit tenir compte des conditions de marché dans lesquelles l'algorithme est utilisé.De telles conditions de marché peuvent affecter ce / qui, et dans quelle mesure les décisions de l'algorithme auront un impact, et influencent donc les avantages réalisés pour les utilisateurs de l'utilisation de l'algorithme.
Par exemple, pour aider ses hôtes à maximiser leurs revenus (i.e., Revenue de la propriété), Airbnb a lancé un outil de tarification intelligent basé sur l'algorithme d'IA qui ajuste automatiquement.Les hôtes Airbnb ont des informations très limitées sur les propriétés Airbnb concurrentes, les tarifs hôteliers, la saisonnalité et divers autres chocs de demande qu'ils peuvent utiliser pour évaluer correctement leurs propriétés.L'algorithme de tarification intelligent était censé aider à cela, incorporant des informations pertinentes sur les caractéristiques de l'hôte, de la propriété et du quartier des énormes sources d'informations de la société pour déterminer le meilleur prix pour une propriété.Dans notre étude récemment publiée, les revenus quotidiens moyens des hôtes qui ont adopté les prix intelligents ont augmenté de 8.6%.Néanmoins, après le lancement de l'algorithme, l'écart de revenus raciaux a augmenté (I.e., les hôtes blancs ont gagné plus) au niveau de la population, qui comprend à la fois les adoptants et les non-adoptants, car les hôtes noirs étaient beaucoup moins susceptibles d'adopter l'algorithme que les hôtes blancs.
Dans les tests, l'outil a fait exactement ce qu'il était censé.Nous avons constaté qu'il était parfaitement aveugle à la course en ce que les prix des listes similaires ont été réduits du même montant quelle que soit la course de l'hôte.L'algorithme a amélioré les revenus pour les hôtes noirs plus que pour les hôtes blancs.En effet, la courbe de demande de propriété pour les hôtes noirs était plus élastique (je.e., plus sensible aux changements de prix) que la courbe de demande pour des propriétés équivalentes appartenant à des hôtes blancs.Comme la réduction des prix était la même, le nombre de réservations a augmenté davantage pour les hôtes noirs que pour les blancs, entraînant une augmentation plus élevée des revenus pour les hôtes noirs que pour les hôtes blancs.Du point de vue de la science des données, il avait un déploiement parfait: cet algorithme bien intentionné en l'absence de race visait à offrir des avantages financiers en améliorant les revenus de tous.
Dans le monde réel, cependant, c'était une autre histoire.Le lancement de l'algorithme a fini par s'élargir plutôt que de rétrécir la disparité raciale sur Airbnb.Cette conséquence involontaire aurait pu être évitée en internulant les conditions du marché pendant le déploiement de l'algorithme.
Nous avons déterminé que les entreprises doivent considérer les conditions de marché suivantes lors de la création de l'algorithme d'IA: 1) la réceptivité des utilisateurs ciblés à un algorithme d'IA, 2) les réactions des consommateurs aux prédictions d'algorithme, et 3) si l'algorithme doit être réglementé pour traiter racial et économique, et 3)inégalités en incorporant le comportement stratégique des entreprises dans le développement de l'algorithme.Airbnb, par exemple, aurait dû demander: 1) comment les hôtes Airbnb réagiront-ils (plus précisément, adopteront) l'algorithme?et 2) Comment les hôtes noirs peuvent-ils être encouragés à l'adopter?Ces conditions de marché déterminent le résultat final du marché (e.g., prix du produit, demande de propriété, avantages sociaux pour les utilisateurs) de l'application d'un algorithme d'IA, et doit donc être analysé et considéré.
Comment un algorithme sera-t-il perçu par les utilisateurs ciblés?
L'algorithme de prix intelligent d'Airbnb a augmenté les revenus quotidiens pour tous ceux qui l'ont utilisé.Les hôtes blancs ont vu une bosse de 5 $.20 par jour, et les hôtes noirs ont vu 13 $.9 augmenter.Le nouveau prix a réduit la disparité économique parmi les adoptants par 71.3%.
Cependant, comme les hôtes noirs étaient 41% moins susceptibles que les hôtes blancs d'adopter l'algorithme, le résultat de l'introduction de l'algorithme n'était pas très satisfaisant.Pour les hôtes noirs qui n'ont pas utilisé l'algorithme, l'écart de bénéfices a en fait augmenté.Cela mène à la question suivante: Si vous êtes le PDG d'une entreprise qui souhaite éliminer les inégalités raciales et reçoit un rapport d'algorithme de ce genre, qu'espérez-vous semer dans l'équipe de gestion des sciences et de l'ingénierie?
Pour aborder la faible réceptivité des hôtes noirs au nouvel outil, Airbnb pourrait encourager les hôtes noirs à adopter l'algorithme, par exemple, en récompensant les utilisateurs noirs qui l'essayent ou partageant une description détaillée et des preuves des avantages de l'utilisation de l'algorithme.Nous avons également constaté que l'écart d'adoption raciale était plus important chez les hôtes avec un statut socioéconomique bas (SES), donc cibler les hôtes noirs dans les quartiles SES inférieurs serait le plus efficace.
Pour ce faire, cependant, il est essentiel de comprendre pourquoi les gens hésitent en premier lieu.Il existe de nombreuses raisons pour lesquelles les gens peuvent ne pas être réceptifs à remettre le contrôle à un algorithme.Par exemple, l'éducation et le revenu ont été trouvés pour expliquer une obstacle à l'adoption de haute technologie aux utilisateurs noirs, en particulier lorsque l'utilisation de la technologie est (financièrement) coûteuse.Même si la technologie est offerte gratuitement (e.g., L'algorithme de tarification intelligente d'Airbnb), la confiance joue également un rôle important: un article de travail (Shunyuan Zhang co-écrit avec Yang Yang) a indiqué que la sensibilisation aux biais raciaux rendrait les groupes défavorisés moins de confiance et plus hésitants à adopter des algorithmes en général, y compris la race, y compris la race, y compris la course-LesBlinds qui offrent des avantages financiers, de santé ou d'éducation aux utilisateurs.
Dans les conversations avec une entreprise de commerce électronique axée sur les articles d'occasion, les auteurs de l'étude ont appris que seulement 20% des vendeurs utilisaient l'outil de tarification gratuit offert par la société, rendant les prix inefficaces et vendus lentement.Une enquête préliminaire a suggéré que les vendeurs peuvent surestimer la valeur de leurs articles utilisés et peuvent ne pas vouloir accepter les suggestions de prix prédites à l'algorithme;C'est ce qu'on appelle l'effet de dotation.Par exemple, imaginez un vendeur répertorie une robe d'occasion qui, selon eux, vaut 15 $, mais l'algorithme de tarification, qui a été formé sur un ensemble de données et des modèles énormes, suggère 10 $, et le vendeur réagit négativement.En réponse à des réactions comme celle-ci, l'entreprise pourrait expliquer au vendeur comment la suggestion de 10 $ a été faite et présentant des articles similaires au prix et vendus à 10 $.Fournir une telle explication augmente la transparence des opérations commerciales et améliore la confiance des clients.
Autrement dit, lors de l'intégration des différences dans l'adoption des algorithmes d'IA entre les groupes raciaux, les entreprises devraient personnaliser leurs efforts de promotion d'algorithme et essayer de répondre aux préoccupations des utilisateurs qu'ils souhaitent le plus adopter.
Comment les consommateurs réagiront-ils aux effets d'un algorithme d'IA?
C'est une erreur de voir les algorithmes d'IA simplement comme des modèles qui produisent des décisions et ont un impact sur les personnes qui reçoivent ces décisions.L'impact va dans les deux sens: comment les consommateurs (je.e., les bénéficiaires de décision) réagissent aux décisions de l'IA façonneront l'effet de l'algorithme sur les résultats du marché.
L'algorithme de prix intelligent d'Airbnb est un bon exemple de ce phénomène.Supposons que vous êtes le PDG d'Airbnb et que vous rendez compte de l'algorithme développé par votre entreprise lors d'une audience de comité de la Chambre sur l'IA équitable.Vous pourriez être heureux que votre algorithme, conditionnel à l'adoption, puisse combattre l'iniquité raciale.Cependant, vous pourriez faire plus pour atténuer la disparité raciale.Vous devez considérer les conditions de marketing clés suivantes: 1) Les hôtes noirs et blancs peuvent faire face à différentes courbes de demande, et 2) les hôtes noirs sont moins représentés dans les données utilisées pour former l'algorithme de l'IA.Plus précisément, la courbe de demande pour les propriétés des hôtes noires était plus élastique que celle des propriétés similaires appartenant à des hôtes blancs.Différentes courbes de demande peuvent résulter de la discrimination sociale, ce qui conduit les clients à être plus sensibles aux prix aux propriétés appartenant à des Noirs qu'aux propriétés blanches.
Comme les invités étaient plus sensibles aux réductions de prix pour les propriétés appartenant à des Noirs, l'incorporation de cette condition de marché lors du déploiement d'un algorithme d'IA est critique.Vous pouvez réduire davantage l'écart de revenus entre les hôtes noirs et blancs en utilisant directement la race ou indirectement, y compris les caractéristiques étroitement ou corrélées dans l'algorithme.Ignorer les différences inhérentes dans les conditions du marché peut entraîner des suggestions de prix qui sont plus éloignées des prix optimaux pour les hôtes noirs que des prix optimaux pour les hôtes blancs.En effet.
Que devraient faire les entreprises?
Si vous faites partie d'un groupe de travail sur les actions en AI au niveau des entreprises ou du gouvernement, que devez-vous faire lorsque vous envisagez de déployer un algorithme destiné à atténuer les disparités raciales?Si vous deviez esquisser l'écosystème de l'algorithme focal, qui seraient les créateurs, les utilisateurs ciblés et les récepteurs de décision d'algorithme?Comment réagiraient-ils à l'algorithme et comment leurs réactions auraient-elles un impact sur le résultat final de l'algorithme?
Tout d'abord, considérez vraiment comment l'algorithme sera perçu par les utilisateurs ciblés.Cela façonnera son fonctionnement dans le monde réel.Demandez si les utilisateurs sont conscients (ou peuvent être informés) du fonctionnement de l'algorithme.S'ils savent que votre entreprise déploie un nouvel algorithme destiné à traiter une inégalité, comment vont-ils réagir?Si les utilisateurs sous-représentés peuvent se sentir sous pression ou sentir que l'algorithme peut être biaisé contre eux, ils seront moins susceptibles de l'utiliser.Tenez compte de la façon dont la discrimination historique et les problèmes récents avec la sous-représentation dans les ensembles de données peuvent rendre vos utilisateurs cibles sceptiques (E.g., sans doute les préoccupations bien fondées dans les soins de santé peuvent entraîner des inégalités dans la vaccination Covid-19).
Deuxièmement, concentrez-vous sur la construction de la confiance et aide les utilisateurs à comprendre ce que l'algorithme est censé faire et comment il fonctionne.Si l'adoption de l'algorithme est facultative (comme dans le cas d'Airbnb), ce processus d'existence de savoir si les utilisateurs - en particulier les utilisateurs de groupes sous-représentés - comprendront, feront confiance et adopteront l'algorithme est encore plus important.Communiquer clairement avec eux sur le but de l'introduction de l'algorithme et de son fonctionnement, tout en les incitant à utiliser l'algorithme, en particulier lorsqu'il est plus efficace pour les groupes minoritaires ou sexospécifiques, est important.Faites expliquer comment l'initiative a été lancée pour réduire les inégalités raciales - et comment elle le fera - une partie de votre stratégie de déploiement.
***
En raison de l'évolutivité et de la valeur des prédictions précises, les entreprises déploieront et appliqueront de plus en plus des algorithmes dans leurs opérations et services - et l'adoption n'augmentera probablement qu'en augmentation.Mais les entreprises doivent répondre aux préoccupations selon lesquelles les algorithmes pourraient produire des résultats biaisés contre les groupes défavorisés.Malheureusement, les approches communes axées sur la science des données, y compris le traitement des données et les spécifications du modèle d'étalonnage, sont insuffisantes et inefficaces.Pour que l'entreprise soit au meilleur des problèmes de biais algorithmiques de combat, compte tenu de la perception et de l'adoption des algorithmes et des conditions du marché comme celles que nous avons décrites devraient être une partie importante de la déploiement d'outils algorithmiques.
Bien faits, ces outils peuvent bien atténuer les biais humains et combler les conséquences économiques en découlant.Fait mal, juste par quelques algorithmes des entreprises établies, peut compromettre et ralentir complètement le déploiement de l'algorithme de l'IA.
