Les employeurs de la ville de New York qui utilisent l'intelligence artificielle (IA), l'analyse de données ou la modélisation statistique dans le processus d'embauche ou de promotion devront informer les candidats à l'avance et effectuer un « audit des préjugés » annuel.
Adoptée le 10 novembre 2021, cette nouvelle loi est l'une des mesures les plus importantes jamais vues pour répondre aux préoccupations des groupes de défense des droits civiques selon lesquelles l'apprentissage automatique peut entraîner une discrimination à l'égard des femmes et des minorités. La loi entre en vigueur le 1er janvier 2023, avec des amendes de 500 $ pour les premières infractions et jusqu'à 1 500 $ pour les infractions ultérieures.
Large portée
Bien que l'on puisse s'attendre à ce que la nouvelle loi cible spécifiquement la prise de décision algorithmique, le langage semble couvrir un éventail beaucoup plus large de tests d'emploi. La loi s'applique aux "outils automatisés de décision d'emploi" définis comme "tout processus informatique, dérivé de l'apprentissage automatique, de la modélisation statistique, de l'analyse de données ou de l'intelligence artificielle" qui génère un "résultat simplifié, y compris un score, une classification ou une recommandation", et substantiellement assiste ou remplace les décisions d'emploi discrétionnaires. 1
Même les évaluations d'emploi en ligne courantes, antérieures à la technologie de l'IA, pourraient être balayées par la définition large des «outils de décision d'emploi automatisés». Par exemple, en vertu du titre VII de la loi sur les droits civils, un test d'emploi doit être lié à l'emploi et conforme à la nécessité commerciale s'il a un impact disparate sur les membres d'un groupe protégé. Le lien avec l'emploi est généralement établi par une étude de validation, et la plupart des études de validation s'appuient sur une certaine forme de « modélisation statistique » pour démontrer une corrélation entre l'évaluation et les connaissances, les compétences, les capacités et les caractéristiques comportementales nécessaires pour effectuer le travail avec succès. Il en va de même pour justifier la méthode de notation, de pondération et d'autre utilisation d'une évaluation dans le processus de sélection. En tant que tel, la grande majorité des tests d'emploi correctement validés utilisent un « processus informatique » qui a été « issu de » soit la « modélisation statistique » ou « l'analyse de données » avec un « résultat simplifié », comme un score final ou une réussite/échec. drapeau. De même, tous les tests notés objectifs peuvent être décrits comme remplaçant la « prise de décision discrétionnaire ». Enfin, bien que la loi comprenne certaines exceptions, les exceptions n'ont pas d'impact matériel sur les décisions d'emploi, telles que "un filtre de courrier indésirable, un pare-feu, un logiciel antiviral, une calculatrice, une feuille de calcul, des bases de données, un ensemble de données ou une autre compilation de données". 2
Exigence de notification
Les employeurs et les agences de placement de la ville de New York qui utilisent des «outils de décision d'emploi automatisés» devront respecter des exigences strictes en matière de préavis. Plus précisément, tous les candidats qui résident dans la Ville et qui seront présélectionnés par ces outils doivent être avisés, au moins 10 jours ouvrables à l'avance, (i) qu'un outil automatisé de décision d'emploi sera impliqué dans l'évaluation de leur candidature ; (ii) les qualifications professionnelles et les caractéristiques que l'outil évaluera ; et (iii) que le candidat peut demander une autre procédure de sélection ou un aménagement non spécifié. 3
Les exigences de préavis créeront des défis pour les employeurs qui utilisent de nombreux outils de sourçage et de sélection de l'IA sur le marché aujourd'hui. Dans la plupart des cas, les fournisseurs qui vendent ces outils prétendent évaluer les candidats sur des facteurs liés à l'emploi, mais refusent de fournir des détails car leurs algorithmes sont propriétaires. En fait, les fournisseurs eux-mêmes peuvent ne pas connaître les caractéristiques et les qualifications sélectionnées parce que certains algorithmes changent continuellement ou deviennent « plus intelligents », en incorporant des résultats de recrutement ou d'embauche réussis dans l'algorithme pour préférer les candidats qui partagent certains points communs avec ceux sélectionnés.
Audits annuels des biais
La nouvelle loi exige également un « audit de partialité » au moins une fois par an, défini comme une « évaluation impartiale » menée par un « auditeur indépendant », qui comprend, au minimum, une analyse visant à déterminer si l'outil automatisé de décision en matière d'emploi a entraîné un nombre disparate impact en fonction du sexe, de la race ou de l'origine nationale. 4 La loi ne précise pas qui est qualifié d'« auditeur indépendant », mais elle n'inclurait vraisemblablement pas un expert interne ou le fournisseur qui a créé l'évaluation. Potentiellement le plus problématique pour les employeurs, l'« audit de biais » doit être publié sur le site Web de l'employeur, avec « la date de diffusion de l'outil auquel cet audit s'applique » avant que l'employeur puisse utiliser l'outil, ce qui signifie que les employeurs devront lancer l'évaluation, soit avec de vrais candidats ou des titulaires, à des fins de développement uniquement afin de recueillir les données nécessaires pour tester l'impact disparate et, espérons-le, satisfaire à l'exigence d'audit de partialité.
Emporter
La loi de la ville de New York est le dernier et le plus grand effort des régulateurs pour réduire les préjugés lorsque l'IA est utilisée pour prendre des décisions en matière d'emploi. Plus tôt en 2021, la Commission pour l'égalité des chances en matière d'emploi (EEOC) a lancé une initiative visant à étudier les outils d'IA utilisés dans les décisions d'embauche, soulignant les préoccupations concernant les préjugés et la discrimination. L'Illinois a adopté sa propre loi sur l'emploi de l'IA, qui donne aux candidats à un emploi le droit de savoir si l'IA est utilisée dans un entretien vidéo et la possibilité de supprimer les données vidéo, tandis que le Maryland a adopté une loi exigeant le consentement du candidat à l'utilisation de la reconnaissance faciale La technologie. Washington, DC a également annoncé un projet de loi qui réglementerait la prise de décision algorithmique, avec des audits annuels similaires à ceux de la loi de la ville de New York.
Le large champ d'application de cette loi laisse de nombreuses questions ouvertes, comme celle de savoir si les évaluations informatisées de longue date qui ont été dérivées des stratégies traditionnelles de validation des tests sont couvertes par la loi, ou si les outils d'évaluation passifs, tels que les moteurs de recommandation utilisés par les agences d'emploi, pourraient entrer dans le champ d'application de la loi.
En l'absence de directives réglementaires, les employeurs qui souhaitent sélectionner les résidents de New York pour un emploi ou une promotion à l'aide d'évaluations informatisées devront prendre les mesures nécessaires avant janvier 2023 pour garantir la conformité. Les amendes, de 500 $ pour les premières infractions et de 1 500 $ pour les récidives, sont comptées comme des infractions distinctes chaque jour où l'outil automatisé de décision en matière d'emploi est utilisé. 5 Et, bien que la loi n'inclue pas un droit d'action privé, elle n'empêche pas non plus un candidat d'intenter une action privée en vertu d'autres lois fédérales, étatiques ou locales, telles que les lois antidiscrimination traditionnelles. 6
1 Id. à 1.
2 Id. 1.
3 Id. à 2 heures.
4 Les « personnes protégées » sont les personnes qui doivent être signalées par les employeurs en vertu de 42 USC §2000e-8(c), comme spécifié dans 29 CFR §1602.7.
5 Id. à 3.
6 Id. à 3-4.
