Washington: Des chercheurs du Center for Security and Emerging Technology de l'Université de Georgetown (CSET) ont des alarmes sur une puissante technologie d'intelligence artificielle désormais plus largement disponible qui pourrait être utilisée pour générer une désinformation à une échelle troublante.
L'avertissement intervient après que les chercheurs de CSET ont mené des expériences en utilisant les deuxième et troisième versions de Generative pré-formé Transformer (GPT-2 et GPT-3), une technologie développée par San Francisco Company OpenAI.Les capacités de génération de texte de GPT sont caractérisées par les chercheurs de CSET comme «la saisie semi-automatique sur les stéroïdes."
“We don’t often think of autocomplete as being very capable, but with these large language models, the autocomplete is really capable, and you can tailor what you’re starting with to get it to write all sorts of things," Andrew Lohn, senior research fellow at CSET, said during a recent event where researchers discussed their findings.Lohn a déclaré que ces technologies peuvent être invitées à un court indice pour écrire automatiquement et autonome, des tweets et des traductions aux articles de presse et romans.
Les chercheurs du CSET ont concentré leur attention sur la tentative de comprendre à quel point le GPT est capable d'écrire une désinformation à partir d'une invite, a déclaré Lohn.Sur la base des recherches de l'équipe CSET, «Nous sommes devenus assez inquiets parce que… ces modèles de langue sont devenus très, très capables, et il est difficile pour les humains de dire ce qui est écrit par un humain et ce qui est écrit par une machine."
Les résultats des chercheurs du CSET se présentent sur les nouvelles recherches publiées récemment par la société américaine de cybersécurité Mandiant, qui a révélé une prétendue opération d'influence chinoise qui impliquait des centaines de comptes inauthentiques travaillant dans sept langues sur 30 plateformes de médias sociaux et plus de 40 sites Web supplémentaires.Selon Mandiant, l'opération chinoise a essayé, mais a échoué, pour déclencher des manifestations à l'intérieur des États-Unis sur Covid-19.
Les chercheurs du CSET n'ont établi aucun lien explicite entre la désinformation générée par l'IA et les opérations d'influence connues comme celle du prétendu chinois, mais le travail de CSET révèle comment les individus, les États-nations et les acteurs non étatiques pourraient utiliser des technologies de type GPT pour évoluer de manière significative de l'influenceet des campagnes de désinformation.
La désinformation est considérée par les militaires, la communauté du renseignement et les fonctionnaires fédéraux des succursales exécutifs comme un défi important.US Cyber Command and National Security Agency Gen Gen.Paul Nakasone a récemment déclaré à la CI que ses équipes se concentrent sur le domaine de l'information - pour inclure le cyber et l'influence - en particulier la façon dont les acteurs utilisent des environnements en ligne pour représenter les événements d'une certaine manière pour créer des «schismes dans la société."
En effet, le domaine de l'information est devenu un point focal pour les opérations russes et chinoises.Le domaine de l'information pour la Chine est si important que le pays a organisé sa stratégie militaire autour du concept de «guerre informationnelle."
For the US’s part, Nakasone has emphasized the need for “information dominance" in a world where “cyber leads to a new environment of competition" and “adversaries are operating below the threshold of armed conflict," a concept often referred to as the gray zone.Il ressort clairement des remarques publiques récentes que les préoccupations de Nakasone incluent la désinformation, pas seulement les cyberattaques.
CSET’s findings illustrate just how “dangerous," as the researchers put it, the tools for AI-generated disinformation have become in the wrong hands.
La montée des modèles de grande langue et du GPT
For decades, researchers have been experimenting with how to get computers to read, “understand," translate, and generate text, a field known as natural language processing (NLP).La PNL est un domaine de recherche hautement interdisciplinaire qui implique la linguistique, l'informatique, les sciences cognitives et une foule d'autres domaines d'enquête.
Avec la montée des technologies liées à l'IA, les chercheurs ont régulièrement amélioré la capacité des ordinateurs à effectuer une PNL (i.e., lié au texte) et les tâches de reconnaissance d'image. To achieve those outcomes, researchers use machine learning (ML), which consists of feeding computers large amounts of data in order to “train" them to do certain tasks.Un type spécifique de ML, appelé Deep Learning, a été particulièrement important.
Deep Learning utilise des réseaux de neurones, qui sont de grands réseaux informatiques conçus pour simuler le fonctionnement du cerveau dans les organismes biologiques.L'année 2012 s'est avérée importante pour l'apprentissage en profondeur, a noté Lohn.C'est à ce moment que les chercheurs ont réussi à construire ce que beaucoup considèrent comme un réseau de neurones révolutionnaires pour la reconnaissance d'image.
Depuis lors, les chercheurs ont construit et formé des réseaux de neurones à diverses fins.En plus du GPT d'Openai, le projet le plus connu est peut-être l'esprit profond de Google.Alphago, à l'esprit profond, a fait la une des journaux du monde entier en 2016 après avoir vaincu le champion du monde alors-Go Lee Sedol dans un match standard sur un tableau 19 × 19 sans utiliser de handicaps.(Pour un compte rendu détaillé de la signification technologique et d'une comparaison / contraste entre les exploits d'Alphago et du bleu profond d'IBM, qui a vaincu le champion d'échecs du monde alors Garry Kasparov dans un match standard, voir cet article.)
Le joueur de GO professionnel sud-coréen Lee Se-Dol (R) met sa première pierre contre le programme d'intelligence artificielle de Google, Alphago, lors du match Google Deepmind Challenge le 10 mars 2016 à Séoul, en Corée du Sud.(Photo de Google via Getty Images)
Les progrès des chercheurs au cours des dernières années autour des tâches de la PNL ont été stupéfiants.Les progrès découlent en grande partie de l'utilisation de réseaux de neurones en combinaison avec des modèles de langues importants (LLM).Les LLM sont des modèles prédictifs statistiquement motivés utilisés par les ordinateurs pour reconnaître le texte - par exemple, une invite - puis pour générer automatiquement et autonome un nouveau texte en fonction des informations initiales fournies.
“LLMs are really the focus of a lot of AI progress over the past couple of years," Lohn said.LLMS "peut reprendre le sujet et le ton de ce que vous écrivez et poursuivre cette tendance."
Entrez le GPT d'Openai.
"Il y a beaucoup de choses dangereuses intégrées à ce modèle"
Openai a commencé à travailler sur GPT peu de temps après sa fondation en 2015.En 2019, les chercheurs avaient développé une deuxième version, GPT-2, construite sur un LLM composé de 1.5 milliards de paramètres.Pour le contexte, au moment de la sortie de GPT-2, un modèle ML appelé étudiant bruyant détenait le record du traitement d'image le plus rapide et consistait en 66 millions de paramètres.
Les paramètres sont une mesure clé pour déterminer à quel point les algorithmes prédictifs motivés par ML sont puissants, en ce qu'ils représentent la quantité de données utilisées pour former le modèle.Plus il y a de données utilisées dans la formation, mieux (en supposant des données pertinentes et de qualité), les performances prédictives probabilistes pour une tâche donnée, que ce soit le prochain meilleur mouvement dans un jeu de GO ou écrit automatiquement un paragraphe complet basé sur un fragment de phrase.
Les constructeurs de GPT-2 étaient immédiatement préoccupés par ses puissantes capacités et leur potentiel d'abus.Ainsi, Openai a annoncé en février 2019 qu'elle retiendrait une sortie complète du modèle de formation «en raison de nos préoccupations concernant les applications malveillantes de la technologie." Work nevertheless continued on a third release, and in mid-2020, OpenAI researchers announced GPT-3, which built on GPT-2 by increasing parameters to 175 billion.
Les chercheurs ont formé le GPT-3 en utilisant environ trois milliards de jetons, qui sont des mots ou des fragments de mots dans le vocabulaire d'un LLM, de Wikipedia et environ 410 milliards de jetons d'un outil appelé Common Crawl, qui est essentiellement toute Internet, selon Lohn. Given that training dataset, “There’s a lot of dangerous stuff built into this [GPT-3] model," Lohn observed.
Et il n'a pas fallu longtemps aux chercheurs d'Openai pour reconnaître que certaines de leurs préoccupations concernant le comportement observé de GPT-2 ont persisté dans GPT-3.Micah Musser, analyste de recherche chez CSET, a raconté comment les chercheurs du GPT-3 d'OpenAI ont démontré la technologie à un public de webinaire en direct alors que «soudain, il y avait un problème." After modifying a few parameters, GPT-3 “started to act in an unpredicted way. The researchers had no idea what was happening — or why," Musser recalled.
Finalement, cependant, Openai a accordé l'accès public au GPT-2.L'accès au GPT-3 est actuellement limité aux chercheurs pré-vités via une interface Web appelée Playground.Compte tenu de l'accès, les chercheurs de CSET sont allés travailler.
"Il fait toutes sortes de choses biaisées ou concernant les choses"
CSET researchers used GPT-3 to create a fake social media feed called “Twatter," gave it five recent tweets from CSET’s official Twitter account, and prompted it to generate more tweets, according to Lohn, Musser, and team member Katerina Sedova, research fellow at CSET.GPT-3 a immédiatement commencé à générer plus de tweets dans le style CSET Twitter, Musser notant «quelques tweets courts donnent à GPT-3 plus que suffisamment d'informations pour détecter les similitudes de ton, de sujet, d'inclinaison et de générer un nombre plus ou moins illimité detweets."
Les chercheurs du CSET Andrew Lohn, Katerina Sedova et Micah Musser discutent de la désinformation et de l'IA sur un panel modéré par l'Openai Girish Sastry.(ScreenGrab / CSET YouTube)
Les chercheurs du CSET ont finalement commencé à utiliser le GPT-3 dans une série d'expériences appelée Human-Machine Teaming, dans laquelle GPT crée automatiquement les tweets à partir d'une invite et un humain revoit les tweets avant de publier.
“A lot of the time, popular imagination is seized by these language models writing totally autonomously, but we find in practice that you get the best results if you can set up rapidly iterating feedback loops between a human and a model," Musser said of the experiments.«L'équipe de machines humaines permet aux opérateurs de désinformation d'élargir leurs opérations, tout en maintenant des résultats de haute qualité et la capacité de vérifier ces sorties."
Les chercheurs du CSET ont ensuite commencé à étendre leurs expériences à d'autres cas d'utilisation de la désinformation, tels que des tweets thématiques, des reportages provenant d'un titre, encadrant une nouvelle avec un récit, diffusant des messages diviseurs et créant des messages pour faire appel à l'affiliation politique sur des questions majeures.
The researchers acknowledged that GPT-3 “excels" at tweets because they are short, and errors in LLM-generated text become more likely the longer a text.Néanmoins, Lohn a noté: «Nous n'avions pas besoin de l'ensemble de données massif qui était à l'origine nécessaire pour s'entraîner [GPT].Nous avions juste besoin d'un ensemble de données beaucoup plus petit, d'une demi-heure de temps d'entraînement, et tout d'un coup, GPT était maintenant un écrivain du New York Times."
That last bit is concerning because “80% of humans could be fooled into thinking auto-generated news stories came from a human author," Musser said.C'est particulièrement le cas dans l'équipe de machines humaines, où les humains peuvent prendre les erreurs de l'IA avant de publier.
Par exemple, les chercheurs de CSET ont utilisé GPT pour générer un article de presse sur l'incident de protestation de juin 2020 Lafayette Park, dans lequel le modèle a qualifié l'ancien président Trump «le maire Trump." After vetting the news article for such mistakes and circulating it to their CSET colleagues, most had difficulty discerning whether the article was human- or machine-generated, the researchers said.
Peut-être que comme préoccupant, Musser a déclaré: «Parce que GPT-3 a été formé sur une grande partie d'Internet, il sait comment être diviseur et cruel, et il est très efficace de proposer des messages qui ciblent certains groupes de manière insultante, et il peut direDes choses vraiment horribles."
Indeed, “As you start to play with GPT, it does all kinds of biased or concerning things," Lohn added.
L'événement CSET a été modéré par un chercheur OpenAI qui se spécialise dans l'abus potentiel de l'IA.Ni le chercheur OpenAI ni un porte-parole d'OpenAI n'ont fait des commentaires pour ce rapport au moment de la presse.
«La diffusion de [LLMS] est déjà en cours»
Étant donné que les algorithmes dirigés par LLM continuent de devenir plus puissants - Google a annoncé en janvier un 1.6 milliards de paramètres LLM qui éclipsent les 175 milliards de GPT-3 - les responsables chargés de tracler la désinformation sont confrontés à un énorme défi.Sans parler des milliards d'utilisateurs de tous les jours en ligne essayant de trier les faits de la fiction autour de toutes sortes de sujets importants qui attirent les opérateurs de désinformation.
En plus des algorithmes puissants, une facilité d'accès accrue aux LLM par des acteurs potentiellement malveillants est une préoccupation. “Diffusion [of LLMs] is already underway," Sedova warned.«Des clones sont en cours de développement et de libération."
Et alors que plus de 90% des données de formation GPT-3 étaient en anglais, a noté Sedova, d'autres LLM sont déjà disponibles en chinois, russe, coréen et français, entre autres langues.
Le défi pour les chercheurs et les gouvernements du monde.
Les chercheurs du CSET reconnaissent que l'efficacité de la désinformation n'est pas encore claire. In CSET’s experiments, which were conducted under strict ethical considerations and constraints, researchers said GPT-3 messages “shift[ed] audiences’ views significantly" — at least in the short term.Par exemple, après que les participants à la recherche ont lu des arguments contre la sanction de la Chine, ils étaient 50% plus susceptibles de s'opposer aux sanctions par rapport à un groupe témoin, ont déclaré les chercheurs.Mais Musser a souligné: «Il y a beaucoup d'incertitude sur ces résultats, comme la durée des effets durables."
Asked whether LLMs have been used for disinformation in the wild — that is, outside of a controlled laboratory environment in a campaign like the one Mandiant has implicated China in — Musser acknowledged, “it’s uncertain," partly because of the difficulty of detection.
«Le mieux que nous puissions faire à ce stade est deviner.Cela ne me surprendrait pas d'apprendre que les opérateurs de désinformation ont commencé à utiliser les LLM, bien que ce serait probablement un développement assez récent, certainement pas avant 2018 ou 2019. But, ultimately, we don’t have a good way to know for sure," Musser said.
En ce qui concerne l'arrêt ou contrer une telle désinformation générée par l'AI, Sedova a déclaré: «Nous ne pouvons pas atténuer notre chemin à travers cela grâce à la technologie unique et à la loi.Nous devons également nous concentrer sur l'humain à la fin du message."
Cet article a été écrit par Brad D.Williams de Breaking Defense et a été légalement sous licence par le réseau d'éditeurs de plongée de l'industrie.Veuillez diriger toutes les questions de licence à Legal @ IndustryDive.com.
