Les campagnes d’influence étrangère, ou opérations d’information, se sont multipliées à l’approche de l’élection présidentielle américaine de 2024. Les campagnes d’influence sont des efforts à grande échelle visant à modifier l’opinion publique, à promouvoir de faux récits ou à modifier les comportements au sein d’une population cible. La Russie, la Chine, l’Iran, Israël et d’autres pays ont mené ces campagnes en exploitant des robots sociaux, des influenceurs, des sociétés de médias et l’IA générative.
À l’Observatoire des médias sociaux de l’Université d’Indiana, mes collègues et moi étudions les campagnes d’influence et concevons des solutions techniques – des algorithmes – pour les détecter et les contrer. Les méthodes de pointe développées dans notre centre utilisent plusieurs indicateurs de ce type d’activité en ligne, que les chercheurs appellent des comportements coordonnés inauthentiques. Nous identifions des groupes de comptes de réseaux sociaux qui publient de manière synchronisée, amplifient les mêmes groupes d’utilisateurs, partagent des ensembles identiques de liens, d’images ou de hashtags, ou exécutent des séquences d’actions étrangement similaires.
Nous avons découvert de nombreux exemples de comportements inauthentiques coordonnés. Par exemple, nous avons trouvé des comptes qui inondent le réseau de dizaines, voire de centaines de milliers de publications en une seule journée. La même campagne peut publier un message avec un compte, puis avoir d’autres comptes que ses organisateurs contrôlent également en « j’aime » et en « je n’aime pas » des centaines de fois en peu de temps. Une fois que la campagne atteint son objectif, tous ces messages peuvent être supprimés pour échapper à la détection. Grâce à ces astuces, les gouvernements étrangers et leurs agents peuvent manipuler les algorithmes des médias sociaux qui déterminent ce qui est tendance et ce qui est intéressant pour décider de ce que les utilisateurs voient dans leurs flux.
IA générative
Une technique de plus en plus utilisée consiste à créer et à gérer des armées de faux comptes grâce à l’intelligence artificielle générative. Nous avons analysé 1 420 faux comptes Twitter – désormais X – qui utilisaient des visages générés par l’IA pour leurs photos de profil. Ces comptes étaient utilisés, entre autres activités, pour propager des escroqueries, diffuser du spam et amplifier des messages coordonnés.
Nous estimons qu’au moins 10 000 comptes comme ceux-ci étaient actifs quotidiennement sur la plateforme, et c’était avant que le PDG de X, Elon Musk, ne coupe considérablement les équipes de confiance et de sécurité de la plateforme. Nous avons également identifié un réseau de 1 140 robots qui utilisaient ChatGPT pour générer du contenu de type humain afin de promouvoir de faux sites Web d’informations et des escroqueries aux cryptomonnaies.
En plus de publier du contenu généré automatiquement, des commentaires nuisibles et des images volées, ces robots interagissent entre eux et avec les humains par le biais de réponses et de retweets. Les détecteurs de contenu actuels à grande échelle de modèles de langage sont incapables de faire la distinction entre les robots sociaux activés par l’IA et les comptes humains dans la nature.
Mauvaise conduite du modèle
Les conséquences de telles opérations sont difficiles à évaluer en raison des défis posés par la collecte de données et la réalisation d’expérimentations éthiques susceptibles d’influencer les communautés en ligne. Il n’est donc pas clair, par exemple, si les campagnes d’influence en ligne peuvent influencer les résultats des élections. Il est pourtant essentiel de comprendre la vulnérabilité de la société face aux différentes tactiques de manipulation.
Dans un article récent, nous avons présenté un modèle de réseau social appelé SimSoM qui simule la manière dont les informations se propagent via le réseau social. Le modèle contient les ingrédients clés de plateformes telles qu’Instagram, X, Threads, Bluesky et Mastodon : un réseau de followers empirique, un algorithme de flux, des mécanismes de partage et de repartage et des mesures de qualité, d’attrait et d’engagement du contenu.
SimSoM permet aux chercheurs d’explorer des scénarios dans lesquels le réseau est manipulé par des agents malveillants qui contrôlent des comptes inauthentiques. Ces mauvais acteurs visent à diffuser des informations de mauvaise qualité, telles que de la désinformation, des théories du complot, des logiciels malveillants ou d’autres messages nuisibles. Nous pouvons estimer les effets des tactiques de manipulation adverses en mesurant la qualité des informations auxquelles les utilisateurs ciblés sont exposés sur le réseau.
Nous avons simulé des scénarios pour évaluer l’effet de trois tactiques de manipulation. Premièrement, l’infiltration : avoir de faux comptes crée des interactions crédibles avec des utilisateurs humains dans une communauté cible, amenant ces utilisateurs à les suivre. Deuxièmement, la tromperie : les faux comptes publient du contenu engageant, susceptible d’être repartagé par les utilisateurs cibles. Les robots peuvent y parvenir, par exemple, en tirant parti des réponses émotionnelles et de l’alignement politique. Troisièmement, les inondations : publier des volumes élevés de contenu.
Notre modèle montre que l’infiltration est la tactique la plus efficace, réduisant la qualité moyenne du contenu du système de plus de 50 %. Ces dommages peuvent être encore aggravés en inondant le réseau de contenus de mauvaise qualité mais attrayants, réduisant ainsi la qualité de 70 %.
Limiter la manipulation coordonnée
Nous avons observé toutes ces tactiques dans la nature. Il est particulièrement préoccupant que les modèles d’IA générative puissent permettre aux agents malveillants de créer et de gérer des comptes crédibles beaucoup plus facilement et à moindre coût. De plus, ils peuvent utiliser l’IA générative pour interagir sans arrêt avec les humains et créer et publier du contenu nuisible mais engageant à grande échelle. Toutes ces capacités sont utilisées pour infiltrer les réseaux des utilisateurs des médias sociaux et inonder leurs flux de messages trompeurs.
Ces informations suggèrent que les plateformes de médias sociaux devraient s’engager dans davantage – et non moins – de modération de contenu pour identifier et empêcher les campagnes de manipulation et ainsi accroître la résilience de leurs utilisateurs face à ces campagnes.
Les plateformes peuvent y parvenir en rendant plus difficile aux agents malveillants la création de faux comptes et la publication automatique. Ils peuvent également contester les comptes publiés à des taux très élevés pour prouver qu’ils sont humains. Ils peuvent ajouter des frictions en combinaison avec des efforts éducatifs, comme inciter les utilisateurs à partager des informations précises. Et ils peuvent informer les utilisateurs sur leur vulnérabilité face au contenu trompeur généré par l’IA.
Les modèles et données d’IA open source permettent aux agents malveillants de créer leurs propres outils d’IA générative. La réglementation devrait donc cibler la diffusion de contenus d’IA via les plateformes de médias sociaux plutôt que la génération de contenus d’IA. Par exemple, avant qu’un grand nombre de personnes puissent être exposées à un contenu, une plateforme pourrait exiger de son créateur qu’il prouve son exactitude ou sa provenance.
Ces types de modération de contenu protégeraient, plutôt que de censurer, la liberté d’expression sur la place publique moderne. Le droit à la liberté d’expression n’est pas un droit d’exposition, et comme l’attention des gens est limitée, les opérations d’influence peuvent en fait être une forme de censure en rendant moins visibles les voix et opinions authentiques.
