De nombreux commandants militaires américains prédisent que la maîtrise de la collaboration entre les humains, les algorithmes d’IA et les machines autonomes de plus en plus performants offrira un avantage essentiel aux combattants du futur. Le chef d’état-major de l’armée de l’air a déclaré que « les militaires qui maîtrisent l’équipe homme-machine bénéficieront d’un avantage crucial dans la guerre ». De même, le général commandant l’Army Futures Command estime que l’intégration des êtres humains et des machines entraînera une évolution spectaculaire – et peut-être une révolution – des opérations militaires.
La plupart des discussions sur les équipes humains-machines se sont concentrées sur l’utilisation de machines pour remplacer les humains au combat. La future doctrine de l’armée espère éviter d’échanger « le sang contre le premier contact » en utilisant des machines autonomes pour des missions de reconnaissance dangereuses ou des opérations de brèche. Les Wargamers explorant l’utilisation des avions de combat collaboratifs les utilisaient souvent comme leurres, brouilleurs, émetteurs actifs et autres missions risquant leur perte dans des environnements hautement contestés. De même, les aspirations de la Marine en matière de navires et d’avions sans pilote impliquent souvent des activités risquées telles que la livraison de fournitures dans des environnements contestés ou des opérations de lutte contre les mines. Ces concepts visent à éloigner les humains des parties les plus dangereuses du champ de bataille en utilisant à leur place des machines intrépides et infatigables.
Même si réduire les risques auxquels les militaires américains sont confrontés au combat est toujours un objectif louable, le simple fait d’effectuer les mêmes tâches avec des robots plutôt qu’avec des humains n’entraînerait pas un changement révolutionnaire dans la guerre future. Au lieu de cela, si les chefs militaires espèrent réaliser des améliorations spectaculaires sur le champ de bataille, les équipes homme-machine devront apprendre à tirer efficacement parti des compétences complémentaires de leurs membres.
Pour y parvenir, l’approche militaire en matière d’équipe homme-machine devrait changer de trois manières. Premièrement, les efforts visant à former la composante humaine des équipes homme-machine devraient se concentrer sur le cerveau instinctif plutôt que sur le cerveau raisonnant. Les tentatives visant à faire en sorte que les algorithmes d’IA expliquent comment ils raisonnent aboutissent à des équipes homme-machine inefficaces. Au lieu de cela, tirer parti de la capacité innée des individus à identifier inconsciemment des modèles de comportement semble donner de meilleurs résultats. Deuxièmement, l’armée devrait veiller à ce que les développeurs d’IA ne se contentent pas de choisir les fruits les plus faciles à trouver pour améliorer la précision de leurs modèles. Au lieu de cela, ils devraient développer des produits dotés de compétences complémentaires – et non duplicatives – au sein d’une équipe homme-machine. Enfin, nous devons éviter de nous laisser submerger par le battage médiatique autour de l’IA. Malgré tous les progrès époustouflants réalisés par les chercheurs en IA, la guerre est fondamentalement une activité humaine avec d’immenses connaissances tacites détenues uniquement par les humains. Les humains restent la partie la plus importante de l’équipe homme-machine.
Le besoin d’équipes
Parce que les mécanismes derrière le fonctionnement de l’intelligence artificielle diffèrent grandement des fondements de l’intelligence biologique, les humains et les machines apportent des forces et des faiblesses différentes à une équipe combinée homme-machine. Lorsque ces différences sont combinées de manière optimale, les équipes homme-machine deviennent plus que la somme de leurs parties, dépassant à la fois les performances humaines et celles des machines dans l’accomplissement des tâches qui leur sont assignées.
Malheureusement, l’instinct humain quant à la manière d’interagir avec l’IA et les machines autonomes au sein d’équipes combinées les égare souvent. Ces désalignements ont pour conséquence que les équipes homme-machine sont moins performantes sur une tâche qu’un algorithme d’IA agissant sans implication humaine – des équipes qui sont inférieures à la somme de leurs parties. Si des techniques de collaboration inefficaces aboutissent à des équipes homme-machine qui sont également sous-performantes lors de l’exécution de tâches militaires, le ministère de la Défense pourrait se retrouver face à un dilemme. Les dirigeants du département devraient choisir entre permettre aux IA d’agir sans surveillance humaine ou céder l’avantage du combat à des adversaires sans les mêmes réserves morales à l’égard de la technologie. Le récent refus de la Chine de signer une déclaration commune lors du sommet de 2024 sur l’intelligence artificielle responsable dans le domaine militaire, appelant les humains à garder le contrôle des applications militaires de l’IA, illustre clairement les risques que ce dilemme fait peser sur l’armée américaine. Par conséquent, surmonter ces défis et apprendre aux humains à tirer parti des compétences complémentaires trouvées au sein des équipes homme-machine pourrait s’avérer essentiel pour garantir que les opérateurs humains peuvent choisir et contrôler efficacement les résultats lorsqu’ils utilisent des outils améliorés par l’IA et garantir ainsi que l’IA est utilisée de manière éthique et responsable. dans les futurs conflits militaires.
Comprendre les forces divergentes de l’intelligence humaine et de l’intelligence artificielle constitue la base d’une intégration réussie des humains aux machines intelligentes. Les machines surpassent souvent les humains dans les tâches qui nécessitent la capacité d’analyser et de mémoriser d’énormes quantités de données, les tâches répétitives qui nécessitent un haut degré de précision ou les tâches qui bénéficient de taux de réponse surhumains. Par exemple, l’IA optimisée pour jouer à des jeux de stratégie informatique domine ses adversaires humains en coordonnant les activités de milliers d’unités largement dispersées pour atteindre un objectif stratégique unique. Dans ces jeux, l’IA peut « marcher divisée, combattre unie » à une échelle véritablement massive – au-delà de la capacité de tout cerveau humain à comprendre ou à contrer.
En revanche, les humains ont souvent un avantage sur l’intelligence artificielle pour les tâches qui nécessitent des connaissances et un contexte tacites, ou pour lesquelles les sens et le raisonnement humains conservent une supériorité sur les capteurs et les algorithmes. Par exemple, une IA peut être capable d’analyser des images pour localiser un bataillon de véhicules ennemis, mais elle ne comprendra pas pourquoi ces véhicules ont été positionnés à cet endroit ni quelle mission leur commandant leur a probablement demandé d’accomplir. La grande stratégie sera un mystère encore plus grand pour une machine : les algorithmes d’IA d’aujourd’hui peuvent calculer qu’un adversaire peut être vaincu, mais ils ne comprendront jamais quels adversaires potentiels doivent être vaincus et pourquoi. La guerre est une activité intrinsèquement humaine – par conséquent, la conduite de la guerre est remplie de connaissances humaines tacites et de contextes qu’aucun ensemble de données ne pourra jamais pleinement capturer.
Efforts actuels
De nombreuses initiatives de recherche sur la défense visant à déterminer comment former des équipes homme-machine efficaces se sont concentrées sur la compréhension et l’amélioration de la confiance humaine dans l’intelligence artificielle en développant des algorithmes d’IA capables d’expliquer le raisonnement derrière leurs résultats. Comme l’explique le programme XAI de la Defense Advanced Research Projects Agency, « les progrès de l’apprentissage automatique… promettent de produire des systèmes d’IA qui perçoivent, apprennent, décident et agissent de manière autonome. Cependant, ils seront incapables d’expliquer leurs décisions et leurs actions aux utilisateurs humains. Ce manque est particulièrement important pour le ministère de la Défense, dont les défis nécessitent de développer des systèmes plus intelligents, autonomes et symbiotiques. Une IA explicable sera essentielle si les utilisateurs veulent comprendre, faire confiance de manière appropriée et gérer efficacement ces partenaires artificiellement intelligents. Les enjeux de vie ou de mort de nombreuses applications militaires de l’IA semblent renforcer cette exigence selon laquelle les militaires comprennent et font confiance au raisonnement qui sous-tend toute action entreprise par les applications d’IA.
Malheureusement, des études expérimentales ont démontré à plusieurs reprises que l’ajout d’explications à l’IA augmente la probabilité que les humains s’en remettent au « jugement » de l’IA sans améliorer la précision de l’équipe. Deux facteurs semblent étayer ce résultat. Premièrement, les humains croient généralement que les autres humains disent la vérité par défaut : s’ils ne détectent pas d’indices de tromperie, ils auront tendance à croire que leur coéquipier fournit des informations correctes. Parce que les IA ne présentent jamais d’indicateurs humains typiques de tromperie, lorsqu’une IA qui s’est avérée fiable dans le passé explique comment elle est arrivée à sa réponse, la plupart des humains supposent inconsciemment qu’il est prudent d’accepter ce résultat ou cette recommandation. Deuxièmement, les explications de l’IA fournissent uniquement à l’humain des informations sur la manière dont l’IA est arrivée à sa décision – elles ne fournissent aucune information sur la manière dont il devrait arriver à la bonne réponse. Si l’humain ne sait pas comment déterminer la bonne réponse, le principal effet de la lecture de l’explication de l’IA sera de renforcer sa conviction que l’IA s’est rigoureusement appliquée au problème. D’un autre côté, si l’humain sait déjà comment déterminer la bonne réponse, toute explication de l’IA est inutile : l’humain saura déjà si la réponse est bonne ou fausse.
Une meilleure façon
Au lieu de s’appuyer sur une IA explicable pour constituer des équipes homme-machine efficaces, le ministère de la Défense devrait envisager deux approches alternatives. Une approche prometteuse vise à aider les humains à développer des modèles mentaux efficaces pour guider leurs interactions avec leurs homologues machines. Les modèles mentaux efficaces jouent souvent un rôle similaire dans les équipes humaines : lorsque vous travaillez avec un coéquipier depuis longtemps, vous développez une solide compréhension de ses forces et de ses faiblesses et comprenez instinctivement comment collaborer avec lui. Des interactions répétées avec l’intelligence artificielle dans des conditions réalistes peuvent également permettre de développer des équipes homme-machine efficaces. L’intégration de prototypes d’IA dans les exercices et la formation militaires (avec des protocoles de sécurité tels que des distances de sécurité minimales entre les humains débarqués et les véhicules robotiques ou des limitations sur la complexité des manœuvres autorisées pour les équipements contrôlés par l’IA) pourrait aider l’élément humain des équipes homme-machine à apprendre à travailler avec leurs « coéquipiers » de la machine. Reporter cet apprentissage jusqu’à ce que les outils d’IA fassent preuve d’une plus grande maturité risque de prendre du retard sur des ennemis potentiels ayant une plus grande expérience du monde réel, comme la Russie, et d’obliger les soldats américains à rattraper leur retard sous le feu ennemi.
De plus, lorsque le ministère de la Défense souhaite qu’un modèle d’IA assiste les humains plutôt que de les remplacer, il doit s’assurer que ces IA possèdent des compétences complémentaires avec celles de leurs coéquipiers humains. Parfois, les tâches les plus faciles à apprendre à l’IA sont celles que les humains accomplissent déjà bien. Par exemple, si un modèle d’IA est conçu pour identifier des engins explosifs improvisés, la tâche la plus simple sera de l’entraîner à identifier des images de ces engins qui n’ont pas été bien camouflées. Cependant, le plus grand intérêt pour une équipe homme-machine pourrait être d’apprendre au modèle à identifier les engins explosifs improvisés qui ne sont détectables que par une analyse complexe de plusieurs types de capteurs. Même si ce deuxième modèle d’IA peut détecter un pourcentage beaucoup plus faible d’appareils dans un ensemble d’entraînement par rapport à un modèle d’IA optimisé pour identifier les cas les plus simples, le deuxième modèle sera plus utile à l’équipe si tous les appareils qu’il détecte ne sont pas détectés. par les humains. Le ministère de la Défense devrait garantir que les mesures utilisées pour évaluer les modèles d’IA mesurent les compétences nécessaires à l’équipe combinée homme-machine et ne jugent pas simplement les performances du modèle d’IA de manière isolée.
Enfin, le ministère de la Défense devrait veiller à ce que les humains restent le partenaire dominant de toute équipe homme-machine. La force des équipes homme-machine réside dans leur capacité à tirer parti des compétences complémentaires de leurs membres pour atteindre des performances supérieures à celles des humains ou des machines seules. Dans ce partenariat, les humains conserveront le rôle dominant car les connaissances et le contexte qu’ils apportent à l’équipe ajoutent la plus grande valeur. La guerre est une entreprise humaine incontournable. Un algorithme d’IA peut apprendre comment atteindre un objectif de manière optimale, mais seuls les humains comprendront quels objectifs sont les plus importants à atteindre et pourquoi ces objectifs sont importants.
Seuls les humains comprennent pourquoi nous faisons la guerre. Ainsi, les humains resteront la partie la plus importante de toute équipe homme-machine dans la guerre.
James Ryseff est analyste technique principal des politiques chez RAND, une institution de recherche non partisane et à but non lucratif.
Image : Tech. Le sergent. Jordan Thompson
