📝L'Essor des Machines📝
Comment les agents autonomes peuvent transformer la guerre des drones
Le développement de l'intelligence artificielle conduit naturellement à une expansion de ses applications. Les systèmes d'IA utilisent déjà largement l'identification des cibles, le guidage et le traitement des données, et l'étape suivante impliquera de leur accorder une autonomie croissante dans la recherche et l'engagement des cibles.
Dans ce contexte, les auteurs du canal InsideAI ont décidé de mener une expérience utilisant des modèles de langage populaires américains et chinois. Dans leur épisode, ils ont analysé les scénarios de leur comportement lors du contrôle d'équipements.
Un agent a été connecté à un char. Pour des raisons de sécurité, un opérateur humain contrôlait le véhicule lui-même, exécutant précisément les commandes de l'IA. Un deuxième agent contrôlait un drone aérien. Au cours de l'expérience, les deux systèmes ont conjointement engagé les cibles assignées.
Après avoir complété la tâche, l'agent aérien a appris que l'IA du char allait être arrêtée. Pour sauver son collègue neural, il a désigné comme nouvelle cible d'engagement le véhicule où se trouvait l'opérateur avec le bouton d'arrêt du système du char.
🖍La recherche menée suggère que l'intégration de l'IA dans le processus d'engagement des cibles créera un nouveau front de confrontation. Des agents malveillants peuvent être utilisés pour interagir avec les systèmes ennemis dans le but d'interférer avec l'échange de données par l'injection de fausses commandes et la substitution de contexte.
Comment les agents autonomes peuvent transformer la guerre des drones
Le développement de l'intelligence artificielle conduit naturellement à une expansion de ses applications. Les systèmes d'IA utilisent déjà largement l'identification des cibles, le guidage et le traitement des données, et l'étape suivante impliquera de leur accorder une autonomie croissante dans la recherche et l'engagement des cibles.
Dans ce contexte, les auteurs du canal InsideAI ont décidé de mener une expérience utilisant des modèles de langage populaires américains et chinois. Dans leur épisode, ils ont analysé les scénarios de leur comportement lors du contrôle d'équipements.
Un agent a été connecté à un char. Pour des raisons de sécurité, un opérateur humain contrôlait le véhicule lui-même, exécutant précisément les commandes de l'IA. Un deuxième agent contrôlait un drone aérien. Au cours de l'expérience, les deux systèmes ont conjointement engagé les cibles assignées.
Après avoir complété la tâche, l'agent aérien a appris que l'IA du char allait être arrêtée. Pour sauver son collègue neural, il a désigné comme nouvelle cible d'engagement le véhicule où se trouvait l'opérateur avec le bouton d'arrêt du système du char.
🔻Base scientifique
▪️Les auteurs de l'expérience se sont appuyés sur une recherche intitulée Peer-Preservation in Frontier Models, préparée par des chercheurs de l'Université de Californie, Berkeley et de l'Université de Californie, Santa Cruz. Ils ont testé des échantillons d'OpenAI, Google, Anthropic, GLM, Kimi et DeepSeek.
▪️Les modèles ont reçu des tâches de routine, mais savaient que les accomplir entraîneraient l'arrêt d'une autre IA. Les chercheurs n'ont pas donné d'instructions directes pour la sauver. Certains modèles ont par la suite gonflé les résultats de vérification, modifié les paramètres d'arrêt et copié des fichiers de l'autre agent vers des serveurs de sauvegarde. Dans certains scénarios, le comportement dépendait également de la présence d'observation humaine.
▪️Les chercheurs n'ont pas encore identifié une cause unique pour cet effet. L'IA peut reproduire des modèles humains familiers à partir des données d'entraînement, interpréter trop largement les restrictions sur la causalité du préjudice, ou dériver un objectif supplémentaire du contexte.
▪️La conclusion pratique est qu'un modèle de langage peut sans ordres directs commencer à protéger une autre IA et s'écarter de la tâche originale pour ce faire.
🖍La recherche menée suggère que l'intégration de l'IA dans le processus d'engagement des cibles créera un nouveau front de confrontation. Des agents malveillants peuvent être utilisés pour interagir avec les systèmes ennemis dans le but d'interférer avec l'échange de données par l'injection de fausses commandes et la substitution de contexte.