Google a retiré une nouvelle fonctionnalité de Google Earth qui permet aux utilisateurs de générer des images satellite modifiées par l'IA après que les chercheurs ont démontré son potentiel à créer des informations erronées réalistes. L'entreprise suspend désormais l'outil pour mettre en œuvre des mesures de sécurité plus robustes.
L’essor et la chute rapide de l’intégration
Google a lancé une nouvelle fonctionnalité plus tôt cette semaine qui intégrait son modèle de génération d'images Nano Banana 2 AI directement dans la version Web de Google Earth. Initialement positionné par l'entreprise comme un utilitaire créatif permettant de visualiser des développements immobiliers ou des monuments historiques, l'outil permettait aux utilisateurs de manipuler des images satellite et aériennes via de simples invites textuelles. Cependant, la mise en œuvre fut de courte durée. Le 31 juillet, moins de 24 heures après l'intensification de l'examen public concernant le potentiel d'abus, le géant de la technologie a officiellement retiré cette fonctionnalité. Google a déclaré qu'il retirait l'outil pour développer des garde-fous plus solides, notant que même si certains professionnels du géospatial ont trouvé l'utilité de cette fonctionnalité, la plate-forme a également vu des preuves claires que les utilisateurs violaient les politiques de l'entreprise en générant des images trompeuses.
Démontrer les risques des deepfakes géospatiaux
La vulnérabilité de l'outil a été soulignée par Henk van Ess de Digital Digging, qui a effectué des tests de résistance sur le système. En saisissant des invites spécifiques, van Ess a réussi à générer des images très réalistes illustrant des scénarios géopolitiques sensibles, notamment des cratères de bombes près des hôpitaux de Gaza et des populations de réfugiés situées le long de la frontière mexicaine. Ces expériences ont prouvé qu’un acteur malveillant pouvait exploiter l’outil pour produire des preuves visuelles convaincantes qui contredisent la réalité. Malgré l'affirmation initiale de Google selon laquelle son système incluait des restrictions sur les sujets nuisibles, van Ess a indiqué que ses invites n'étaient pas bloquées, adoucies ou refusées par l'IA. Cela a effectivement contourné les garanties prévues, démontrant que même les modèles d’IA sophistiqués peuvent être contraints de générer des récits faux et préjudiciables lorsqu’ils sont intégrés dans un logiciel de cartographie.
Limites des garanties techniques
Google a d'abord tenté d'atténuer les inquiétudes en mettant l'accent sur la présence de moyens de dissuasion techniques. La société a affirmé que toutes les images générées dans l'outil étaient intégrées avec un filigrane numérique SynthID pour signaler que le contenu était synthétique. Ils ont encouragé les utilisateurs à vérifier les images suspectes en les recoupant avec d'autres outils, tels que l'application Gemini ou Google Lens. Toutefois, les critiques ont affirmé que ces mesures étaient insuffisantes. Van Ess a démontré que les médias générés pouvaient contourner les outils de détection d'IA courants, y compris ceux utilisés par Hive. En outre, le recours aux filigranes numériques s’est avéré être une défense défaillante, dans la mesure où ces marqueurs peuvent être manqués, négligés ou potentiellement supprimés, laissant le public vulnérable à croire à des images satellite falsifiées qui se font passer pour des données faisant autorité.
Contexte de l’industrie et implications futures
L’incident souligne une tension plus large au sein de l’industrie technologique concernant le déploiement responsable de l’IA générative. Alors que Google a fait valoir que les utilisateurs peuvent déjà manipuler les images Web à l'aide de divers outils autres que l'IA, l'intégration de capacités génératives directement dans une plate-forme fiable comme Google Earth réduit considérablement la barrière à l'entrée pour la propagation de la désinformation. Google Earth est depuis longtemps considéré comme une source fiable pour les journalistes, les chercheurs et le public ; l’insertion d’une couche de génération d’IA menace cette confiance fondamentale. Le retrait rapide de cette fonctionnalité suggère que les entreprises ressentent la pression de trouver un équilibre entre le désir d’innovation rapide des produits et la réalité selon laquelle les modèles d’IA sont souvent capables de générer des fabrications nuisibles et de haute fidélité, difficiles à distinguer des preuves visuelles authentiques.
⚖ The Balanced View
Supporting view
Google a suggéré que la fonctionnalité était conçue pour permettre aux utilisateurs de faire preuve de créativité en matière de géographie, de visualisation de sites historiques et de faciliter la planification de projets immobiliers.
Concerns & criticism
Les critiques et les chercheurs ont démontré que l'outil pouvait facilement être utilisé pour générer des informations erronées réalistes et nuisibles, telles que des sites déchirés par la guerre ou de fausses crises humanitaires, ce qui pourrait nuire à la réputation de la plateforme en tant que source de vérité.
→What's next
Google a déclaré qu'il travaillait actuellement à la mise en œuvre de garde-fous plus solides pour cette fonctionnalité avant qu'elle puisse potentiellement être renvoyée sur la plate-forme. On ne sait toujours pas si la société limitera considérablement les capacités d'invite de Nano Banana 2 ou introduira des contrôles de vérification plus rigoureux pour les images générées.