Google eliminó una función recientemente lanzada de Google Earth que permitía a los usuarios generar imágenes satelitales alteradas por IA después de que los investigadores demostraron su potencial para crear información errónea realista. La compañía ahora está pausando la herramienta para implementar medidas de seguridad más sólidas.
El ascenso y la rápida caída de la integración
Google lanzó una nueva función a principios de esta semana que integra su modelo de generación de imágenes con IA Nano Banana 2 directamente en la versión web de Google Earth. Originalmente posicionada por la empresa como una utilidad creativa para visualizar desarrollos inmobiliarios o monumentos históricos, la herramienta permitía a los usuarios manipular imágenes aéreas y satelitales mediante simples indicaciones de texto. Sin embargo, la implementación duró poco. El 31 de julio, menos de 24 horas después de que se intensificara el escrutinio público sobre el potencial de abuso, el gigante tecnológico retiró oficialmente la función. Google declaró que está retirando la herramienta para desarrollar barandillas más fuertes, señalando que si bien algunos profesionales geoespaciales encontraron utilidad en la función, la plataforma también vio evidencia clara de usuarios que violaban las políticas de la empresa al generar imágenes engañosas.
Demostrando los riesgos de los deepfakes geoespaciales
La vulnerabilidad de la herramienta fue destacada por Henk van Ess de Digital Digging, quien realizó pruebas de estrés en el sistema. Al ingresar indicaciones específicas, van Ess generó con éxito imágenes muy realistas que representan escenarios geopolíticos sensibles, incluidos cráteres de bombas cerca de hospitales en Gaza y poblaciones de refugiados situadas a lo largo de la frontera con México. Estos experimentos demostraron que un actor malintencionado podría aprovechar la herramienta para producir evidencia visual convincente que contradiga la realidad. A pesar de la afirmación inicial de Google de que su sistema incluía restricciones sobre temas dañinos, van Ess informó que la IA no bloqueó, suavizó ni negó sus indicaciones. Esto efectivamente eludió las salvaguardas previstas, lo que demuestra que incluso los modelos de IA sofisticados pueden ser obligados a generar narrativas falsas y dañinas cuando se integran en el software de mapeo.
Limitaciones de las salvaguardias técnicas
Inicialmente, Google intentó mitigar las preocupaciones enfatizando la presencia de elementos disuasorios técnicos. La compañía afirmó que todas las imágenes generadas dentro de la herramienta tenían incorporada una marca de agua digital SynthID para indicar que el contenido era sintético. Alentaron a los usuarios a verificar imágenes sospechosas comparándolas con otras herramientas, como la aplicación Gemini o Google Lens. Sin embargo, los críticos argumentaron que estas medidas eran insuficientes. Van Ess demostró que los medios generados podrían eludir las herramientas comunes de detección de IA, incluidas las utilizadas por Hive. Además, la dependencia de las marcas de agua digitales ha demostrado ser una defensa defectuosa, ya que dichas marcas pueden pasar desapercibidas, pasarse por alto o potencialmente eliminarse, dejando al público vulnerable a creer en imágenes satelitales falsificadas que se hacen pasar por datos autorizados.
Contexto de la industria e implicaciones futuras
El incidente subraya una tensión más amplia dentro de la industria tecnológica con respecto al despliegue responsable de la IA generativa. Si bien Google argumentó que los usuarios ya pueden manipular imágenes web utilizando varias herramientas distintas de la IA, la integración de capacidades generativas directamente en una plataforma confiable como Google Earth reduce significativamente la barrera de entrada para la difusión de desinformación. Google Earth ha sido considerado durante mucho tiempo una fuente confiable para periodistas, investigadores y el público en general; La inserción de una capa de generación de IA amenaza esa confianza fundamental. La rápida retirada de esta característica sugiere que las empresas están sintiendo la presión de equilibrar el deseo de una rápida innovación de productos con la realidad de que los modelos de IA frecuentemente son capaces de generar fabricaciones dañinas y de alta fidelidad que son difíciles de distinguir de la evidencia visual auténtica.
⚖ The Balanced View
Supporting view
Google sugirió que la función fue diseñada para permitir a los usuarios ser creativos con la geografía, visualizar sitios históricos y ayudar en la planificación de proyectos inmobiliarios.
Concerns & criticism
Los críticos e investigadores demostraron que la herramienta podría usarse fácilmente para generar información errónea realista y dañina, como sitios devastados por la guerra o falsas crisis humanitarias, que podrían socavar la reputación de la plataforma como fuente de verdad.
→What's next
Google ha declarado que actualmente está trabajando para implementar barreras de seguridad más estrictas para la función antes de que pueda regresar a la plataforma. Aún no está claro si la compañía limitará significativamente las capacidades rápidas de Nano Banana 2 o introducirá controles de verificación más rigurosos para las imágenes generadas.