在研究人员展示了谷歌地球创造真实错误信息的潜力后，谷歌从谷歌地球中撤下了一项新发布的功能，该功能允许用户生成人工智能修改的卫星图像。该公司目前正在暂停该工具，以实施更强有力的安全措施。
整合的兴起和迅速衰落
谷歌本周早些时候推出了一项新功能，将其 Nano Banana 2 AI 图像生成模型直接集成到网页版 Google Earth 中。该公司最初将其定位为可视化房地产开发或历史地标的创意实用程序，该工具允许用户通过简单的文本提示操作卫星和航空图像。然而，实施是短暂的。到 7 月 31 日，在公众加强对滥用可能性的审查后不到 24 小时，这家科技巨头正式撤回了该功能。谷歌表示，它正在撤回该工具，以开发更强大的护栏，并指出，虽然一些地理空间专业人士发现该功能很有用，但该平台也发现了用户通过生成欺骗性图像违反公司政策的明确证据。
展示地理空间深度伪造的风险
Digital Digging 的 Henk van Ess 强调了该工具的漏洞，他对系统进行了压力测试。通过输入特定提示，范·埃斯成功生成了高度逼真的图像，描绘了敏感的地缘政治场景，包括加沙医院附近的炸弹坑和墨西哥边境沿线的难民人口。这些实验证明，恶意行为者可以利用该工具生成令人信服的与现实相矛盾的视觉证据。尽管谷歌最初声称他们的系统包含对有害主题的限制，但范埃斯报告说，他的提示并没有被人工智能阻止、弱化或拒绝。这有效地绕过了预期的保护措施，表明即使是复杂的人工智能模型在集成到地图软件中时也可能被迫产生破坏性的虚假叙述。
技术保障的局限性
谷歌最初试图通过强调技术威慑的存在来缓解担忧。该公司声称，该工具生成的所有图像都嵌入了 SynthID 数字水印，以表明内容是合成的。他们鼓励用户通过与其他工具（例如 Gemini 应用程序或 Google Lens）交叉引用来验证可疑图像。然而，批评者认为这些措施还不够。 Van Ess 证明，生成的媒体可以绕过常见的 AI 检测工具，包括 Hive 使用的工具。此外，事实证明，对数字水印的依赖是一种有缺陷的防御，因为这些标记可能会被遗漏、忽视或可能被删除，从而使公众容易相信伪装成权威数据的伪造卫星图像。
行业背景和未来影响
这一事件凸显了科技行业内部在负责任地部署生成式人工智能方面存在的更广泛的紧张局势。尽管谷歌认为用户已经可以使用各种非人工智能工具操纵网络图像，但将生成能力直接集成到谷歌地球等可信平台中可以显着降低传播虚假信息的准入门槛。长期以来，Google 地球一直被记者、研究人员和公众视为可靠的来源。插入人工智能生成层会威胁到这种基本信任。这一功能的迅速撤回表明，公司正面临着平衡快速产品创新的愿望与现实的压力，因为人工智能模型经常能够生成有害的、高保真的伪造品，而这些伪造品很难与真实的视觉证据区分开来。
⚖ The Balanced View
Supporting view
谷歌表示，该功能旨在让用户发挥地理创意、可视化历史遗址并帮助房地产项目规划。
Concerns & criticism
批评者和研究人员证明，该工具可以很容易地用来生成现实的、有害的错误信息，例如饱受战争蹂躏的网站或虚假的人道主义危机，这可能会损害该平台作为真相来源的声誉。
→What's next
谷歌表示，目前正在努力为该功能实施更强大的护栏，然后才能将其返回平台。目前尚不清楚该公司是否会大幅限制 Nano Banana 2 的提示功能，或对生成的图像引入更严格的验证检查。