Google Withdraws Google Earth AI Image Generator Following Misinformation Concerns

Google은 이번 주 초 Nano Banana 2 AI 이미지 생성 모델을 Google Earth의 웹 버전에 직접 통합하는 새로운 기능을 출시했습니다. 원래 부동산 개발이나 역사적인 랜드마크를 시각화하기 위한 창의적인 유틸리티로 회사에서 포지셔닝한 이 도구를 통해 사용자는 간단한 텍스트 프롬프트를 통해 위성 및 항공 이미지를 조작할 수 있었습니다. 그러나 구현 기간은 짧았습니다. 남용 가능성에 대한 공개 조사가 강화된 지 24시간도 채 되지 않은 7월 31일, 거대 기술 기업은 공식적으로 해당 기능을 철회했습니다. 구글은 더 강력한 가드레일을 개발하기 위해 이 도구를 철회한다고 밝혔습니다. 일부 지리공간 전문가는 이 기능의 유용성을 찾았지만 플랫폼에서는 사용자가 사기성 이미지를 생성하여 회사 정책을 위반했다는 명확한 증거도 확인했다고 밝혔습니다.

이 도구의 취약성은 시스템에 대한 스트레스 테스트를 수행한 Digital Digging의 Henk van Ess에 의해 강조되었습니다. 특정 프롬프트를 입력함으로써 van Ess는 가자 지구 병원 근처의 폭탄 분화구와 멕시코 국경을 따라 위치한 난민 인구를 포함하여 민감한 지정학적 시나리오를 묘사하는 매우 사실적인 이미지를 성공적으로 생성했습니다. 이러한 실험은 악의적인 행위자가 이 도구를 활용하여 현실과 모순되는 설득력 있는 시각적 증거를 생성할 수 있음을 입증했습니다. Google 시스템에 유해한 주제에 대한 제한이 포함되어 있다는 Google의 초기 주장에도 불구하고 van Ess는 자신의 메시지가 AI에 의해 차단되거나 부드러워지거나 거부되지 않았다고 보고했습니다. 이는 의도된 보호 장치를 효과적으로 우회하여 정교한 AI 모델조차도 매핑 소프트웨어에 통합되면 해로운 거짓 서술을 생성하도록 강요될 수 있음을 보여줍니다.

Google은 처음에 기술적 억제력의 존재를 강조하여 우려를 완화하려고 시도했습니다. 회사는 도구 내에서 생성된 모든 이미지에 SynthID 디지털 워터마크가 포함되어 해당 콘텐츠가 합성되었음을 표시한다고 주장했습니다. 그들은 사용자에게 Gemini 앱이나 Google Lens와 같은 다른 도구를 상호 참조하여 의심스러운 이미지를 확인하도록 권장했습니다. 그러나 비평가들은 이러한 조치가 충분하지 않다고 주장했다. Van Ess는 생성된 미디어가 Hive에서 사용하는 도구를 포함하여 일반적인 AI 탐지 도구를 우회할 수 있음을 보여주었습니다. 더욱이, 디지털 워터마크에 대한 의존은 결함이 있는 방어 수단임이 입증되었습니다. 이러한 마커는 누락되거나, 간과되거나, 잠재적으로 제거될 수 있어 대중이 권위 있는 데이터로 가장하는 위조된 위성 이미지를 믿을 수 있게 되기 때문입니다.

이 사건은 생성 AI의 책임 있는 배포와 관련하여 기술 산업 내에서 더욱 광범위한 긴장을 강조합니다. Google은 사용자가 이미 AI가 아닌 다양한 도구를 사용하여 웹 이미지를 조작할 수 있다고 주장했지만 생성 기능을 Google Earth와 같은 신뢰할 수 있는 플랫폼에 직접 통합하면 허위 정보 확산에 대한 진입 장벽이 크게 낮아집니다. Google 어스는 오랫동안 언론인, 연구원, 대중에게 신뢰할 수 있는 소스로 여겨져 왔습니다. AI 생성 레이어를 삽입하는 것은 이러한 근본적인 신뢰를 위협합니다. 이 기능의 급속한 철회는 기업이 신속한 제품 혁신에 대한 욕구와 AI 모델이 진짜 시각적 증거와 구별하기 어려운 유해한 고충실도 조작을 생성할 수 있는 경우가 많다는 현실 사이에서 균형을 유지해야 한다는 압박감을 느끼고 있음을 시사합니다.