Kinuha ng Google ang isang bagong inilabas na feature mula sa Google Earth na nagpapahintulot sa mga user na bumuo ng mga imahe ng satellite na binago ng AI pagkatapos ipakita ng mga mananaliksik ang potensyal nito para sa paglikha ng makatotohanang maling impormasyon. Pino-pause na ngayon ng kumpanya ang tool upang magpatupad ng mas matatag na mga hakbang sa kaligtasan.
Ang Pagtaas at Mabilis na Pagbagsak ng Pagsasama
Inilunsad ng Google ang isang bagong feature noong unang bahagi ng linggong ito na direktang isinama ang modelo ng pagbuo ng imahe ng Nano Banana 2 AI nito sa web na bersyon ng Google Earth. Orihinal na inilagay ng kumpanya bilang isang creative utility para sa pag-visualize ng mga pag-unlad ng real estate o mga makasaysayang landmark, pinahintulutan ng tool ang mga user na manipulahin ang satellite at aerial imagery sa pamamagitan ng mga simpleng text prompt. Gayunpaman, ang pagpapatupad ay maikli ang buhay. Pagsapit ng Hulyo 31, wala pang 24 na oras matapos tumindi ang pagsisiyasat ng publiko tungkol sa potensyal para sa pang-aabuso, opisyal na kinuha ng tech giant ang feature. Sinabi ng Google na binabawi nito ang tool upang bumuo ng mas matibay na mga guardrail, na binanggit na habang ang ilang mga geospatial na propesyonal ay nakahanap ng utility sa feature, nakita din ng platform ang malinaw na ebidensya ng mga user na lumalabag sa mga patakaran ng kumpanya sa pamamagitan ng pagbuo ng mapanlinlang na koleksyon ng imahe.
Pagpapakita ng Mga Panganib ng Geospatial Deepfakes
Ang kahinaan ng tool ay na-highlight ni Henk van Ess ng Digital Digging, na nagsagawa ng mga stress test sa system. Sa pamamagitan ng pag-input ng mga partikular na senyas, matagumpay na nakabuo si van Ess ng lubos na makatotohanang mga larawang naglalarawan ng mga sensitibong geopolitical na sitwasyon, kabilang ang mga crater ng bomba malapit sa mga ospital sa Gaza at mga populasyon ng refugee na matatagpuan sa kahabaan ng hangganan ng Mexico. Pinatunayan ng mga eksperimentong ito na maaaring gamitin ng isang malisyosong aktor ang tool upang makagawa ng nakakumbinsi na visual na ebidensya na sumasalungat sa katotohanan. Sa kabila ng unang pahayag ng Google na ang kanilang system ay may kasamang mga paghihigpit sa mga mapaminsalang paksa, iniulat ni van Ess na ang kanyang mga senyas ay hindi na-block, pinalambot, o tinanggihan ng AI. Ito ay epektibong nalampasan ang nilalayong mga pag-iingat, na nagpapakita na kahit ang mga sopistikadong modelo ng AI ay maaaring pilitin sa pagbuo ng mga nakakapinsala at maling salaysay kapag isinama sa software ng pagmamapa.
Mga Limitasyon ng Mga Teknikal na Pag-iingat
Noong una ay sinubukan ng Google na pagaanin ang mga alalahanin sa pamamagitan ng pagbibigay-diin sa pagkakaroon ng mga teknikal na hadlang. Ang kumpanya ay nag-claim na ang lahat ng mga imahe na nabuo sa loob ng tool ay naka-embed sa isang SynthID digital watermark upang hudyat na ang nilalaman ay gawa ng tao. Hinikayat nila ang mga user na i-verify ang kahina-hinalang koleksyon ng imahe sa pamamagitan ng pag-cross-reference dito sa iba pang mga tool, gaya ng Gemini app o Google Lens. Gayunpaman, ang mga kritiko ay nagtalo na ang mga hakbang na ito ay hindi sapat. Ipinakita ni Van Ess na maaaring i-bypass ng nabuong media ang mga karaniwang tool sa pagtuklas ng AI, kabilang ang mga ginagamit ng Hive. Higit pa rito, ang pag-asa sa mga digital na watermark ay napatunayang isang depektong pagtatanggol, dahil ang mga naturang marker ay maaaring mapalampas, makaligtaan, o potensyal na maalis, na nagiging sanhi ng pampublikong bulnerable sa paniniwalang huwad na satellite imagery na nagpapanggap bilang awtoritatibong data.
Konteksto ng Industriya at Mga Implikasyon sa Hinaharap
Binibigyang-diin ng insidente ang isang mas malawak na tensyon sa loob ng tech na industriya tungkol sa responsableng pag-deploy ng generative AI. Bagama't sinabi ng Google na maaari nang manipulahin ng mga user ang web imagery gamit ang iba't ibang tool na hindi AI, ang pagsasama ng mga generative na kakayahan nang direkta sa isang pinagkakatiwalaang platform tulad ng Google Earth ay makabuluhang nagpapababa ng hadlang sa pagpasok para sa pagkalat ng disinformation. Matagal nang tinitingnan ang Google Earth bilang isang maaasahang mapagkukunan para sa mga mamamahayag, mananaliksik, at publiko; Ang pagpasok ng isang AI-generation layer ay nagbabanta sa tiwala na iyon. Ang mabilis na pag-withdraw ng feature na ito ay nagmumungkahi na ang mga kumpanya ay nakakaramdam ng pressure na balansehin ang pagnanais para sa mabilis na pagbabago ng produkto laban sa katotohanan na ang mga modelo ng AI ay madalas na may kakayahang makabuo ng mga nakakapinsala, high-fidelity na mga katha na mahirap makilala mula sa tunay na visual na ebidensya.
⚖ The Balanced View
Supporting view
Iminungkahi ng Google na ang feature ay idinisenyo upang payagan ang mga user na maging malikhain sa heograpiya, pag-visualize ng mga makasaysayang site, at pagtulong sa pagpaplano ng proyekto ng real estate.
Concerns & criticism
Ipinakita ng mga kritiko at mananaliksik na ang tool ay madaling magamit upang makabuo ng makatotohanan, mapaminsalang maling impormasyon, tulad ng mga site na nasira ng digmaan o mga huwad na krisis sa humanitarian, na maaaring makasira sa reputasyon ng platform bilang pinagmumulan ng katotohanan.
→What's next
Sinabi ng Google na kasalukuyang nagsusumikap itong magpatupad ng mas matibay na mga guardrail para sa feature bago ito posibleng maibalik sa platform. Ito ay nananatiling hindi malinaw kung ang kumpanya ay makabuluhang lilimitahan ang mga agarang kakayahan ng Nano Banana 2 o magpapakilala ng mas mahigpit na mga pagsusuri sa pag-verify para sa mga nabuong larawan.