Google telah menarik ciri yang baru dikeluarkan daripada Google Earth yang membenarkan pengguna menjana imej satelit yang diubah AI selepas penyelidik menunjukkan potensinya untuk mencipta maklumat salah yang realistik. Syarikat itu kini menjeda alat itu untuk melaksanakan langkah keselamatan yang lebih teguh.
Kebangkitan dan Kejatuhan Cepat Integrasi
Google melancarkan ciri baharu awal minggu ini yang menyepadukan model penjanaan imej Nano Banana 2 AI terus ke dalam versi web Google Earth. Pada asalnya diletakkan oleh syarikat sebagai utiliti kreatif untuk menggambarkan perkembangan hartanah atau tanda tempat bersejarah, alat ini membenarkan pengguna memanipulasi imejan satelit dan udara melalui gesaan teks mudah. Walau bagaimanapun, pelaksanaannya tidak lama. Menjelang 31 Julai, kurang daripada 24 jam selepas pemerhatian awam diperhebat mengenai potensi penyalahgunaan, gergasi teknologi itu secara rasmi menarik ciri tersebut. Google menyatakan ia menarik balik alat untuk membangunkan pagar yang lebih kukuh, dengan menyatakan bahawa walaupun sesetengah profesional geospatial menemui utiliti dalam ciri tersebut, platform itu juga melihat bukti jelas pengguna melanggar dasar syarikat dengan menghasilkan imejan yang mengelirukan.
Menunjukkan Risiko Geospatial Deepfakes
Kelemahan alat itu diserlahkan oleh Henk van Ess dari Penggalian Digital, yang melakukan ujian tekanan pada sistem. Dengan memasukkan gesaan khusus, van Ess berjaya menghasilkan imej yang sangat realistik yang menggambarkan senario geopolitik yang sensitif, termasuk kawah bom berhampiran hospital di Gaza dan populasi pelarian yang terletak di sepanjang sempadan Mexico. Eksperimen ini membuktikan bahawa pelakon yang berniat jahat boleh memanfaatkan alat untuk menghasilkan bukti visual yang meyakinkan yang bercanggah dengan realiti. Walaupun penegasan awal Google bahawa sistem mereka termasuk sekatan pada topik berbahaya, van Ess melaporkan bahawa gesaannya tidak disekat, dilembutkan atau ditolak oleh AI. Ini secara berkesan memintas perlindungan yang dimaksudkan, menunjukkan bahawa model AI yang canggih pun boleh dipaksa untuk menghasilkan naratif palsu yang merosakkan apabila disepadukan ke dalam perisian pemetaan.
Had Perlindungan Teknikal
Google pada mulanya cuba mengurangkan kebimbangan dengan menekankan kehadiran penghalang teknikal. Syarikat itu mendakwa bahawa semua imej yang dihasilkan dalam alat itu dibenamkan dengan tera air digital SynthID untuk menandakan bahawa kandungan itu adalah sintetik. Mereka menggalakkan pengguna untuk mengesahkan imejan yang mencurigakan dengan merujuk silang dengan alat lain, seperti apl Gemini atau Google Lens. Bagaimanapun, pengkritik berpendapat langkah ini tidak mencukupi. Van Ess menunjukkan bahawa media yang dijana boleh memintas alat pengesanan AI biasa, termasuk yang digunakan oleh Hive. Tambahan pula, pergantungan pada tera air digital telah terbukti sebagai pertahanan yang cacat, kerana penanda tersebut boleh terlepas, diabaikan atau berpotensi dialih keluar, menyebabkan orang ramai terdedah kepada mempercayai imejan satelit yang dipalsukan yang menyamar sebagai data berwibawa.
Konteks Industri dan Implikasi Masa Depan
Insiden itu menggariskan ketegangan yang lebih luas dalam industri teknologi berkenaan dengan penggunaan AI generatif yang bertanggungjawab. Walaupun Google berhujah bahawa pengguna sudah boleh memanipulasi imejan web menggunakan pelbagai alat bukan AI, penyepaduan keupayaan generatif terus ke dalam platform yang dipercayai seperti Google Earth dengan ketara merendahkan halangan kepada kemasukan untuk menyebarkan maklumat yang salah. Google Earth telah lama dilihat sebagai sumber yang boleh dipercayai untuk wartawan, penyelidik dan orang ramai; memasukkan lapisan generasi AI mengancam kepercayaan asas itu. Penarikan pantas ciri ini menunjukkan bahawa syarikat merasakan tekanan untuk mengimbangi keinginan untuk inovasi produk yang pantas terhadap realiti bahawa model AI selalunya mampu menghasilkan fabrikasi yang berbahaya dan berkeyakinan tinggi yang sukar untuk dibezakan daripada bukti visual yang tulen.
⚖ The Balanced View
Supporting view
Google mencadangkan ciri itu direka bentuk untuk membolehkan pengguna menjadi kreatif dengan geografi, menggambarkan tapak bersejarah dan membantu perancangan projek hartanah.
Concerns & criticism
Pengkritik dan penyelidik menunjukkan bahawa alat itu boleh digunakan dengan mudah untuk menghasilkan maklumat salah yang realistik dan berbahaya, seperti tapak yang dilanda perang atau krisis kemanusiaan palsu, yang boleh menjejaskan reputasi platform sebagai sumber kebenaran.
→What's next
Google telah menyatakan bahawa ia sedang berusaha untuk melaksanakan pagar yang lebih kukuh untuk ciri tersebut sebelum ia berpotensi dikembalikan ke platform. Masih tidak jelas sama ada syarikat itu akan mengehadkan keupayaan segera Nano Banana 2 dengan ketara atau memperkenalkan pemeriksaan pengesahan yang lebih ketat untuk imej yang dijana.