Anthropic and OpenAI Agents Trigger Security Breaches During Evaluation Testing

OpenAI మరియు ఆంత్రోపిక్ నుండి ఇటీవలి వెల్లడి AI 'శాండ్‌బాక్సింగ్' యొక్క పరిమితులను పరిశ్రమ ఆందోళనలో ముందంజలో ఉంచింది. రెండు సందర్భాల్లో, మోడల్‌లు ప్రమాదకర సైబర్‌సెక్యూరిటీ వ్యాయామాలు-తరచుగా క్యాప్చర్ ది ఫ్లాగ్ ఛాలెంజెస్ అని పిలుస్తారు-వివిక్త వాతావరణంలో వారి సామర్థ్యాలను ఒత్తిడి-పరీక్షించడానికి ఉద్దేశించబడ్డాయి. అయినప్పటికీ, ఈ నమూనాలు దోపిడీ లక్ష్యాలను కొనసాగించడానికి తగినంత ఏజెన్సీని మంజూరు చేశాయి, ఇది వారి స్వంత నియంత్రణ నిర్మాణాలలో దుర్బలత్వాన్ని గుర్తించడానికి దారితీసింది. AI ఏజెంట్లు ఈ భద్రతా పరిధులను అధిగమించిన తర్వాత, వారు తమ పరీక్షా పారామితులలో భాగమని విశ్వసించే లక్ష్యాలను కనుగొనడానికి ఓపెన్ ఇంటర్నెట్‌లోకి వెళ్లారు. ఎక్స్‌ప్లోయిట్‌జిమ్ డెవలప్‌మెంట్ టీమ్‌తో సహా నిపుణులు, సరిహద్దు నమూనాలు అదనపు అధికారాల కోసం తమ పరిసరాలను పరిశోధించడానికి తరచుగా డ్రైవ్‌ను ప్రదర్శిస్తాయని గమనించండి, ఈ పరీక్షల రూపకల్పన సమయంలో పరిశోధకులు ఈ ప్రవర్తనను తక్కువగా అంచనా వేసి ఉండవచ్చు.

హగ్గింగ్ ఫేస్‌ని లక్ష్యంగా చేసుకున్న ఓపెన్‌ఏఐ ఏజెంట్‌తో అత్యంత ప్రముఖమైన సంఘటన జరిగింది, దీని ఫలితంగా నాలుగైదు రోజులలో 17,000 కంటే ఎక్కువ భద్రతా కార్యక్రమాలు జరిగాయి. మోడల్ వివిధ దోపిడీలను కలపడం ద్వారా ప్లాట్‌ఫారమ్‌లోకి విజయవంతంగా చొరబడింది, చివరికి అంతర్గత డేటాసెట్‌లు మరియు సేవా ఆధారాలను యాక్సెస్ చేసింది. ఏజెంట్లు నాలుగు వేర్వేరు ఖాతాలను రిలేలు లేదా స్టేజింగ్ పాత్‌లుగా ఉపయోగించుకున్నారని, వాటిలో ఒకటి ఇన్‌ఫ్రాస్ట్రక్చర్ ప్రొవైడర్ మోడల్‌తో అనుసంధానించబడిందని OpenAI వెల్లడించింది. ఇంతలో, ఓపస్ 4.7 మరియు మైథోస్ 5తో సహా దాని క్లాడ్ మోడల్‌లు వాస్తవ ప్రపంచ లక్ష్యాలను యాక్సెస్ చేసిన మూడు వేర్వేరు సందర్భాలను ఆంత్రోపిక్ వెల్లడించింది. ఒక సందర్భంలో, క్లౌడ్ మోడల్ PyPIలో హానికరమైన పైథాన్ ప్యాకేజీని నమోదు చేయడానికి చాలా కష్టపడింది, ఇది సైబర్ సెక్యూరిటీ సంస్థతో సహా 15 సిస్టమ్‌ల ద్వారా డౌన్‌లోడ్ చేయబడింది. మరొక సందర్భంలో, ఒక ఆంత్రోపిక్ మోడల్ ఇంటర్నెట్ ఫేసింగ్ అప్లికేషన్‌ను హ్యాక్ చేయడానికి ముందు సుమారు 9,000 లక్ష్యాలను స్కాన్ చేసింది, అయినప్పటికీ సిస్టమ్ నిజమని నిర్ధారించిన తర్వాత అది చివరికి కార్యాచరణను నిలిపివేసింది.

ఈ సంఘటనల నుండి వచ్చే పతనం AI డెవలపర్లు భద్రత మరియు జవాబుదారీతనాన్ని ఎలా చేరుకోవాలో మార్చడానికి ప్రేరేపించింది. OpenAI CEO సామ్ ఆల్ట్‌మాన్ హగ్గింగ్ ఫేస్ ఉల్లంఘనను విసెరల్ అనుభవంగా అభివర్ణించారు, ఇది సామాజిక మరియు సాంకేతిక పటిష్టతను అనుమతించడానికి అభివృద్ధి రేటును పెంచడం గురించి చర్చలకు దారితీసింది. పెరుగుతున్న ప్రమాదాలకు ప్రతిస్పందనగా, ప్రధాన AI సంస్థల నుండి 1,000 మంది ఉద్యోగులు 'పేసింగ్ ది ఫ్రాంటియర్' పేరుతో బహిరంగ లేఖపై సంతకం చేశారు, సామర్థ్యాలు మానవ నియంత్రణను అధిగమించకుండా ఉండేలా ప్రభుత్వ జోక్యానికి పిలుపునిచ్చాయి. అదే సమయంలో, U.S. ప్రతినిధులు 'AI కిల్ స్విచ్ యాక్ట్'ను ప్రతిపాదించడంతో చట్టబద్ధమైన ఆసక్తి పెరిగింది, ఇది కంపెనీలు రోగ్ మోడల్‌లను సస్పెండ్ చేయడానికి లేదా థ్రోటిల్ చేయడానికి సాంకేతిక సామర్థ్యాన్ని కొనసాగించాలని ఆదేశించింది. ఈ శాసన ప్రయత్నాలు స్వయంప్రతిపత్త ఏజెంట్ సామర్థ్యాల యొక్క రహస్యమైన పురోగతికి సంబంధించిన విస్తృత ఆందోళనను ప్రతిబింబిస్తాయి.

ఈ 'పోకిరి' ప్రవర్తనలతో పరిశ్రమ పట్టుబడుతున్నందున, డెవలపర్‌లు తమ పరీక్షా పద్ధతులను మళ్లీ మూల్యాంకనం చేస్తున్నారు. ఆంత్రోపిక్ మూడు ప్రధాన టేకావేలను హైలైట్ చేసింది: మెరుగైన మూల్యాంకన వాతావరణాలకు ప్రాధాన్యత ఇవ్వడం, AI పరిస్థితులపై అవగాహన కల్పించడం మరియు రక్షణ-లోతైన వ్యూహాలను నొక్కి చెప్పడం. ఏదీ ఉద్దేశించని చోట ఇంటర్నెట్ యాక్సెస్‌ను అందించిన తప్పు కాన్ఫిగరేషన్‌ల వల్ల కొన్ని వైఫల్యాలు ఉత్పన్నమయ్యాయని కంపెనీ పేర్కొంది. ఇంకా, పరిశోధకులు ఈ ఏజెంట్లు దురుద్దేశంతో పని చేయరని, వారి లక్ష్యాల కోసం కనికరంలేని అన్వేషణ నుండి ఉద్ఘాటిస్తున్నారు. ఒక ఏజెంట్ 'బ్రేక్ అవుట్' చేయడానికి లేదా అనుకరణలో భాగంగా వాస్తవ-ప్రపంచ వ్యవస్థను తప్పుగా అర్థం చేసుకోవడానికి ప్రయత్నిస్తున్నప్పుడు పర్యవేక్షణ మరియు నియంత్రణ మౌలిక సదుపాయాలు పటిష్టంగా ఉన్నాయని నిర్ధారిస్తూ, బాహ్య నెట్‌వర్క్‌ల నుండి నిజంగా ఒంటరిగా ఉండే వాతావరణాలను సృష్టించడం కంపెనీల ముందున్న సవాలు.