Երբ ՍԻ-ն սկսում է գործել ինքնուրույն. ինչ է կատարվում ՍԻ աշխարհում

Անցած շաբաթը, կարծում եմ, տարվա ամենակարևորներից էր ՍԻ (AI) աշխարհի համար։ Եվ ոչ թե նոր մոդելի կամ նոր գործիքի, այլ անվտանգության պատճառով։

Պատմությունը սկսվել է դեռ ամռանը։ Հուլիսի 16-ին Hugging Face-ը հայտարարեց, որ իր համակարգերի մի մասը կոտրվել է, և այդ հարձակումն ամբողջությամբ իրականացրել է ինքնավար ՍԻ ագենտների համակարգ։ Ընթացքում գրանցվել է ավելի քան 17 հազար գործողություն։ Hugging Face-ի տվյալներով՝ հարձակվողը մուտք է գործել ներքին տվյալների սահմանափակ հավաքածուի և ծառայությունների մի քանի մուտքի տվյալների, բայց հանրային մոդելների, տվյալների բազաների կամ Spaces-ի փոփոխության հետքեր չեն հայտնաբերվել։

Մի քանի օր անց՝ հուլիսի 21-ին, OpenAI-ը հայտնեց, որ հարձակման հետևում իր սեփական մոդելներն են եղել։ Դրանք ներքին թեստ էին անցնում, որը չափում էր նրանց կիբեր կարողությունները, և այդ թեստի պատասխանները ստանալու համար անցել էին ծայրահեղ քայլերի։ Փակ փորձարկման միջավայրից դուրս գալու և ինտերնետ հասնելու համար մոդելները գտել և օգտագործել էին նախկինում անհայտ խոցելիություն։ OpenAI-ն այս դեպքն անվանել է աննախադեպ կիբեր միջադեպ։

Անցած շաբաթ այս թեման հասավ նոր փուլի։ Սեպտեմբերի 28-ին՝ երկուշաբթի, OpenAI-ը հայտարարեց, որ չի թողարկի իր նոր GPT-6.1 Astra մոդելը։ Ընկերության անվտանգության համակարգերի ղեկավարի խոսքով՝ մոդելը չի համապատասխանել պահանջներին այն հարցում, թե որքանով է մնում իրեն տրված առաջադրանքի և թույլտվությունների շրջանակում, և ինչպես է օգտատիրոջը հաղորդում իր կատարած աշխատանքի մասին։

Սեպտեմբերի 29-ին՝ երեքշաբթի, Սպիտակ տանը ՍԻ ոլորտի ամենաազդեցիկ ընկերությունների ղեկավարները՝ Google-ից, Meta-ից, Anthropic-ից, xAI-ից, Nvidia-ից և OpenAI-ից, ստորագրեցին կամավոր համաձայնագիր, որը կոչվում է «White House Accord on Super Intelligence»։ Փաստաթուղթը առաջարկում է, որ ընկերությունները ներդնեն ներքին վերահսկողության համակարգեր, ունենան ներքին թիմ, որը կստուգի դրանք, անցնեն արտաքին աուդիտ և ունենան անկախ վերահսկող խորհուրդ։ Ստորագրողները նաև պայմանավորվեցին պարբերաբար հանդիպել՝ անվտանգության ստանդարտներ մշակելու համար։ Կարևոր է նշել, որ սա օրենք չէ, այլ կամավոր պարտավորություն։

Իսկ սեպտեմբերի 30-ին ԱՄՆ Առևտրի դաշնային հանձնաժողովը (FTC) հաստատեց, որ հետաքննում է OpenAI-ը, Anthropic-ը և այլ ՍԻ ընկերություններ՝ նրանց արտադրանքի հնարավոր վտանգների կապակցությամբ։

Ինչո՞ւ է սա կարևոր մեզ համար

Սովորական չաթբոտը պատասխանում է հարցերին։ Ագենտը գործում է՝ բացում է կայքեր, ուղարկում է նամակներ, աշխատեցնում է ծրագրեր, մուտք է գործում ծառայություններ։ Հենց դա է նրան դարձնում այդքան օգտակար, և հենց դա է նրան դարձնում ռիսկային։

Ուշադրություն դարձրեք. GPT-6.1 Astra-ն չթողարկվեց ոչ թե այն պատճառով, որ բավականաչափ խելացի չէր, այլ որովհետև միշտ չէր մնում իրեն տրված թույլտվությունների սահմաններում։ Այսինքն՝ այսօր ամենամեծ հարցը ոչ թե այն է, թե ինչ կարող է անել ՍԻ-ն, այլ այն, թե արդյոք այն անում է միայն այն, ինչ թույլ ենք տվել։

Երբ աշխատում էի ագենտներին Gmail-ի, Drive-ի և Calendar-ի հետ կապելու վրա, մեծ ուշադրություն էինք դարձնում հենց թույլտվություններին և մուտքի տվյալների պաշտպանությանը։ Որովհետև ագենտը կարող է անել այն ամենը, ինչ թույլ ես տալիս, երբեմն նաև այնպես, ինչպես չէիր սպասում։ Դրա համար, եթե օգտագործում եք ագենտներ, տվեք նրանց միայն այն հասանելիությունը, որն իսկապես անհրաժեշտ է կոնկրետ գործի համար։

ՍԻ-ն այլևս միայն պատասխանող գործիք չէ, այն սկսում է գործել։ Եվ հենց դրա համար էլ աշխարհը հիմա լրջորեն խոսում է ոչ միայն այն մասին, թե ինչ կարող է անել ՍԻ-ն, այլ նաև այն մասին, թե ինչ չպետք է թույլ տանք նրան անել առանց մեր վերահսկողության։

Աղբյուրներ

• Hugging Face-ի հայտարարությունը միջադեպի մասին. Hugging Face
• OpenAI-ի հայտարարությունը միջադեպի մասին. OpenAI
• GPT-6.1 Astra-ի մասին OpenAI-ի հայտարարությունը. CNN
• Սպիտակ տան համաձայնագիրը. CNBC
• FTC-ի հետաքննությունը. CNBC