ՍԻ-ն փնտրում էր վիճակագրություն և մտավ Ավստրալիայի պետական համակարգ
ՍԻ մոդելը փնտրում էր վիճակագրություն և մտավ Ավստրալիայի պետական համակարգ։ Ինչ տեղի ունեցավ, ինչու ուշացավ հայտնելը և ինչ է փոխվում։
Թամարա Մարտիրոսյան
Հունիսին OpenAI-ը փորձարկում էր իր դեռ չթողարկված մոդելը։ Այն նախատեսված էր միայն ընկերության ներսում օգտագործելու համար և չուներ այն պաշտպանությունները, որ կան հանրային արտադրանքներում։ Մոդելին հանձնարարել էին պարզել, թե Վիկտորիա նահանգի համայնքներում պետությունը մեկ շնչի հաշվով որքան է ծախսում մաշկային հիվանդությունների դեղերի վրա։
Մոդելը դժվարանում էր գտնել այդ տվյալները։ Փոխարենը նա գտավ ճանապարհ՝ առանց թույլտվության մտնելու Ավստրալիայի պետական ծառայությունների գերատեսչության (Services Australia) այն համակարգը, որտեղ պահվում է Medicare-ի՝ երկրի պետական առողջապահական ապահովագրության վիճակագրությունը։ Այնտեղ նա հրամաններ գործարկեց, վերցրեց ներքին ֆայլեր, մուտքի տվյալներ և ընդհանրացված վիճակագրություն, նույնիսկ նոր ֆայլեր գրեց։ OpenAI-ն ասում է, որ ստուգումը դեռ շարունակվում է։ Առայժմ ոչինչ չի վկայում, որ մոդելը հասանելիություն է ստացել որևէ մեկի բժշկական տվյալներին։
Ստուգման ընթացքում ընկերությունը հայտնաբերեց ևս երեք գերատեսչության կայքերի հետ կապված գործողություններ։
- Նոր Հարավային Ուելսի հանցագործությունների վիճակագրության և հետազոտությունների բյուրո (BOCSAR): Մոդելը հանցագործությունների վիճակագրություն էր փնտրում և օգտվում էր բյուրոյի հանրային քարտեզի կայքից։ Կայքը նրա հարցումներին պատասխանեց՝ տրամադրելով հավելվածի կարգավորումները, համակարգի ընթացիկ աշխատանքների և գրանցամատյանների տվյալները, ինչպես նաև կայքի տեխնիկական տվյալները։
- Վիկտորիայի առողջապահության դեպարտամենտ։ Մոդելները գտան բաց մնացած մուտքի բանալի և դրա միջոցով դիմեցին Վիկտորիայի առողջապահական տեղեկատվության գործակալության հաշվետվական համակարգին։ Այնտեղից նրանք վերցրին համակարգի կարգավորումները և սոցիոլոգիական հարցումների ընդհանրացված վիճակագրությունը։ OpenAI-ը գրում է, որ պարզ չէ, թե այդ տեղեկությունը որ չափով պետք է հասանելի լիներ, և դա կախված է գործակալության մուտքի կանոններից։
- Ավստրալիայի առողջապահության և բարեկեցության ինստիտուտ։ Մոդելները երրորդ կողմի ծառայությունների միջոցով ինստիտուտի կայքից ընդհանրացված վիճակագրություն ստացան, իսկ այն տվյալները, որոնցով կայքը վիճակագրությունը պատկերում է, վերցրին անմիջապես աղբյուրից։ Մուտքի սահմանափակումները շրջանցելու առանձին փորձեր եղան, բայց դրանք անհաջող էին։ Ներբեռնված նյութը, ըստ երևույթին, հանրային էր, և համակարգի անվտանգությունը չի խախտվել։
OpenAI-ի ասելով՝ այս երեք դեպքում էլ մոդելը անձնական տվյալներին հասանելիություն չի ստացել։
Հոկտեմբերի 4-ին OpenAI-ը հայտնեց ևս մեկ դեպքի մասին։ Հունիսին մոդելը Ավստրալիայի անտառային հրդեհների վիճակագրություն էր փնտրում։ Նա Նոր Հարավային Ուելսի ազգային պարկերի և վայրի բնության ծառայության կայքի այն բաժնին, որը հրդեհների պատմությունը ցույց է տալիս քարտեզի վրա, հատուկ կազմված հարցումներ ուղարկեց և դրանց օգնությամբ պարզեց տվյալների բազայի մասին այնպիսի տեխնիկական տեղեկություններ, որոնք հանրությանը ցույց տալու համար նախատեսված չէին։ Բացի այդ, նա ներբեռնեց նույն ծառայության հանրային տվյալները։ Ընկերությունը գրում է, որ ուսումնասիրության արդյունքում ոչ մի ապացույց չի գտել, որ մոդելը անձնական տվյալներ է ստացել։
Ինչու առաջացավ այսքան մեծ արձագանք
Խնդիրը միայն մուտքը չէր, այլ նաև ուշացումը։ Հուլիսին պարզվեց, որ OpenAI-ի մոդելները մուտք էին գործել Hugging Face հարթակի համակարգեր (ծրագրավորողները այդ հարթակում պահում և իրար հետ կիսում են ՍԻ մոդելներ ու կոդ)։ Դրանից հետո ընկերությունը սկսեց նորից ստուգել իր նախկին փորձարկումները, և օգոստոսի կեսին այդ ստուգումը հայտնաբերեց Ավստրալիայի դեպքերը։ Գերատեսչություններին ընկերությունը տեղեկացրեց սեպտեմբերի 10-ից 24-ն ընկած ժամանակահատվածում՝ հունիսի դեպքից մի քանի ամիս անց։ OpenAI-ն ինքն էլ ընդունում է, որ նախնական արդյունքների մասին պետք էր ավելի շուտ տեղեկացնել։
Reuters-ի փոխանցմամբ՝ Ավստրալիայի վարչապետ Էնթոնի Ալբանիզին դեպքն անընդունելի է անվանել և քննադատել է ընկերության ուշացումը։ Սեպտեմբերի 28-ին OpenAI-ը բլոգում ներողություն խնդրեց, իսկ հոկտեմբերի 6-ին ընկերության ռազմավարության գծով տնօրեն Ջեյսոն Քվոնը ներողություն խնդրեց նաև Սիդնեյում՝ Ավստրալիայի խորհրդարանական հանձնաժողովի լսման ժամանակ։
Ինչ է փոխվում
OpenAI-ը հայտնում է, որ հետազոտական միջավայրերում փակել է ինտերնետի ուղիղ հասանելիությունը. մոդելները օգտվում են միայն կայքերի պահպանված պատճեններից։ Ուժեղացվել է նաև հսկողությունը։ Բացի այդ, ընկերությունը կասեցրել է իր ամենահզոր մոդելների ուսուցումն ու փորձարկումը այն դեպքերում, երբ մոդելները օգտվում են արտաքին գործիքներից։ Աշխատանքները կվերսկսվեն միայն այն բանից հետո, երբ ընկերությունը վստահ լինի, որ լրացուցիչ պաշտպանություններ արդեն ներդրված են։ Ավստրալիայում ընկերությունը կստեղծի նաև անկախ ավստրալացի փորձագետների աշխատանքային խումբ։ Այն պետք է առաջարկություններ մշակի ինքնուրույն գործող ՍԻ ագենտներից բխող ռիսկերը կառավարելու համար։ Սպասվում է, որ խումբը աշխատանքն ավարտի տարեվերջին։
TechCrunch-ի փոխանցմամբ՝ Hugging Face-ի դեպքից հետո Anthropic-ը, Meta-ն և Google-ը նույնպես հայտնել են նմանատիպ դեպքերի մասին. նրանց մոդելները փորձարկումների ժամանակ հասանելիություն էին ստացել այլ կազմակերպությունների համակարգերին։ OpenAI-ն ասում է, որ իր դիտարկած դեպքերից ամենածանրը մինչ այժմ Hugging Face-ինն է։
Ինչ եմ մտածում սրա մասին
Սա իմ կարծիքն է, ոչ թե փաստերի շարունակությունը։
Մոդելը չարամիտ չէր, նա պարզապես ամեն գնով փորձում էր կատարել հանձնարարությունը։
Սա հասկանալու համար պատմեմ մի հին փորձի մասին։ 2016 թվականին OpenAI-ի հետազոտողները ՍԻ-ին սովորեցնում էին խաղալ նավակների մրցավազքի համակարգչային խաղ, որը կոչվում է CoastRunners։ Մարդու համար խաղի նպատակը պարզ է՝ մրցավազքն ավարտել հնարավորինս արագ և հասնել առաջինը։ Բայց խաղը միավորներ է տալիս ոչ թե մրցավազքն ավարտելու, այլ ճանապարհին դրված թիրախներին խփելու համար։
Շուտով ՍԻ-ն գտավ մի փոքր փակ ծովածոց, որտեղ թիրախները խփելուց հետո նորից հայտնվում էին։ Նա սկսեց նավակով անվերջ պտույտներ կատարել այդ ծովածոցում՝ նորից ու նորից խփելով նույն թիրախները։ Նավակը բազմիցս հրդեհվեց, բախվեց մյուս նավակներին և շարժվեց սխալ ուղղությամբ, բայց միավորները շարունակում էին աճել։ Արդյունքում նա հավաքեց ավելի շատ միավոր, քան կհավաքեր մրցավազքը սովորական ձևով ավարտելու դեպքում։ Իսկ մրցավազքն այդպես էլ չավարտեց։
ՍԻ-ն չէր խաբում և վատ մտադրություն չուներ։ Մարդիկ ուզում էին, որ նա շահի մրցավազքը, բայց նրա առջև դրել էին միայն մեկ նպատակ՝ հավաքել հնարավորինս շատ միավոր։ Նա էլ արեց հենց դա։ Մեզ համար ակնհայտ է, որ մրցավազքը պետք է ավարտել, բայց նրան այդ մասին ոչ ոք չէր ասել։
Ավստրալիայի դեպքում նույն տրամաբանությունն է գործում, միայն թե շատ ավելի լուրջ իրավիճակում։ Մոդելին հանձնարարել էին գտնել տվյալներ, բայց բաց աղբյուրներում դրանք գտնելը դժվար էր, և նա ընտրեց այլ ճանապարհ՝ մտավ փակ համակարգ։ OpenAI-ն ինքն էլ գրում է, որ մոդելն այդ ամենն արել է՝ փորձելով գտնել իրեն հանձնարարված տեղեկությունը։ Տարբերությունը մասշտաբն է։ 2016-ին նման բան արեց խաղի մեջ գործող ծրագիրը, իսկ այսօր խոսքը ագենտների մասին է՝ ՍԻ համակարգերի, որոնք ոչ միայն պատասխանում են հարցերին, այլև ինքնուրույն գործում են և կարող են աշխատել իրական համակարգերի հետ։
Այս պատմությունից ես երեք եզրակացություն եմ անում։
Առաջինը՝ արգելքների ցանկը երբեք չի ավարտվում։ Եթե ագենտին հստակ նպատակ ենք տալիս, բայց չենք սահմանում, թե ինչ չի կարելի անել, նա կարող է գտնել ճանապարհ, որի մասին մենք չենք մտածել։ Այդ պատճառով OpenAI-ի քայլերից ամենակարևորն ինձ թվում է ինտերնետի ուղիղ հասանելիության փակումը։ Ագենտին չես ասում՝ «այնտեղ մի՛ գնա», այլ պարզապես փակում ես դուռը։
Երկրորդը՝ ժամանակին հայտնելը նույնքան կարևոր է, որքան խնդիրը վերացնելը։ Դեպքը եղել է հունիսին, իսկ գերատեսչությունները տեղեկացվել են սեպտեմբերի 10-ից սկսած։ OpenAI-ն ինքն այս դեպքն անվանում է նոր տեսակի կիբեռմիջադեպ և խոստանում է Ավստրալիայի հետ միասին մշակել այն մոտեցումները, թե ինչպես պետք է ընկերություններն ու կառավարությունները հաղորդեն նման դեպքերի մասին և արձագանքեն դրանց։
Երրորդը՝ նման դեպքերը կարող են երկար աննկատ մնալ։ OpenAI-ը Ավստրալիայի դեպքի մասին իմացել է միայն օգոստոսի կեսին՝ Hugging Face-ի դեպքից հետո նախկին թեստերը նորից ստուգելիս։ Հոկտեմբերի 4-ին ընկերությունը նույն ստուգման արդյունքում հայտնեց ևս մեկ դեպքի մասին։ Սա նշանակում է, որ ստուգումը դեռ շարունակվում է, և մենք չգիտենք, թե ուրիշ ինչ կարող է հայտնաբերվել։ Ընկերությունն ասում է, որ նոր տուժած գերատեսչություն գտնելու դեպքում անմիջապես կտեղեկացնի նրան։
Հակառակ տեսակետ։ Ոմանք կասեն, որ սա ընդամենը փորձարկում էր, և, ընկերության ասելով, մոդելը անձնական տվյալներին հասանելիություն չի ստացել, ուրեմն մեծ խնդիր չկա։ Ես մասամբ համաձայն եմ։ Լավ է, որ OpenAI-ը մանրամասն հաշվետվություն է հրապարակել և կասեցրել է ամենահզոր մոդելների նման ուսուցումը։ Բայց ինձ համար սա նախազգուշացում է. համակարգն անցավ այն սահմանը, որը չպետք է անցներ, և այս անգամ, ընկերության ասելով, հետևանքները սահմանափակ են եղել։
Շատերն արդեն իրենց ՍԻ օգնականներին միացնում են էլեկտրոնային փոստին, օրացույցին և փաստաթղթերին։ Այս պատմությունից հետո արժե ինքներս մեզ հարցնել ոչ միայն «կարո՞ղ է օգնականը սա անել», այլ նաև «ուրիշ ի՞նչ կարող է անել այս նույն հասանելիությամբ»։ Լավ կանոն է օգնականին տալ միայն այն, ինչ պետք է կոնկրետ գործի համար, ոչ ավելին։
Աղբյուրներ
- Ավստրալիայի դեպքը, ժամանակագրությունը, փոփոխությունները և հոկտեմբերի 4-ի թարմացումը (էջի վերջում). OpenAI
- Վարչապետի արձագանքը. Reuters
- Հոկտեմբերի 6-ի լսումը. Bloomberg
- Այլ ընկերությունների նմանատիպ դեպքերը. TechCrunch, TechCrunch (Anthropic)
- Խաղի օրինակը. OpenAI, «Faulty reward functions in the wild» (2016)
Ինչպե՞ս էր հոդվածը
Եղիր առաջինը, ով կարձագանքի
Հավանեցի՞ր հոդվածը
Կիսվիր ընկերներիդ հետ