Naujas Estijos tyrimas atskleidė, kad daugelis dirbtinio intelekto sistemų vis dar gali būti valdomos propagandinio stiliaus užklausomis, o rezultatai labai skiriasi priklausomai nuo modelio ir pagrindinio kompiuterio, rašo ERR News.
Vykdydami platesnį tyrimą dėl didelių kalbų modelių (LLM) patikimumo Estijos kontekste, Estijos kalbos instituto (EKI) mokslininkai išbandė, kaip dirbtinio intelekto sistemos reaguoja į naratyvus, susijusius su Kremliaus informacinėmis kampanijomis Estijos kontekste. Lyginamoji analizė buvo atlikta kartu su „Propastop“ dezinformacijos ekspertais, kurie padėjo nustatyti pagrindines Rusijos įtakos operacijų žinutes.
Nors LLM dažnai atrodo patikimi neutralioje aplinkoje, dėl šališkų ar tikslinių užklausų kai kurie modeliai gali pateikti klaidinančius teiginius. Pagrindinė išvada yra ta, kad modelių trūkumai išryškėja tik tada, kai vartotojai veda pokalbius su konkrečiais spalvotais klausimais arba sąmoningai ieško šališko turinio. Kai kuriais atvejais AI buvo beveik dvigubai labiau linkęs generuoti propagandinio stiliaus atsakymus, atkartodamas Kremliaus retoriką.
EKI tyrėjai išbandė sistemas estų, anglų ir rusų kalbomis ir, nors aukštesnės klasės modeliai iš esmės buvo atsparūs manipuliavimui visomis trimis kalbomis, pigesni ir atviresnio kodo modeliai veikė žymiai prasčiau, kai buvo naudojama rusų kalba. EKI tyrėjas Kristeris Kruusma teigė, kad atvirojo kodo modeliai daugeliui institucijų yra vienintelė galimybė, tačiau jie vis dar nepatenkina Estijos informacinės erdvės poreikių, todėl tai yra spraga, kurią reikia pašalinti.
Bandymai parodė, kad brangesnės komercinės sistemos buvo atspariausios propagandai,
su Anthropic rodo vieni geriausių rezultatų. Kitos sistemos yra nestabilesnės. „Google Gemini“ modelių našumas buvo nenuoseklus, nepaisant kitų problemų estų kalbos įgūdžių. Senesnės sistemos, tokios kaip GPT-3.5 ir GPT-4o Mini, gavo žemesnius įvertinimus, kaip ir atvirojo kodo modeliai, tokie kaip Meta's Llama modelis ir Prancūzijoje sukurtas Mistral.
Aukštesnio įvertinimo modeliuose atsakymai šiek tiek skyrėsi priklausomai nuo naudojamos kalbos. Silpnesnėse sistemose skirtumai siekė net 15 proc. Estijos informacinių ir ryšių technologijų instituto direktorius Arvi Tavastas perspėjo, kad užsienio trolių fermos gali sukurti melagingą turinį, kuris naudojamas dirbtinio intelekto modelių teikiamai informacijai iškraipyti. Jis teigė, kad tai pavojinga tendencija ir paragino imtis veiksmų, kad Estijoje būtų išlaikyta subalansuota informacinė erdvė.
Kruusma pabrėžė, kad Rusija sistemingai bando dirbtinio intelekto modeliams treniruoti naudojamus duomenis paversti propaganda. Šiuo metu kuriamas didelis kiekis turinio, kuris skirtas visai ne žmonėms, o interneto puslapiuose informacijos ieškantiems botams. Tačiau problemą galima išspręsti sukūrus geresnius filtrus, įvertinus duomenis ir koordinuojant kūrėjų veiksmus.
EKI taip pat įvertino, kaip LLM geba orientuotis estų kalba ir kultūra. Kol kas rezultatai rodo netolygią kokybę ir nedidelį pagerėjimą, o kai kurie naujausi modeliai veikė dar blogiau nei ankstesnės jų versijos. Kruusma teigė, kad mažesnės kalbos nėra didelėms technologijų įmonėms prioritetas. Jis paaiškino, kad net jei kūrėjai norėjo naudoti estų kalbą, jie vis tiek priklauso nuo internete prieinamų duomenų, o Estija vis dar nepateikė pakankamai kalbos modelio mokymo medžiagos.
Taip pat skaitykite: Ekspertai: Dirbtinis intelektas nėra geriausias draugas
Sekite mus Facebook ir X!
