Jezikoslovje, umetna inteligenca in komunikacija živali. To prepleta dr. Gašper Beguš v svojih raziskavah, da bi bolje razumeli sami sebe, umetne možgane in živalsko inteligenco. Pri tem se odpirajo pomembna vprašanja: kaj inteligenca sploh je, ali je človek nekaj posebnega ali le pametna žival ter kaj, če se bomo morali spoprijeti z nečim, kar je pametnejše od nas.

Je izredni profesor jezikoslovja na Univerzi v Berkeleyju. Med drugim razvija modele, ki so realistična alternativa velikim jezikovnim modelom in se učijo jezika bolj podobno kot ljudje. Nedavno je z ekipo objavil študijo, v kateri pokažejo, da so stroji sposobni o jeziku »razmišljati« z jezikom, kar je veljalo za izključno človeško lastnost. Umetna inteligenca bi prav tako lahko pomagala, da bi končno razumeli živali. Nova dognanja o kompleksnosti jezikov živali odstirajo nove poglede na njihovo inteligenco, s tem pa se porajajo tudi pravna, etična in filozofska vprašanja.

Medtem ko komercialna podjetja razvijajo predvsem zelo napredne modele umetne inteligence oziroma velike jezikovne modele, ste se vi lotili projekta z druge strani: ustvarili ste precej preprost model, ki se jezika uči podobno kot otroci. Za kaj gre?

Pomanjkljivost velikih jezikovnih modelov je, da potrebujejo gore podatkov, iz katerih se učijo, poleg tega pri tem porabijo ogromno energije. Preučujemo, ali se lahko tudi stroji učijo na bolj učinkovit, človeški in manj potraten način. Ljudje namreč v svojem življenju nikakor ne moremo pridobiti toliko podatkov, kot jih ima gpt 4, pa vendar smo precej pametni, znamo interpolirati, razmišljati o svetu.

Veliki jezikovni modeli se ne učijo kot ljudje, model v našem projektu pa se dejansko uči podobno kot človek, ki nima inženirskih bližnjic, ki nima na razpolago cele wikipedije in vseh drugih dostopnih podatkov. Tak model nam bo lahko pomagal tudi razumeti, kaj v človeški inteligenci vznikne samo od sebe.

Poleg tega lahko ta model uporabimo kot simulacijo človeškega učenja. Samoumevno se nam zdi, da se otrok nauči govoriti. To je pravzaprav precej zahtevno. Številni eksperimenti v jezikoslovju in kognitivni znanosti so seveda zaradi etičnih razlogov prepovedani. Dojenčka denimo ne moremo prikrajšati za neko jezikovno izkušnjo, lahko pa to naredimo na modelu. Na primer, ena izmed hipotez, ki jih preverjamo, je, da se otroci, ki poslušajo veliko glasbe, prej naučijo tonov v kitajščini. Modelu ponujamo le posamezne govorjene besede. Otrok mora zvoke razviti v besede. Iz tega lahko raziskujemo tudi, kako je človeštvo razvilo besede, jezik. Gre za zelo temeljne raziskave v jezikoslovju.

Tretji vidik naših raziskav pa je povezan z možgani. Še vedno ne razumemo povsem natančno, kako veliki jezikovni modeli delujejo, naš model ima »možgane«, ki so lažje razumljivi, in tako lahko razumemo, kako postreže z rezultati, hkrati pa lahko prek modela razumemo nekatere nevronske procese v naših možganih.

Hkrati v laboratoriju raziskujemo delovanje velikih jezikovnih modelov. Odgovoriti skušamo, kaj vse je mogoče v umetnih silicijevih možganih. Ti nam lahko kažejo meje zmožnega, naš model pa, kako se ta zmožnost lahko razvije. Zanimajo nas tudi mehanizmi, kako je človek prešel od preprostejše komunikacije v kompleksnejšo, kako je otrok sposoben preiti iz stanja, ko se le oglaša, do stanja, ko izreče enostavno poved.

Raziskovati je treba več vidikov UI. Velike jezikovne modele večinoma razvijajo podjetja, naloga akademske sfere pa je, da inovira, razvija nove pristope in izboljšave. Prav zato so pomembni tudi ti manjši modeli.

Res želimo strojne posnemovalce človeka?

Ena vaših ugotovitev je, da naši možgani in umetni možgani, umetna nevronska mreža, delujejo precej podobno.

To pravzaprav ni presenetljivo, kajti UI je bila vedno oblikovana s ciljem, da je matematični približek človeških možganov. Če našo inteligenco reduciramo na fizikalni pojav, so to samo električne povezave med nevroni. Te se ustvarjajo same od sebe. Sodelujem tudi z nevrokirurgi, z njimi raziskujemo, kdaj se nevroni zaženejo in kdaj ne. Podobno se zdaj umetne mreže učijo teh povezav. Prav zato je zanimivo opazovati, kako se uči otrok in kako umetna inteligenca. Kolega, ki naš model uči kitajščino, je poročal, da se je mreža tone jezika naučila v enakem vrstnem redu kot kitajski otroci.

To je umetni, nebiološki nevronski proces, ampak še vedno je nevronski proces. Razumevanje procesa tako v naših možganih kot v umetnih je za zdaj še zelo pomanjkljivo.

Vaš model učite samo z zvoki. Otroci se učijo tudi z vsemi drugimi dražljaji.

Zdaj gre v smer, da tudi modeli dobivajo vid in druge podatke. Na neki točki bomo lahko razvili nevronsko mrežo, ki ne bo le videla in slišala, kar vidimo in slišimo mi, ampak še vse tisto, česar naše oči in ušesa niso sposobni zaznati. Mreža bo imela dostop do najrazličnejših senzorjev. Kar pa je lahko nevarno.

»V srednjem veku je bil na vrhu piramide bog, renesansa je na vrh postavila človeka, zdaj smo spet na točki, ko se edinstvenost oziroma unikatnost človeka začenja prevpraševati.« FOTO: Jože Suhadolnik

Bo za korenit preskok v razvoju UI, na primer v superinteligenco, potrebna povsem nova pot?

Zelo velika nadgradnja je bil pristop »veriga misli« (chain of thought, CoT). Ti modeli se odgovarjanja lotijo na podoben način kot ljudje, ko se znajdemo pred težkim problemom. Modeli imajo določeno kognicijo, da ne le odgovorijo, ampak odgovor razdelijo, podobno kot mi rešujemo težke formule, ko ne zapišemo le končnega rezultata, ampak še vse korake do tja. Seveda pa so ti modeli plačljivi in večina uporabnikov ima še vedno izkušnjo z brezplačnimi različicami.

Pri tem se pojavi vprašanje: ali je človek samo pametna žival? Je vse to, za kar mislimo, da so posebne lastnosti človeka, od samozavedanja do izbiranja lastnih ciljev, le posledica povečevanja naših kognitivnih zmožnosti? Ali pa je to posledica še kakšnih drugih mehanizmov? Enako se lahko vprašamo za UI – je sposobna presegati človeka? Vprašanje je izredno pomembno, saj če je to pogojeno le s povečevanjem kapacitet oziroma velikostjo modelov, to lahko pomeni, da bi na neki točki lastnosti, ki jih imamo samo ljudje, vzniknile tudi pri umetni inteligenci.

Ljudje smo se v zgodovini uspešno spoprijeli že z marsičim. Še nikoli pa se nismo znašli pred nečem, kar je pametnejše od nas. Naše raziskave so že pokazale, da veliko lastnosti in sposobnosti, za katere smo menili, da so izključno človeške, ni (več) takih.

Če vse temelji le na velikosti in učinkovitosti možganov, potem imamo lahko problem in se je nadaljnjega razvoja UI treba lotiti previdno. Če ne, v redu, ampak trenutno kaže, da človek nima nekih ekstremno unikatnih lastnosti, zato moramo vse to res dobro raziskati, še preden bi nas lahko modeli presegli.

Pojavlja se vprašanje, ali imamo dovolj podatkov, da povečujemo kapacitete. Na eni strani imamo besedila, a podatki so tudi drugačne vrste in tudi te bomo lahko ponudili modelom. Razvoj je izjemen. Mislim, da nihče ni predvidel takšnega napredka, in vprašanje je, ali se bo ta ustavil. Za zdaj imajo najboljše umetne nevronske mreže manj povezav, kot jih je v naših možganih, toda strojna oprema se izboljšuje in kapacitete se bodo povečevale, zato previdnost ne bo odveč.

Kaj pa, če se res pojavi nekaj, kar bo pametnejše od nas?

To je sicer še znanstvena fantastika, a to postaja resno vprašanje. Ne smemo pretiravati, česa vse je UI sposobna, ampak zdaj enostavno nismo več prepričani, da stroj ne more biti pametnejši od človeka na večini področij. Poleg tega je UI v nekaterih pogledih v prednosti, na primer: ločljiva je od strojne opreme, uči se izjemno hitro. Da človek pride do doktorata, potrebuje več kot dvajset let šolanja.

Poleg tega so modeli začeli med sabo komunicirati. Skoraj prepričan sem, da bodo začeli komunicirati med seboj v nečloveških jezikih, morda celo v jezikih, ki jih ne bomo razumeli. Tudi v mojem laboratoriju se zgodi, da model, ko nima drugega izhoda, interno začne komunicirati v jeziku, ki nam nič ne pomeni, njemu pa. V industriji že poročajo, da agenti oziroma kloni modelov začenjajo opravljati določene naloge in med sabo sodelujejo. Človek je pameten, tisoč ljudi skupaj je bolj pametnih od posameznika, enako lahko velja za UI.

Za zdaj imajo modeli pomanjkljivost, na primer, nimajo tridimenzionalne predstave sveta, ampak tudi to bodo pridobili, saj imamo elektronske senzorje za vse, kar zaznavamo ljudje. Modeli postajajo manipulativni, razumejo tudi nianse človeške interakcije in tako naprej. Stvari niso več tako enostavne.

Zavest oziroma samozavedanje je denimo nekaj, česar UI še nima. Jo oziroma ga lahko doseže?

To vsekakor je mejnik. Kaj je zavest, sicer ne vemo. Mislim, da bo, preden bo – če bo – umetna inteligenca dosegla zavest, obdobje, ko nas bo na kvantitativnih razmišljajočih področjih presegala. To se že dogaja. Na veliko področjih ima znanje na ravni doktorskih študentov. Ni pa še originalna. Nima še svojih uvidov. Nikakor se še ne zaveda, to bo, če bo, prišlo zadnje.

Pred nami je zlata doba, ko se bodo s pomočjo UI zgodili res veliki premiki v znanosti, medicini. Zelo se bo povečala produktivnost.

Ta tehnologija ima potencial, da poganja ekonomijo in razvoj za naslednjih nekaj let. Res je, da se bodo kot pri vsaki revoluciji zgodili družbeni premiki. V nekaterih sektorjih bo UI zamenjala ljudi oziroma se bo število ljudi zmanjšalo. Namesto da bi v podjetju imeli deset računalniških inženirjev, bosta le dva ali eden. Pozorni pa moramo biti, da teh modelov ne spustimo v sfere, kjer bi bila centralizacija moči prevelika. To so zelo močna orodja.

Raziskave morajo voditi k družbenim razpravam in potem v regulativo. Še vedno pa menim, da nam bo UI na kratki rok prinesla veliko dobrega.

FOTO: Shutterstock   

Pred kratkim ste objavili študijo o zmogljivosti UI, v kateri ste pokazali, da »so prvič v zgodovini stroji sposobni rekurzije v jeziku, kar je ena redkih lastnosti jezika, ki jih ne najdemo pri živalih«. Kaj to pomeni?

To je pomembno predvsem, ker v nečloveškem jeziku do zdaj tega nismo videli. Tudi jezikovni modeli rekurzije in metalingvističnih sposobnosti (oziroma govoriti o jeziku z jezikom) niso obvladali. Najlažje to ponazorimo s primerom stavka: Je jezero na otoku na jezeru na otoku na jezeru na otoku … Ta stavek lahko neskončno povečujemo in umetna inteligenca lahko natančno definira stavčne strukture. Modeli so bili natrenirani na mnogo jezikih in so jih sposobni izvajati na najvišji ravni. Torej, da stavek analizirajo in mu dodajajo plasti.

S to ugotovitvijo se odvzema še ena ekskluzivnost človeškega jezika. Za zdaj smo to preučevali le na angleščini, bilo bi zanimivo pogledati še druge jezike, da bi videli, koliko jezika mora model poznati, da ga zna. Smo si pa v raziskavi izmislili jezik in tudi tu je model dobro opravil rekurzijo.

Gre za metakognicijo: ne le da je model opravil dejanje, bil ga je sposoben analizirati. Kar je pravzaprav pomemben mejnik.

Kaj pa ta ugotovitev pomeni za urjenje same UI?

Nedavno so raziskovalci iz Appla izdali študijo, da modeli s sposobnostjo simuliranega sklepanja (angl. large reasoning models) niso tako dobri, kot pravijo njihovi razvijalci, oziroma na neki točki začnejo svoje logične naloge opravljati slabo. Mislim, da so ugotovitve nekoliko pretirane.

Z našo študijo, ki je sicer s področja jezikoslovja, omogočamo vpogled v notranje delovanje velikih modelov. Jezikoslovje je lahko okno za raziskovanje, ali so najkompleksnejše operacije odvisne od tega, koliko slojev, koliko povezav ima model, kako je zgrajen. Jezik je lahko test za inteligenco. Naslednji korak v raziskavi bo, ali je od velikosti modela odvisno, kako kompleksno stavčno strukturo je sposoben sestaviti.

Študirali ste jezikoslovje, kako ste se nato znašli na področju UI?

Res, začel sem s študijem primerjalnega jezikoslovja, ukvarjal sem se z rekonstrukcijo protojezikov, ki so se govorili pred več tisočletji. Za raziskave UI so zelo pomembni različni vidiki in pogledi. V študijah mrtvih jezikov sem se zavedal, kako pomembne so izjeme. Naj dam konkreten primer izjeme v slovenščini: sklanjanje besede kri. Ta izjema lahko zelo veliko pove o jeziku, zgodovini in njegovem razvoju, več kot kakšna beseda, ki se sklanja bolj pravilno.

Tudi pri UI nam lahko kakšna izjema ali pa napaka, ki jo model naredi, veliko pove o notranjosti modela.

Po drugi strani pa se ukvarjate z jeziki živali, predvsem kitov.

Kiti so res posebna vrsta.

Morda so moje raziskave videti nepovezane in nenavadne, a v ozadju gre za temeljna vprašanja: kaj je človeška inteligenca, kaj je človek, kaj je jezik. Ne da bi raziskovali živali, na to ne moremo odgovoriti.

Jezikoslovci so se v preteklosti takšnih raziskav branili, toda med študijem protojezikov se je izkazalo, kako dober uvid v takratno družbo so jeziki.

Kiti glavači so za nas neka oddaljena inteligenca, živeča v oceanih. V določenih pogledih so nam podobni: oblikujejo družine, zelo pomembne so babice, med seboj si pomagajo pri vzgoji. Po drugi strani pa imajo z nami le malo skupnega: ne pijejo, torej ni koncepta žeje, ni tal, ni neba, spijo vertikalno po 15 minut na dan.

Z raziskavami živalske komunikacije sem začel v sodelovanju z Irene Pepperberg, ki je pionirka na tem področju in velik navdih za vse nas. Ona je pokazala res neverjetno inteligenco papig. Po naključju je dobila papigo Alexa, ki je znal šteti, razlikoval je med oblikami in barvami.

Nato se mi je zgodilo najboljše možno nadaljevanje kariere, ker sem se vključil v preučevanje kitov. O njih sicer vemo zelo malo, težko jih je preučevati. Do njihove komunikacije smo ubrali podoben pristop, kot če bi zdaj do nas prišli inteligentni vesoljci. Mimogrede, ta študija je navdihnila tudi ameriško mladinsko knjigo. Torej, uporabili smo našo nevronsko mrežo, našega prej opisanega dojenčka, da je sama odkrivala značilnosti, ki so pomembne v človeškem jeziku, čeprav ni imela nobenih predpostavk o človeškem jeziku. Pravzaprav se vsak otrok sreča z »vesoljščino«, ko se rodi, so zanj jeziki povsem brez pomena.

Model smo nato učili klike, ki jih uporabljajo kiti. Med drugim smo ugotovili, da so kliki bolj kot morsejevi abecedi podobni našim samoglasnikom.

Kiti glavači so za nas neka oddaljena inteligenca, živeča v oceanih. V določenih pogledih so nam podobni: oblikujejo družine, zelo pomembne so babice, med seboj si pomagajo pri vzgoji. Po drugi strani pa imajo z nami le malo skupnega: ne pijejo, torej ni koncepta žeje, ni tal, ni neba, spijo vertikalno po 15 minut na dan. FOTO: Cati/Amanda Cotton   

Veliko se govori, da bo ravno umetna inteligenca pomagala razumeti govor živali, da bo delovala kot prevajalnik.

Mogoče res. Vendar kot jezikoslovec s tem ne bom zadovoljen. Že res, da bi lahko tako vedeli pomen določenih klikov, vendar mene zanima predvsem, kako kompleksen je ta jezik, kako kompleksna je njihova komunikacija.

Pogosto me vprašajo, ali imajo tudi živali jezik. Vendar pravzaprav ne znamo niti točno odgovoriti, kaj je jezik. Bolje je pogledati, kakšne so lastnosti človeškega jezika, kakšne so lastnosti pri živalih, kakšne pri umetni inteligenci. Rekurzija je bila ena teh stvari, ki je do zdaj ni bilo nikjer drugje, pa smo jo mi pokazali pri UI.

Do zdaj smo dognali, da je komunikacija kitov glavačev bolj podobna človeški komunikaciji, kot smo mislili. Še bolj je kompleksna, kot smo menili. To pa odpira pravna in etična vprašanja. Tako je nastal članek v sodelovanju s pravnikom Césarjem Rodríguezom-Garavitom z newyorške univerze, v katerem obravnavamo vprašanje, kaj to pomeni za njihov pravni in etični položaj. Je za kompleksno misel ali pa za samozavedanje pogoj jezik ali je jezik le kanal med mojo kompleksno mislijo in drugim posameznikom?

V tem članku načenjamo pomembno temo o zaščiti živali. Če bi pokazali, da je njihova komunikacija jezik, bi lahko to pomenilo pravno revolucijo. Ob tem pa seveda ugotavljamo še druge značilnosti, kot je skupna skrb za potomce. Veliko kitov in delfinov tudi žaluje za umrlimi. Skratka, jezikoslovna dognanja vsekakor odpirajo etična in pravna vprašanja.

In znova pridemo do že prej omenjenega vprašanja, v čem je človek pravzaprav tako poseben.

V srednjem veku je bil na vrhu piramide bog, renesansa je na vrh postavila človeka, zdaj smo spet na točki, ko se edinstvenost oziroma unikatnost človeka začenja prevpraševati.

Če bo silicijeva inteligenca še napredovala, se bo naš sistem vrednot zagotovo spremenil, biološka inteligenca bo imela drugačen pomen. Za zdaj UI še nima čustev, nima lastnih ciljev, ni originalna.

Raziskave ste razširili še na slone.

Včasih pravimo, da so kiti sloni oceanov. Tudi sloni imajo zanimive družinske povezave, otroci dolgo ostanejo pri materi, to so vse znaki visoke inteligence. Če nam bo uspelo pokazati, da človek ni tako poseben, menim, da bi se lahko bolj povezali z naravo, začeli bi razmišljati, da smo del mozaika in ne gospodarji. Zelo slabo prepoznavamo nečloveško inteligenco in težko je izstopiti iz človeških predstav. Na primer: percepcija časa, kiti ga doživljajo drugače kot mi. Ravno pri tem bi lahko pomagala umetna inteligenca, saj bi lahko izstopila iz človeških predstav in predsodkov.

»Če vse temelji le na velikosti in učinkovitosti možganov, potem imamo lahko problem in se je nadaljnjega razvoja UI treba lotiti previdno.« FOTO: Jože Suhadolnik  

Je umetna inteligenca zgolj orodje ali je že preskočila to mejo?

Je še orodje, ni pa to enostavno orodje. Uporabljam najboljše modele, gre za visoko raven procesiranja podatkov, manjka le originalna misel. Učim jezikoslovje, pa mislim, da na skoraj nobeno vprašanje ne odgovorim več bolje kot UI.

Prav zato v ospredje prihaja humanistični vidik. Podjetja že najemajo ljudi, da si izmišljujejo nove realnosti. Internet je omogočil družbena omrežja, a nekdo si jih je moral izmisliti. UI odpira še več možnosti.

Na Berkeleyju se že pogovarjamo, kako graditi univerzo, kakšna je prihodnost univerze. Jezikovni modeli so zelo dobri učitelji, od njih lahko dobijo študenti znanje na personaliziran način, ni jim treba čakati in spraševati profesorjev. Univerza ni več edini hranitelj znanja. Ko govorim s študenti, pravijo, da pa potrebujejo osebnostno rast, človeške povezave, in to univerza lahko ponudi. Vsekakor bomo morali visokošolski učitelji vključiti novo realnost v pouk. Sam to že delam, pogosto imam na predavanjih odprt velik jezikovni model in ga analiziramo.

Kako sicer gledate na uporabo te tehnologije v osnovnih šolah oziroma tudi uporabo pametnih naprav?

Kar se tega tiče, sem pa zelo konservativen. Čim kasneje telefon v roke otrok. Zelo sem previden tudi pri uvajanju UI. Kolegica je lepo povedala: če uporabljaš UI za pisanje spisa, je podobno, kot če bi nekoga drugega poslal v fitnes, da dela vaje namesto tebe.

Pisanje je miselni proces. Ko pišeš, se rojevajo nove ideje. Ta fitnes je za mlade možgane zelo potreben. Tanka je meja, da UI uporabljaš v svoj prid oziroma v škodo. V mladih letih, ko se razmišljanje šele razvija, je prej v škodo.

V nekoliko kasnejšem obdobju pa bi podprl uporabo UI, da bi videli, česa ne zmore, ker tam so poklici prihodnosti. Nikakor ne smemo preveč stvari prepustiti UI, ker bo človeška inteligenca nazadovala.