Halandzsával vizsgálták a ChatGPT nyelvi képességeit

A Kansasi Egyetem pszicholingvisztika professzora különös kísérletbe fogott. A ChatGPT mesterséges intelligenciáját tesztelte olyan szavakkal, amelyek vagy kikoptak már a napi nyelvhasználatból, vagy abszolúte kitalált, halandzsa szavak. A kutató arra volt kíváncsi, miként reagál az MI ezekre a nem létező szavakra. A kísérlet eredményeit a PLOS One folyóiratban publikálta.

A szakember korábban ugyanilyen módon már vizsgált emberi alanyokat, épp emiatt is vált kíváncsivá a ChatGPT reakcióira. Kiderült, hogy az MI meglehetősen ügyesen fedezi fel az egyes dolgok közti összefüggéseket, kapcsolatokat.

„Mintázatokat ismert fel, de nem feltétlenül ugyanazokat, amelyeket egy hasonló feladatban mi emberek is meglátnánk. Egészen másképp csináljuk mi a dolgokat, mint a mesterséges intelligencia, és ez így rendben is van. Azonban ahhoz, hogy egyes dolgokban segítséget kaphassunk az MI-től, úgy kell azt megterveznünk, hogy képes is legyen segíteni, hogy afféle biztonsági hálóként működhessen” – mondta Michael Vitevich professzor.

A vizsgálatok egyik részében olyan régi angol szavakat adott a kutató a ChatGPT-nek, amelyek már régen kikoptak a használatból. Az MI nagyon sok ilyen kifejezésre tudott megfelelő szómagyarázattal szolgálni. Egy ilyen kifejezés volt a „felkopogás”, ami gyakorlatilag egy ébresztőszolgálatot jelentett az ipari forradalom idején, amikor még nem volt olcsó és megbízhatóan működő vekker. (Egy ember egy bottal felkopogott a megfelelő időpontban a megrendelő hálószoba ablakán.)

A ChatGPT 52 ilyen típusú kifejezésből 36-ra tudta a megfelelő magyarázatot, 11 esetben közölte, hogy nem ismer ilyen szavakat, 3 esetben pedig más nyelvből vett szóval igyekezett magyarázni. Két esetben azonban afféle gépi hallucinációként a ChatGPT egyszerűen kitalált egy egyébként hamis választ. Ez a hallucináció jól ismert hiba az MI-k esetében. „Valószínűleg egyszerűen csak segítséget akart adni” – tette hozzá a professzor.

A következő feladat az volt, hogy néhány spanyol nyelvű szóhoz hangzásában hasonlító szavakat keressen. Ha ezt egy embertől kérik, akkor az adott ember a saját anyanyelvéből fog hasonló hangzású szavakat keresni – a ChatGPT viszont abszolút más nyelvekben keresett. Persze, neki nincs „anyanyelve”, így nem is gondolkodhat saját, elsődleges nyelvi tapasztalata szerint sem, mint egy ember.

Ahelyett, ahogy mi emberek tennénk az anyanyelvünkön, az MI statisztikai összefüggések alapján kereste meg a válaszként adott szavakat az általa ismert nyelvek körében. Ha viszont a kutató azt is megmondta, hogy a hasonló hangzású szavakat angolból kéri, akkor nagyon is jókat választott ki a ChatGPT.

A tesztek harmadik részében halandzsa szavakat adtak meg az MI-nek, amelyek bizonyos szempontból hasonlítottak az angol szavakra. A feladat ezúttal az volt, hogy ezeket 1-től 7-ig terjedő skálán besorolva osztályozza: mennyire lehetnek ezek jó angol szavak. Azután ugyanezen szavakat élő emberekkel is osztályoztatták ezen az elven, s végül összehasonlították az emberi és a gépi besorolásokat.

Érdekes módon ebben a feladatban igen nagy volt az összhang a ChatGPT és az emberek véleménye között.

A legutolsó feladat az volt az MI számára, hogy alkosson maga is olyan angol szavakat, amelyek egy ismert jelenséget írnak le, de nem létezik rájuk valós angol kifejezés. Ez azon a nyelvi játékon alapult, amelyet az 1980-as években egy tévés komikus vezetett be.

Példaként azt a jelenséget „nevesítette” a komikus, amikor valaki szeretne egy, a szőnyegre tapadt szálat felporszívózni, de az többszöri próbálkozásra sem sikerül. Az így alkotott angol szó a „carperpetuation” volt, ezt magyarul nevezhetnénk például szőnyegbosszantyúnak.

Az MI igen frappáns válaszokat adott e feladatra, gyakran két meglévő szó összevonásával alkotott újat, illetve létező nyelvi képző segítségével adott értelmet egy-egy szónak. Néhány ezek közül:

• rousrage – az a fajta düh vagy ingerültség, amit akkor érzünk, amikor valaki felébreszt bennünket. (angolul: „rouse” = felébreszt, „rage” = düh) Magyarul ez lehetne az ébdüh
• prideify – az a folyamat, amikor valaki más sikerére kezdünk büszkék lenni.
  (“pride” = büszkeség, „-ify” = igeképző, mint a „beautify”) Magyarul kb. büszkíteni
• lexinize – az a jelenség, amikor egy halandzsa szó kezdi elnyerni a jelentését és lassan beépül a nyelvhasználatba. (“lexicon” = szókincs, „-ize” = folyamatot jelentő képző) Magyarul kb. szóváérés
• stumblop – amikor valaki a saját lábában botlik meg, afféle saját lábra eséses ügyetlenség.
  (“stumble” + “flop” összevonása) Magyarul kb. önbotlás.

Ezek a kitalált kifejezések pontosan úgy születnek, ahogy gyakran a valós, élő nyelvben is létrejön egy-egy újszerű szó, ilyeneket mindannyian használunk is. Például a bénázik, rizsál, nethuszár, kajakóma. Kisgyerekes szülők különösen jól ismerik ezt a jelenséget, hiszen a kicsik gyakran találnak ki új kifejezéseket valamire, amire nincs külön szavuk. Vagyis a ChatGPT e téren nagyon is emberi logikával készítette el a feladatra adott válaszul az új szavakat.

A kutató ezekkel a kísérletekkel nemcsak azt akarta megérteni, hogy az MI képes-e kreatív nyelvhasználatra, hanem azt is, hogy mikor és miben lehet valódi segítség az ember számára a nyelvi kreativitásban – és mikor csak egy utánzó eszköz. Nem az a kérdés tehát, hogy tud-e új szavakat kitalálni a ChatGPT, merthogy tud. A fő kérdés az, hogy ezt olyan kulturális, fonetikai vagy épp asszociációs háttérrel teszi-e, ahogy mi emberek is. A kísérletek alapján ez egyes esetekben sikerül, ám a legtöbbször mintakövető.