A Nyelvtechnológiai kutatócsoport jogelődje a Korpusznyelvészeti Osztály 1997-ben alakult, az akkor már néhány éve zajló nyelvtechnológiai kutató-fejlesztő munka formális elismeréseként. A kutatócsoport azóta jelentős kutatási és fejlesztési tapasztalatot halmozott fel a nyelvtechnológia számos területén: kiemelkedő eredményeket ért el nyelvi erőforrások építésében, nyelvtechnológiai eszközök fejlesztésében és újabban nyelvmodellek tanításában is.

A 2010-es években bekövetkező tudományági paradigmaváltások komoly hatással voltak a kutatócsoportban folyó munkálatokra. A meghatározó nemzetközi kutatásokat követve létrehoztuk az elsősorban angolra kifejlesztett neurális nyelvmodellek magyar változatait. Ez kezdetben statikus szóbeágyazásokat jelentett, ám mostanra már rendelkezünk számos transzformer-alapú illetve generatív kontextuális nyelvmodellel is. Ilyen többek között a HILBERT, amely egy BERT-Large nyelvmodell, valamint a PULI-GPT-3SX (6.7  paraméter), a GPT-3 magyar verziója. A kutatócsoport jelenlegi tevékenységének központi eleme az utasításkövető modellek fejlesztése: ennek keretében hoztuk létre a ParancsPULI illetve a PULI LlumiX 32K Instruct modelleket. A nyelvmodellekhez kapcsolódó egyéb specifikus alkalmazásaink ezen a demóoldalon próbálhatók ki.

Másik kiemelt törekvésünk, hogy olyan magyar nyelvű teszt-adatbázisokat, ún. benchmark-korpuszokat hozzunk létre, amelyek egy webszolgáltatásba ágyazva lehetővé teszik a neurális háló alapú technológiák egyszerű, ugyanakkor többszempontú kiértékelését valamint ezen eredmények összehasonlítását és közzétételét. Ebből a célból elkészült a Hungarian Language Understanding Evaluation Benchmark Kit (HuLU), az angol nyelvre kidolgozott GLUE és SuperGLUE teszt-adatbázis infrastruktúra mintájára. Emellett folyamatban van a generatív nyelvmodellek kiértékelésére szolgáló eljárások kidolgozása is.

Lassan már közhely számba megy, hogy nagy mennyiségű és kiegyensúlyozott nyelvi adat nélkül a nagy nyelvi modellek nem képesek megragadni az egyes nyelvi szintek azon kulcsfontosságú mintázatait, amelyek az emberi kommunikáció alapvető jellemzői. Egy kiegyensúlyozott korpusz a nyelvi jelenségek széles körét lefedve lehetővé teszi, hogy a nyelvmodellek  különböző témájú és stílusú szövegeket is megértsenek. Vagyis a rendelkezésre álló nyelvi adatok mennyisége és minősége közvetlen hatással van a nagy nyelvi modellek minőségére és sokoldalúságára. 

A nyelvtechnológiai kutatócsoport csaknem 20 éves tapasztalattal rendelkezik a korpuszépítés terén: a 2005-ben elkészülő 187,6 millió szavas reprezentatív, határon túli nyelvváltozatokat is tartalmazó Magyar Nemzeti Szövegtár volt az első nagyobb ilyen jellegű szöveges adatbázis a magyarra. A 2014-ben közre adott MNSZ2, az MNSZ továbbfejlesztett változata, nemcsak majdnem tízszer több szövegszót tartalmaz (1.5 Mrd), hanem új, fontos szövegtípusokat is lefed, mint például a közösségi média. Továbbá, a nyelvi elemzés minősége is sokat javult elődjéhez képest.

Mivel az MI rendszerek hatékonysága és sikeressége nagymértékben függ az adat mennyiségétől és minőségétől, a digitális világban az adat egyre értékesebbé válik: az adat teszi lehetővé a gépi tanulási algoritmusok számára, hogy tanuljanak, előrejelzéseket készítsenek és intelligens döntéseket hozzanak.

Ez a felismerés is motiválja jelenleg is folyó korpusz-építési munkálatainkat:  az MTA által kiírt Tudomány a Magyar Nyelvért Nemzeti Program 3. alprogramjának részeként célunk már egy 10 Mrd szavas magas minőségű és gazdagon annotált korpusz létrehozása az MNSZ2 stílusrétegeinek megőrzésével.

További kiemelt célunk nagy nyelvi modellek előtanításához szükséges szöveges adatok gyűjtése is. Ezt a Common Crawl magyar nyelvű szöveges tartalmainak feldolgozásával hozzuk létre. A Common Crawl egy nonprofit szervezet által létrehozott nyílt adat repozitórium, amely weboldalak rendszeres aratásával nagy mennyiségű szöveges tartalmat tesz hozzáférhetővé az Amazon Web Services-en keresztül.

A Tudomány a Magyar Nyelvért Nemzeti Program 2. alprogramja azt a célt tűzte ki, hogy nyelvtechnológiai eszözök bevonásával az MTA Könyvtár REAL repozitóriumának anyaga a jelenleginél hatékonyabb módon kutathatóvá váljon. A pdf szövegek tartalmának feldolgozhatóvá tétele most is zajlik: a tudományos publikációk óriási tömegének tartalmát tesszük könnyen kereshetővé a pdf alakból automatikusan kinyert metaadatok (pl. szerzők, affiliációk, névkifejezések, terminológia) segítségével. Azt reméljük, hogy REAL repozitórium tartalmának feldolgozása nemcsak a különböző tudományterületeken dolgozó kutatókat segíti a gyűjtemény használatában, de potenciálisan bármely felkészült érdeklődőt is.

A kutatócsoport munkatársai az évek során számos eszközt is kifejlesztettek. Ezek közül az egyik legjelentősebb a helyesírás.mta.hu – Helyesírási tanácsadó portál, amely azért jött létre, hogy a magyar helyesírás bizonyos területein automatikus eszközök felhasználásával segítse az írásukra igényes érdeklődőket. A 2013-ban az MTA segítségével útjára bocsátott Helyesírási tanácsadó portál akkor korszerű nyelvtechnológiai módszerei azonban mára elavulttá váltak, és a portál megérett a felújításra mind a szoftverplatform, mind pedig a módszertan és az ügyfélközpontúság terén. A felújítási  munkálatok jelenleg is folyamatban vannak.

Meg kell említeni az e-magyar nyelvi elemzőláncot illetve ennek továbbfejlesztett, modularizált utódját, az emtsv-t is, amelyek természetes nyelvi szövegek széleskörű elemzését teszik lehetővé.

A kutatócsoport közreműködött a WordNet lexikai adatbázis magyar változatának létrehozásában is. A HuWordNet három éves munka eredményeként készült el, és a magyar szóállományt térképezi fel jelentéstani szempontból: a szinonim szavakat és a köztük lévő relációkat egyaránt tartalmazza.

A nyelvi erőforrások, alkalmazások és korpuszok mellett a kutatócsoport a gépi fordítással is foglalkozott. A kutatás célja a saját angol-magyar nyelvpárra létrehozott transzformer-alapú gépifordító-rendszer továbbfejlesztése volt többnyelvű irányba, hogy az ne csak két nyelv közötti fordítás elvégzésére legyen alkalmas, hanem több bemeneti nyelvről fordítson egy vagy akár több nyelvre. A meglévő rendszerek magyar központú fordítási minőségének javítása is kiemelt feladataink közé tartozott.

Kutatócsoport-vezető: Héja Enikő, PhD E-mail: urwn.ravxb@alghq.uh Telefon: +36 (1) 3429372 / 6043

*A befejezett pályázatok egy részletesebb listája itt található.