Miről szól ez a projekt?
A projekt célja, hogy a magyar tudományos szövegek (például cikkek, disszertációk és monográfiák) digitális feldolgozásával a magyar tudomány eredményeit széles körben kereshetővé és elérhetővé tegye, és ezáltal új kutatási lehetőségeket teremtsen.
A munka során az MTA Könyvtár és Információs Központ REAL (Repository of the Academy’s Library) nevű gyűjteményében található dokumentumokat elemzik a legkorszerűbb nyelvtechnológiai eszközökkel. Ennek hozadékaként nemcsak a tudományos eredmények láthatóságát növelik, hanem a szövegek feldolgozásával a repozitórium mint tudományos korpusz segít a magyar tudományos nyelv működésének megértésében.
Mi az a repozitórium?
A repozitórium egy digitális gyűjtemény, ahol különféle tudományos anyagokat tárolnak, rendszereznek és tesznek hozzáférhetővé. A REAL egy ilyen repozitórium, amely a magyar tudományos élet fontos dokumentumait gyűjti össze és teszi elérhetővé a kutatók és az érdeklődők számára.
Mire jó ez egyáltalán?
A projekt több szempontból is hasznos:
- javítja és bővíti a szövegekhez tartozó metaadatokat (pl. szerző, cím, dátum),
- lehetővé teszi a tudományos szakkifejezések és fogalmi kapcsolatok (terminológiai hálózatok) feltérképezését,
- segíti az egyes tudományterületek nyelvhasználatának elemzését,
- automatikusan kinyeri a hivatkozásokat, ami támogatja a tudománymetriai vizsgálatokat,
- hosszabb távon a projekt hozzájárul a magyar tudományosság láthatóságának és hozzáférhetőségének növeléséhez.
Ez különösen fontos a humán- és társadalomtudományokban, ahol sok esetben a magyar a fő publikációs nyelv, így ezek a kutatások gyakran kevésbé láthatók.
Hogyan történik a szövegek előkészítése és feldolgozása?
A feldolgozás több lépésben zajlik, automatizált nyelvtechnológiai eszközök segítségével:
- a szövegek digitalizálása,
- a szöveg nyelvének felismerése,
- alapvető metaadatok kinyerése (pl. cím, szerző, keletkezési idő),
- bibliográfiai hivatkozások automatikus azonosítása,
- a szöveg tudományterületi besorolása,
- szakkifejezések (terminológia) kinyerése,
- a szövegek részletes nyelvi elemzése.
Hosszabb távon a projekt célja a magyar tudományosság láthatóságának és hozzáférhetőségének növelése egy olyan integrált digitális ökoszisztéma révén, amely összekapcsolja a nyelvtechnológiát, a digitális bölcsészetet és a nyílt tudomány infrastruktúráit.
Nemzetközi vizeken – milyen előzményekre támaszkodhatunk?
A projekt nemzetközi előzményei közé több, olyan egymással is összefüggő kutatási és infrastruktúra-fejlesztési irány is tartozik, amelyek célja a tudományos szövegek digitális feldolgozása, a nemzeti nyelvek technológiai támogatása, valamint a nagy nyelvi erőforrások létrehozása és hasznosítása.
A tudományos kommunikáció digitalizációja nemzetközi szinten is jelentős lendületet kapott a nagy tudományos repozitóriumok (pl. arXiv, PubMed Central, OpenAIRE, CORE) megjelenésével, amelyek lehetővé tették a tudományos szövegek gépi feldolgozását és nagyléptékű elemzését. E repozitóriumokra épülő kutatások kimutatták, hogy a strukturálatlan, heterogén forrásokból származó tudományos szövegek esetében kulcsfontosságú az OCR-hibák javítása, a szövegtisztítás, a duplikátumok kiszűrése és az egységes szövegfeldolgozási pipeline kialakítása – különösen kisebb nyelvek esetében, ahol az elérhető nyelvi erőforrások korlátozottak.
A nagyméretű nyelvi modellek (LLM-ek) fejlesztésének nemzetközi trendjei (pl. OpenAI, Google DeepMind, Meta AI) világossá tették, hogy a magas minőségű, nyelvspecifikus korpuszok stratégiai jelentőségűek a digitális nyelvi technológiák fejlődése szempontjából. A nagy nemzetközi adatbázisok, mint a Clarivate/Web of Science vagy a JSTOR, 2024-ben vezették be saját, mesterséges intelligenciára épülő szolgáltatásaikat. Ezek sokat segítenek a kutatóknak, de a működésük részletei nagyrészt nem nyilvánosak.
A többnyelvű modellek mellett egyre nagyobb hangsúlyt kapnak a kisebb nyelvekre optimalizált modellek és benchmarkok, amelyekhez elengedhetetlen a gondosan előkészített, doménspecifikus (pl. tudományos) szövegállomány.
A projekt szorosan illeszkedik azokhoz a nemzetközi kutatási irányokhoz is, amelyek a tudományos szövegek automatikus feldolgozását célozzák (scholarly text mining, NLP for science). Az olyan kezdeményezések, mint a S2ORC (Semantic Scholar Open Research Corpus) vagy a Europeana és az OpenAIRE kutatási infrastruktúrái, azt demonstrálták, hogy a tudományos szövegek korai, forrásközeli feldolgozása (OCR-korrekció, strukturális szegmentálás, nyelvi annotáció) jelentősen növeli a későbbi NLP-feladatok (információkinyerés, terminológia-azonosítás, szemantikai keresés) hatékonyságát.
Az elmúlt másfél évtizedben világszerte kiemelt szerepet kaptak a határokon átívelő nyelvi infrastruktúrák, amelyek a nemzeti nyelvek erőforrásait teszik elérhetővé. Az olyan nemzetközi kezdeményezések, mint a CLARIN (Common Language Resources and Technology Infrastructure) és a DARIAH (Digital Research Infrastructure for the Arts and Humanities) azt a célt szolgálják, hogy a humán- és társadalomtudományok számára fenntartható, interoperábilis nyelvi és szöveges adatbázisok álljanak rendelkezésre. Ezek a projektek rámutattak arra, hogy a nemzeti tudományosság digitális támogatásának alapfeltétele a jól strukturált, tisztított és metaadatolt szövegkorpuszok létrehozása, valamint azok szabványosított feldolgozása.
Összességében A magyar nyelv digitális támogatása a magyar tudományosság szolgálatában című projekt nemzetközi szinten a digitális bölcsészet, a kutatási infrastruktúrák, a tudományos szövegbányászat és a nagyméretű nyelvi modellek fejlesztésének metszéspontjába illeszkedik. Újdonsága abban ragadható meg, hogy a nemzetközi trendekkel összhangban, de kifejezetten a magyar tudományos szövegkorpusz sajátosságaira építve valósít meg end-to-end szöveg-előkészítési és nyelvi feldolgozási folyamatot, amely hosszú távon a magyar tudományos diskurzus digitális hozzáférhetőségét és gépi feldolgozhatóságát erősíti.