Hír

A Finn Nemzeti Könyvtár automatikus katalogizálási csapata, amely leginkább az Annif automatikus indexelő eszközről ismert, egy új eszközt mutat be a bibliográfiai metaadatok automatikus kinyerésére. Ez a BIBRA szoftver első, 0.1.0-s verziójú kiadása. Az eszköz nyílt forráskódú, fejlesztése pedig a GitHubon követhető. A projekt célja, hogy hatékony és rugalmas megoldást nyújtson a metaadatok kezeléséhez, javítva az adatok minőségét és a használhatóságát. 

A BIBRA Python-csomagként, valamint előre összeállított Docker-képfájlként is elérhető (https://pypi.org/project/bibra/, https://quay.io/repository/natlibfi/bibra).

 

Ez egy korai, még kezdetleges verzió, amely a metaadatok egyedi PDF-dokumentumokból történő kinyerésének alapjait mutatja be két különböző, kisméretű (~4 milliárd paraméteres), nyílt súlyozású nyelvi modell, egy egyszerű webes és parancssori felület, valamint egy kezdeti REST API segítségével. A kiadással kapcsolatos további részletek a hivatalos GitHub-oldalon olvashatók.

A későbbi kiadások során a BIBRA fejlesztése tovább folytatódik. A BIBRA a következőket fogja kínálni: 

- Metaadatok kinyerése többféle módszerrel, beleértve a különböző nyelvi modelleket és vizuális-nyelvi modelleket.

- Többféle bemeneti típus támogatása, köztük PDF-fájlok, képek (például címlapfotók) és egyszerű szöveges fájlok.

- Értékelési funkció, amely az eszköz kimenetét egy „aranystandardhoz” (például professzionálisan katalogizált dokumentumokhoz) viszonyítja.

- Külső integrációk: authority kontrol és egyeztetése.

- Web-alapú felhasználói felület a metaadatok kezelésére.

- REST API a más rendszerekkel való zökkenőmentes integrációhoz.

 

Fejlesztési háttér és közösségi együttműködés

 

A BIBRA fejlesztése különböző mesterségesintelligencia (AI)- és nagynyelvimodell (LLM)-alapú eszközök segítségével történik, főként nyílt forráskódú eszközökkel, amelyeket nyílt súlyozású LLM-ek támogatnak. Mivel új kódbázisról van szó, a fejlesztők kezdetektől fogva be tudták integrálni a mesterséges intelligencia eszközöket a fejlesztési folyamatokba, és jelenleg is folyamatosan tesztelik, hogy milyen megközelítések és eszközök működnek a legjobban. Teljes felelősséget vállalnak a kódbázisért, és kiváló kódminőségre törekszenek, a bevált gyakorlatokat követve, mint például a részletes kódfelülvizsgálatok, a következetes kódstílus, a teljes egységteszt-lefedettség és a felhasználók számára elérhető funkciók automatizált, végpontok közötti tesztelése.

A fejlesztőcsapat örömmel veszi az együttműködést, a visszajelzéseket és az ötleteket, mivel a közösséggel való szoros munka már az Annif esetében is rendkívül értékesnek bizonyult. A BIBRA mellett a Finn Nemzeti Könyvtár a jövőben is folytatja az Annif és a Finto AI párhuzamos fejlesztését.

 

Forrás: [ai4lam] newsletter

A kép forrása: Homepage - Ai4lam