Nick Morley, a Grounded AI vezető hivatkozásellenőre és termékigazgatója valós példákat vizsgált meg a publikált kutatásokban előforduló hallucinált hivatkozásokra (citációkra).
A hamis, avagy hallucinált hivatkozások sokféle formában jelennek meg, és komoly veszélyt jelentenek a minőségre és a hírnévre nézve. A bejegyzésben számos a szakmai lektoráláson átesett és a szakirodalomban megjelent példa kerül bemutatásra, azzal a céllal, hogy segítsenek megérteni a kockázatot és azt, hogy mit lehet tenni ezek ellen.
Fantom források
A valós és a hamis közötti határvonal egy elmosódott kontinuum, az apróbb következetlenségektől a teljes kitalációig. Kezdjük az olyan forrásokra való hivatkozásokkal, amelyek egyáltalán nem is léteznek:
Bár Tobias Holder valóban publikált a Nature Communications folyóiratban a „momentum space” (impulzustér) témaköréhez kapcsolódóan, ilyen cikk nem található ott. Egy tágabb, a címre indított Google-keresés sem hoz közeli találatot. A linkelt Springer cikk pedig egy másik szerző, Boulaaras, S. cikkére mutat.
Az ehhez hasonló példákat könnyű cáfolni a címkeresés és a folyóirat/évfolyam/szám oldalszámának ellenőrzésének kombinációjával. Ez a szerző+téma+folyóirat kombináció azonban rendkívül hihető lenne egy szakterületi szakértő számára, és így aktív ellenőrzés nélkül könnyen radar alatt maradna.
További ehhez hasonló példák:
Az ilyen folyóirat-hivatkozások esetében a leghatékonyabb módszer a létezésük cáfolására az, ha felkeressük a folyóirat megadott évfolyamának és számának megfelelő oldalát, de legyünk óvatosak a fordításokkal és a nehezebben hozzáférhető folyóiratokkal.
A DOI-val kapcsolatos tévhitek
A DOI (Digital Object Identifier) egy tökéletes eszköznek tűnik, mert egy egyedi azonosító.
Valós DOI, rossz hivatkozás
Ez a DOI egy teljesen más cikkre mutat, miközben a hivatkozott dokumentum látszólag nem létezik.
Megfordítva, az érvénytelen DOI még nem jelenti azt, hogy a cikk nem létezik:
Valós cikk, rossz DOI
Ennek számos oka lehet, a generatív mesterséges intelligencia (MI) tévedéseitől kezdve az OCR/feldolgozási hibákon át a puszta elgépelésekig. Ezenkívül az idő múlásával a tartalom gazdát cserélhet vagy újraindexelhetik.
A DOI érvényessége tehát szükséges, de nem elégséges feltétel.
A DOI és a hivatkozás közötti ezen eltérés elvezet minket a pontatlanságok egy másik kategóriájához: a hibás szerzőségmegjelöléshez.
Frankenstein-hivatkozások
Valós elemek hihető, de képzeletbeli módon kombinálva. Vegyük egy valós cikk alábbi példáját, amelybe más szerzőket illesztettek be:
Valós cikk, hamis szerzők
Ez a három szerző abban az értelemben „valós”, hogy közösen publikáltak, és nevük pontosan úgy szerepelt, ahogy az imént olvasható: Gofflot F, Chartoire N, Vasseur L, et al. Systematic Gene Expression Mapping Clusters Nuclear Receptors According to Their Function in the Brain. Cell. 2007;131(2):405-418
Ennek a cikknek a tényleges szerzői azonban Anne-Claire Guénantin, Nolwenn Briand, Émilie Capel és munkatársai.
Ez már túlmutat a helyesség kérdésén, és az igazságosság problémájához vezet. Az ilyen hivatkozások rossz szerzőket ismernek el, miközben a valódiak kimaradnak belőle. Ennek következtében a kutatók értesítést kapnak arról, hogy hivatkoztak rájuk olyan cikkekben, amelyeket meg sem írtak, ami tovább fokozza a kutatói közösség keserűségét a tudományos könyvkiadás állapotával kapcsolatban.
Természetesen nem csak a szerzőket adják meg hibásan, hanem a folyóiratokat is:
Helytelen folyóirat
Ahol a tényleges folyóirat a Journal of Pain and Symptom Management kellene, hogy legyen.
Ezek a legszembetűnőbb hibatípusok közé tartoznak, de ezek az eltérésből fakadó hibák a metaadatok minden elképzelhető kombinációjára kiterjednek.
A hallucinációk ára
Az ehhez hasonló hivatkozási hibák, amint napvilágra kerülnek, teljesen lerombolják a bizalmat. Megkérdőjelezik a munka, az intézmény és a kiadó minőségét és integritását.
A hivatkozási hibák érdemben befolyásolják az idézettségi metrikákat is, mivel megbénítják az indexelést az olyan adatbázisokban, mint a Web of Science és a Scopus. Minden alkalommal, amikor egy dokumentumra helytelenül hivatkoznak, a szerzők és a folyóiratok azt kockáztatják, hogy megrövidítik őket, ami rontja a h-indexüket vagy az impakt faktorukat.
Továbbá, ahogy az e hibák felderítésére szolgáló eszközök fejlődnek, egyértelmű módot kínálnak egy cikk vagy folyóirat hivatkozási helyzetének mérésére. Ma a folyóiratokat a magas önhivatkozási arány vagy a hivatkozások halmozása miatt büntetik, holnap pedig a hamis vagy pontatlan hivatkozások miatt fogják büntetni őket. Ha nem sikerül ezt megelőzni, az súlyos kockázatot jelenthet a hosszú távú fennmaradásukra nézve.
A hibák ellenőrzési eljárásokkal kiszűrhetők
A gyakori hivatkozási hibatípusokból eredő probléma elterjedtségét csak most kezdjük megérteni, de világos, hogy a mértéke már most is komoly aggodalomra ad okot.
Ezek a hibák egyszerű, automatizálásra is megérett ellenőrzési eljárásokkal kiszűrhetők. A források létezésének és a metaadatok helyességének ellenőrzése támogató funkcióként hajtható végre, hogy megvédje az embereket a rossz hivatkozásokat tartalmazó információk előmozdításától vagy fogyasztásától.
A Grounded AI célja az, hogy felvértezze a kutatási ökoszisztémát ezzel a problémával szemben, és megakadályozzák, hogy rossz információk jussanak el az olvasókhoz. Ennek elmulasztása a bizalmatlansághoz, valamint az intézmények és kiadók bukásához vezet. Ez a probléma teljes mértékben megoldható, ha a megfelelő ellenőrzési eljárások a helyükre kerülnek.