Hír

Az olyan eszközök, mint a ChatGPT, a Claude és a Gemini, gyorsan az információkhoz vezető út új alternatíváivá válnak. Azok számára, akik a magas minőségű adatokhoz való hozzáférés demokratizálásán dolgoznak, ez valós lehetőség: a nagy nyelvi modellek (LLM) segíthetnek abban, hogy az emberek könnyebben nyerjenek ki összefüggéseket a nyilvános adatokból, méghozzá olyan eszközökön keresztül, amelyeket már eleve használnak.

De vajon mennyire jól kezelik az LLM-ek a nyilvános adatokon alapuló kérdéseket?

Az Urban Institute 100 kérdést állított össze szülők, érdekvédők, kutatók, adatelemzők, a Capitolium munkatársai, valamint oktatási vagy karrier-tanácsadók szemszögéből, 10 különböző oktatási és munkaerőpiaci témában, amelyeket feltettek az LLM-eknek (GPT-5.2, Claude Sonnet 4.5 és Gemini 3 Flash). Minden promptot önálló lekérdezésként küldtek el, egyedi rendszerprompt, beszélgetési előzmények vagy az egyes modellek által alapértelmezetten biztosított eszközökön túli egyéb hozzáférés nélkül – szimulálva azt az alapértelmezett (out-of-the-box) élményt, amelyben egy tipikus felhasználónak 2026 elején része lett volna.

Ebből a tesztből négy jelentős korlátot azonosítottak a jelenlegi LLM-ek teljesítményében a válaszok pontosságával és hasznosságával kapcsolatban:

• a modellek jól elmagyarázták a fogalmakat, de nehézséget okozott nekik a konkrét adatok visszakeresése és felhasználása;
• a helytelen információkat nehéz volt felismerni;
• a modellek nem a feltett kérdésekre válaszoltak;
• a modellek megfelelő forrásokhoz és eszközökhöz irányítása nem javította az eredményeket.

Ezek az eredmények nem korlátozódnak kizárólag az oktatási és a munkaerőpiaci pályaadatokra. Bármely szervezet, amely nyilvános adatokat kezel – például integrált adatrendszerek, szövetségi statisztikai programok vagy városi nyílt adatportálok –, valószínűleg hasonló hiányosságokkal szembesül. Ahogy a mesterséges intelligencia (MI) átalakítja azt, ahogyan az emberek megtalálják és felhasználják a nyilvános információkat, az ezen rendszerek által nyújtott eredmények minősége a mögöttük álló adatinfrastruktúrától függ. Annak biztosítását, hogy az infrastruktúra „MI-kompatibilis” (AI ready) legyen, az fogja meghatározni, hogy az MI kiterjeszti-e a megbízható nyilvános adatokhoz való hozzáférést, vagy éppen rombolja azt.

A modellek jól elmagyarázták a fogalmakat, de nehézséget okozott nekik a konkrét adatok visszakeresése és felhasználása.

Amikor egy kifejezés definiálására vagy az adatok megtalálásának általános leírására kérték őket, a modellek gyakran pontos, hasznos válaszokat adtak. A minőség azonban jelentősen romlott, amikor a kérdések konkrét adatok lekérését igényelték, például egy adott iskola beiratkozási adatait vagy egy adott programban végzettek jövedelmét. A minőség még tovább romlott azoknál a feladatoknál, amelyek kód vagy egyéb artefaktumok generálását igényelték.

Értékelés során az általános kérdésekre adott válaszok 17 százaléka tartalmazott kritikus pontossági hibákat, míg a konkrét iskolákra vagy intézményekre vonatkozó kérdéseknél ez az arány 58 százalék volt, a kódgenerálást kérő promptok esetében pedig 79 százalék.

A modellek inkább másodlagos jelentésekre támaszkodtak, mintsem az ezek alapjául szolgáló adatkészletekre. Ezek a jelentések gyakran elegendőek voltak az átfogó kérdésekhez, de elavult válaszokhoz vezettek az olyan kérdéseknél, amelyek frissebb adatokat igényeltek. A modellekből hiányzott az a specifikusság is, amely az eszközök közvetlen eléréséhez vagy a konkrét helyekkel, intézményekkel vagy időszakokkal kapcsolatos kérdések megválaszolásához szükséges.

A helytelen információkat nehéz volt felismerni.

A modellek mindegyike ugyanolyan precizitással és hitelességgel mutatta be a pontatlan statisztikákat, mint a helyeseket. A modellek még a pontatlan adatok esetében is megnevezett adatforrásokra hivatkoztak, strukturált táblázatokban jelenítették meg azokat, és magabiztosan állították azokat. A hivatkozások gyakran olyan tartalmakra mutattak, amelyek nem támasztották alá a nekik tulajdonított állításokat, és a hivatkozásokat tartalmazó válaszok sem voltak nagyobb valószínűséggel pontosak, mint azok, amelyek nem tartalmaztak ilyet.

Az LLM-ek rutinszerűen azt tanácsolják a felhasználóknak, hogy ellenőrizzék az általuk szolgáltatott információkat, de az ellenőrzés olyan hivatkozásokon alapul, amelyek elég specifikusak ahhoz, hogy visszakövethetők legyenek. Az értékelésben szereplő hivatkozások gyakran nem ilyenek voltak: több mint 60 százalékuk tartalmazott olyan hivatkozási hibákat, amelyeket értékelőink jelentősnek vagy kritikusnak minősítettek. A tesztben részt vevő szakértők gyakran sok időt töltöttek azzal, hogy megpróbálják visszakövetni az állításokat a forrásukig. A szakterületi ismeretekkel nem rendelkező felhasználók számára ez az ellenőrzés lényegesen időigényesebb és sok esetben kivitelezhetetlen lenne.

A modellek nem a feltett kérdésekre válaszoltak.

Ahelyett, hogy jelezték volna a bizonytalanságot, a modellek hajlamosak voltak általános ismeretekkel helyettesíteni a konkrét válaszokat. Amikor a Northern Virginia Community College beiratkozási adatairól kérdezték őket, mindhárom modell azt válaszolta, hogy az csökken, ami összhangban van az országos trenddel, de pont az ellenkezője annak, ami valójában történik. A modellek a promptokba ágyazott hamis előfeltevéseket is elfogadták. Egy dallasi általános iskola csökkenő tanulói létszámára vonatkozó kérdés magyarázatokat generált a feltételezett csökkenésre, annak ellenére, hogy az iskola tanulói létszáma nagyjából stabil maradt.

A modellek megfelelő forrásokhoz és eszközökhöz irányítása nem javította az eredményeket.

Amikor a promptok kifejezetten arra utasították a modelleket, hogy az Urban Institute oktatási adatportálját (Education Data Portal) vagy az Education-to-Workforce Framework Data Tool-t használják, a modellek felismerték a forrásokat, de ritkán fértek hozzájuk helyesen. Ehelyett adatkészleteket találtak ki, nem létező csomagnevekre hivatkoztak, és olyan adatokat közöltek, amelyek nem az általuk megnevezett forrásokból származtak.

Azon promptokra adott válaszok közül, amelyek a modelleket az Urban eszközeinek használatára irányították és kódot kértek, több mint 80 százalék tartalmazott olyan hibákat, amelyeket az értékelőik kritikusnak minősítettek. Az Urban adateszközei erős alapot kínálnak az általunk tesztelt kérdések megválaszolásához, de csak akkor, ha a modellek helyesen tudnak hozzájuk férni.

Mit jelentenek ezek a megállapítások az adatszolgáltatók számára?

Ezek a megállapítások nem feltétlenül jelentik azt, hogy az LLM-eket nem szabad a nyilvános adatokat érintő feladatokra használni – de megkérdőjelezik az LLM-ek ezen kérdésekre adott válaszainak megbízhatóságát, amennyiben az egyszerű chat-interakciókon keresztül, további konfiguráció nélkül történik. Ennek a szakadéknak az áthidalása változtatásokat igényel abban az adatinfrastruktúrában, amelyre a modellek támaszkodnak.

A legtöbb nyilvános adatrendszert arra építették, hogy weboldalakon és dokumentációkon navigáló emberi felhasználókat szolgáljanak ki, nem pedig arra, hogy MI-rendszerek fedezzék fel és használják őket. Ha ezt a hiányosságot nem kezelik, a modellek gyakran olyan válaszokat adnak, amelyek hitelesnek tűnnek, de nem azok. Azzal, hogy a helytelen információkat konkrét eszközöknek tulajdonítják, a modellek azt kockáztatják, hogy aláássák a bizalmat azokban a forrásokban, amelyek valóban a megfelelő adatokkal rendelkeznek.

Az értékelésből származó mintázatok olyan konkrét beruházások irányába mutatnak, amelyeket most az Education Data Portal és az Education-to-Workforce Framework Data Tool esetében alkalmaznak. Ez a munka része annak az adatszolgáltatók körében egyre növekvő törekvésnek, amely a nyilvános adatok MI-kompatibilissé (AI ready) tételére irányul, és amelyet a szövetségi statisztikai hivatalok, városi önkormányzatok és a különböző területeken átívelő adatplatformok új keletű munkája is formál.

Forrás: AI Is Becoming a Go-To for Data Questions. How Reliable Are the Answers? | Urban Institute
A kép forrása a cikk.