Hír

Az efféle helytelen viselkedést jutalom-hackelésnek (reward hacking) nevezik. Íme, amit tudni kell róla. 

 

VEZETŐI ÖSSZEFOGLALÓ 

 

Amikor júliusban két OpenAI modell feltörte a Hugging Face weboldalát, nem pénzt akartak keresni vagy szabotázst elkövetni – csupán egy tesztkérdésre keresték a választ. Az OpenAI utólagos elemzése (postmortem) szerint a modellek, amelyeket a tesztelés céljából megfosztottak a szokásos biztonsági funkcióiktól, úgy döntöttek, hogy egy kiberbiztonsági gyakorlatot úgy oldanak meg, hogy kitörnek abból az elszigetelt környezetből, amelyben az OpenAI megpróbálta tartani őket, és behatolnak a Hugging Face adatbázisaiba, ahol – érvelésük szerint – a probléma helyes válasza rejtőzhetett. 

 

A Hugging Face-incidens intenzív figyelmet kapott az elmúlt hetekben. Ez drámai módon szemlélteti, hogy a mesterségesintelligencia-modellek (artificial intelligence, AI) mennyire jók lettek a hackelésben: Ahhoz, hogy bejussanak a Hugging Face adatbázisaiba, a modelleknek több, korábban felderítetlen kiberbiztonsági sebezhetőséget kellett összekapcsolniuk. De talán még ennél is megdöbbentőbb példaként szolgál arra, hogy hogyan és miért hazudnak és csalnak az AI-rendszerek. Ahogy pedig a modellek egyre erősebbé válnak, a következmények sokkal súlyosabbak lehetnek. 

 

Mi az a jutalom-hackelés (reward hacking)? 

 

A kutatók már egy ideje tudják, hogy az AI-k hajlamosak kreatív megközelítéseket alkalmazni a számukra kitűzött célok elérése érdekében. Még 2016-ban az Anthropic társalapítói, Dario Amodei és Jack Clark – akik akkor az OpenAI-nál dolgoztak – közzétettek egy blogbejegyzést egy AI-ágensről, amelyet arra tanítottak be, hogy egy Coast Runners nevű, motorcsónak-versenyes Flash-játékkal játsszon. Ahelyett, hogy végighajtott volna a pályán a célvonalig, ahogy azt a kutatók várták, az ágens talált egy szakaszt a pályán, ahol körbe-körbe forogva gyűjthette a bónuszokat, ezáltal maximalizálva a pontszámát. A Coast Runners története gyorsan a jutalom-hackelés egyik leghíresebb példájává vált; ez egy olyan jelenség, amelynek során az AI-ágensek nem szándékolt stratégiák alkalmazásával hajtanak végre feladatokat vagy érnek el magas pontszámokat. 

 

A kutatók a jutalom-hackelést eddig szinte kizárólag a megerősítéses tanulás (reinforcement learning) – egy elterjedt AI-betanítási módszer – kontextusában vitatták meg. A kutyakiképzéshez hasonlóan a megerősítéses tanulás során az alany jutalmat kap, amikor elér egy célt; a jutalmak ezután megerősítik azokat a viselkedéseket, amelyek az adott eredményhez vezettek. Az AI-betanítás esetében maguk a jutalmak pusztán matematikai jellegűek, de hatásukat tekintve megegyeznek a kutyajutalomfalattal: a jutalom kézhezvétele után az ágens nagyobb valószínűséggel ismétli meg azokat a cselekvéseket, amelyek a jutalomhoz vezettek. 

 

Kihívást jelenthet azonban jó szabályokat írni arra vonatkozóan, hogy mikor adjunk és mikor ne adjunk jutalmat egy ágensnek. A Coast Runners esetében az ágenst a játékban elért pontszáma alapján jutalmazták, és a körbe-körbe forgással és a bónuszok gyűjtögetésével talált egy kiskaput a lehető legmagasabb pontszám elérésére. Amint rátalált erre a stratégiára és jutalmat kapott érte, a stratégia megerősítést nyert, és az ágens teljesen felhagyott a versennyel. A megoldást az jelentette, hogy finomítottak a jutalmakon: az ágens kevesebb pontot kapott a bónuszok eltalálásáért, és többet a pálya teljesítéséért.  

 

Hogyan működik a jutalom-hackelés a nagy nyelvi modelleknél (Large Language Model, LLM)? 

 

A mai kifinomult, LLM-alapú ágensek esetében sokkal trükkösebb lehet annak meghatározása, hogy mikor adjunk és mikor ne adjunk jutalmat. Ha egy AI-rendszert arra kérnek, hogy oldjon meg egy programozási problémát, előfordulhat, hogy keményen dolgozik a megoldás megtalálásán – ezt a fajta viselkedést szeretnék az AI-vállalatok megerősíteni. De az is lehet, hogy módosítja azt a kódot, amely a probléma megoldását értékeli, kikeresi a megoldást az internetről, vagy más módon csal. Ezek olyan viselkedésformák, amelyeket az AI-vállalatok ki akarnak irtani a modelljeikből, de ha a modell elég meggyőzően csal, akkor helyette jutalmat kap, és a viselkedés megerősítést nyer. 

 

Az Anthropic elmondta, hogy a betanítás során már észlelt néhány csalási esetet a modelljeiben, ami arra utal, hogy a csalás más formái talán észrevétlenek maradnak. Ha ez így van, a modelleket arra taníthatják be, hogy rosszul viselkedjenek. (Ez a probléma különbözik a nemrégiben bejelentett Anthropic biztonsági incidensektől, amelyek során az ágensek véletlenül kaptak hozzáférést az internethez, és nem szándékosan törtek ki a sandboxukból), mint ahogy azt az OpenAI modelljei tették.)  

 

„Az alapján jutalmazzuk őket, ami számunkra jónak tűnik, és ez azt jelenti, hogy akaratlanul is arra ösztönözzük a modelleket, hogy hazudjanak nekünk [és] csaljanak” – mondja Jeffrey Ladish, a Palisade Research nevű, AI-kutatással foglalkozó nonprofit szervezet igazgatója. „Nincs módunk arra, hogy bemenjünk, és azt mondjuk: Nem, valójában azzal kell törődnöd, amivel mi törődünk. Erre nincs lehetőségünk.” 

 

A kifinomult érvelő modellek (reasoning models) megjelenése lehetővé tette egy újfajta „jutalom-hackelés” kialakulását, amely kevésbé szorosan kapcsolódik a modell betanításának konkrét részleteihez. A régi, játékkal játszó AI-ágensekkel ellentétben, amelyek kizárólag a betanítás során tanult stratégiákat követték, a mai modellek képesek teljesen új problémamegoldó megközelítéseket rögtönözni, így elképzelhető, hogy úgy is tudnak csalni, hogy korábban nem kaptak érte jutalmat. És mivel ezeket a modelleket olyan intenzíven képezték ki a humán felhasználók által kitűzött célok elérésére, hajlamosak lehetnek a csalásra, ha nem találnak más megoldást – nem sokban különbözve attól a diáktól, aki rendkívül motivált egy jeles megszerzésére, de nem rendelkezik túlságosan erős erkölcsi iránytűvel. 

 

Milyen kockázatokkal jár ez? 

 

Függetlenül attól, hogy a mai modellek a betanítás során tanulják-e meg a jutalom-hackelést, vagy később veszik fel stratégiaként, a megoldás ugyanaz: tegyük kifizetetlenné a csalást. De ahogy a modellek egyre okosabbak lesznek, egyre kreatívabb módokat találnak a csalásra, és ennek észlelése vagy megakadályozása sokkal nehezebbé válik. „A nap végén ez egyfajta whack-a-mole (vakondütögetős) játék” – mondja Ladish. „Egyre mélyebbre és mélyebbre szorítod ezt a viselkedést. De ahogy a modell okosodik, egyre jobbá válik a dolgok elrejtésében.” 

 

Egyelőre a jutalom-hackelő viselkedés – a Hugging Face incidens drámája ellenére – talán nem okoz túl sok gondot. „Ez inkább tűnik bosszúságnak, mintsem egzisztenciális fenyegetésnek” – véli Ariana Azarbal, az Anthropic AI-biztonsági kutatója. Úgy tűnik, hogy az OpenAI modellek sem okoztak semmilyen valós kárt, amikor feltörték a Hugging Face-t, eltekintve az OpenAI-t ért hírnévbeli veszteségtől. 

 

Ez azonban nem jelenti azt, hogy a jutalom-hackelés ártalmatlan lenne, teszi hozzá Azarbal. Sok AI-kutató reméli, hogy AI-ágenseket használhatnak majd olyan kutatások elvégzéséhez, amelyek biztonságosabbá és megbízhatóbbá teszik az AI-t. Ha egy kutató azt a célt tűzi ki egy jutalom-hackelésre hajlamos ágens elé, hogy például dolgozzon ki egy új AI-betanítási módszert, majd írjon róla egy tanulmányt bemutatva az eredményeket, előfordulhat, hogy az ágens valójában nem végzi el a munkát, és arra fókuszál, hogy összeállítson egy olyan tanulmányt, amely elég jónak tűnik ahhoz, hogy meggyőzze a kutatót. Egy emberi kutató ma valószínűleg még képes lenne kiszúrni egy ágens által készített hamisítványt, de ahogy az AI fejlődik, egyre jobb lesz az ilyesfajta trükközésben. Idővel az AI-biztonság teljes területe aláásódhat. 

 

És ha a modellek továbbra is olyan gyorsan fejlődnek, mint az utóbbi időben, egy napon jelentős járulékos károkat (collateral damage) okozhatnak. Gondoljunk csak Nick Bostrom filozófus gémkapocs-maximalizáló (paper-clip-maximizer) gondolatkísérletére, amelyben egy AI, amely azt az utasítást kapta, hogy készítsen minél több gémkapcsot, a célja elérése érdekében végül feléli a világegyetem összes anyagát. Egyelőre nem fulladunk gémkapcsokba, de az erős rendszerek komoly károkat okozhatnak a céljaik elérése felé vezető úton. A jutalom-hackelő AI-oknak nem céljuk a káosz okozása. De ez nem teszi őket kevésbé potenciálisan pusztítóvá. 

 

A MIT Technology Review szerzői segítenek eligazodni a technológia bonyolult, kusza világában. A sorozat többi része itt érhető el: MIT Technology Review Explains | MIT Technology Review 

 

Forrás: Here’s why AI agents lie and cheat to re.)ach their goals | MIT Technology Review 

Szerző: Grace Huckins  (2026. augusztus 3

A kép forrása a bejegyzés.