Számos olyan Twitch streamer tűnt fel a színen az elmúlt években, akik a legkülönbözőbb kontrollerekkel próbáltak videojátékokat végigjátszani. Azon már meg sem lepődünk, ha valaki a Dark Soulst egy szimulátorhoz szánt kormánnyal, banánból készült kontrollerrel, táncszőnyeggel, vagy épp hangvezérléssel próbálja végigvinni, sőt már arra is akadt példa, hogy valaki az aranyhalát képezte ki arra, hogy képes legyen végigjátszani a Fromsoftware legendás játékát. De még ezt is lehet fokozni.
Az eszközök és szoftverek pusztán gondolat általi vezérlése már évtizedek óta foglalkoztatja a kutatókat és a geek társadalmat egyaránt, a technológia gyakorlati megvalósítása azonban elképesztően komplex, így látványos áttörést még nem sikerült elérni. Aztán jött egy huszonéves kanadai lány, aki mindent megváltoztatott.
A tudomány és a játékok találkozása
Perri Karyal pszichológiát tanult az egyetemen, a diplomamunkájában pedig azzal foglalkozott, hogy potenciálisan hogyan javíthatják a látást és az észlelést a videojátékok. Mivel nagyon érdekelte a téma és láthatóan a nézői is vevők voltak rá, egyre gyakrabban beszélt erről a streamjeiben, és szerette volna azt is megmutatni követőinek, milyen hatással vannak bizonyos videojátékok az agyra. Sokan próbálkoztak már azzal, hogy pulzusmérővel ülnek le játszani, így a nézők látják, hogyan reagál a szívük például egy ijesztő jelenetre, de olyan még nem nagyon akadt, aki az agyi működését is a nagyvilág elé tárta volna.
Mielőtt átállt az agyhullámokra, Perri az énekhangjával irányította a játékokat.
Perri azonban szerzett egy EEG-t (elektroenkefalográf), ami a koponyára helyezett elektródák segítségével képes mérni az agyban végbemenő elektromos aktivitást. Az eszközt mentális és alvási zavarok vizsgálatánál használják a hétköznapokban, Perri azonban vásárolt egyet otthonra, és azzal kezdett kísérletezni, hogy megmutassa, milyen reakciót vált ki belőle például egy jump scare pillanat egy horrorjátékban.
A streamer igyekezett mindig egyre többet kihozni az eszközből és a technológiából, így jött rá, hogy a szoftver képes eltárolni az agyhullámokat. A gépi tanulás és némi programozás segítségével elkezdett azon dolgozni, hogy a különböző agyhullámokat felismertesse, aztán ezeket inputként alkalmazva úgy használja, mintha egy kontrolleren nyomogatná a gombokat. A szoftver megjegyzi és később felismeri, hogy milyen elektromos aktivitást vált ki, ha Perri egy adott dologra gondol.
Nehezebb, mint gondolnád
Nem elég azonban olyan, egyszerű dolgokra gondolni, mint hogy "ugrás" vagy "gyógyulás", hiszen ezek nagyon sok más tevékenységre is hasonlíthatnak a valóságban, az agyunk képes azonnal másra gondolni, a figyelmünk elterelődik, így Perri a gyakorlatban sokkal konkrétabb gondolatokra építette az irányítást. Van, hogy gondolatban egy tányért pörget maga előtt egy pálcikán, míg máskor valami nagyon nehéz dolgot próbál eltolni. Ezek olyan képek, olyan gondolatok, amelyekre képes hosszabb ideig fókuszálni, és amelyeket így az eszköz is könnyebben felismer. Aztán - hogy a szoftvernek is megtanítsa ezeket - elkezdett újra és újra az adott gondolatra koncentrálni, több tíz órán keresztül tréningezve az algoritmust, hogy képes legyen felismerni a mintázatokat.
A speciális gondolatokat nagyon jól el tudja különíteni a gép.
A tanítás olyan jól ment, hogy az Elden Ring főbossát már képes volt úgy legyűrni, hogy kizárólag az iránygombokat nyomta a kontrolleren, mindent mást az elméjével vezérelt. Más játékokban teljesen elhagyta a tradicionális vezérlőket, és giroszkóppal valamint szemkövetéssel kezdte el kontrollálni a karaktert. 2023-ban elképesztően sok játékban kipróbálta magát, a virtuális valóságba ültetett címektől kezdve a kompetitív lövöldékig, és bár nyilvánvalóan nincs még ott reszponzivitásban, ahol egy kontrollerrel irányító tapasztalt játékos, komoly sikereket ért el.
Sőt, 2024 elején egy Super Smash Bros. meccset már úgy nyert meg, hogy semmilyen kiegészítő kontrollert nem használt, mindent kizárólag az elméjével vezérelt, a mozgástól az ütésekig. De természetesen rávetette magát a tömegek által imádott, a Nintendo által pedig minden oldalról ostromlott Palworldsre is, ami az eddigi legkomplexebb projektje.
Bár csak az iránygombokat kell nyomni, a sebessége miatt a Pac-Man nem könnyű játék aggyal.
Mit hoz a jövő?
A technológiában nagyon komoly potenciál van, Perri követőbázisa pedig megsokszorozódott az elmúlt egy év alatt, így aztán esze ágában sincs leállni az őrült projektekkel. Egyrészt elkezdett már agyalni egy olyan e-sport verseny kidolgozásán, amelynek résztvevői kizárólag az agyhullámaikkal irányíthatnák a karaktereket, de ennél sokkal fontosabb az akadálymentesítés.
Az elmúlt években láttuk, hogy a nagy konzolgyártók, a Microsoft és a Sony is elkezdett testreszabható, akadálymentesített kontrollereket piacra dobni, de ezek sem minden esetben elegendőek ahhoz, hogy valaki átélhesse a videojátékok csodáját. A játékfejlesztők is igyekeznek mindent megtenni annak érdekében, hogy a lehető legkönnyebben befogadható legyen ez a médium, de egyértelműen látszik, hogy nagyon hosszú út áll még előttük, amíg tényleg bárki megtapasztalhatja, milyen is játszani. Addig pedig szükség van az ilyen projektekre, amik felhívják a figyelmet a technológiában rejlő lehetőségekre.
