Jelnyelvet oktató AI-technológiát teszteltek gyerekek

Tizenöt Funside School-os gyerek érkezett az őszi szünet egyik délelőttjén a SignAll Technologies bázisára, hogy teszteljék a siketek és hallók kommunikációját forradalmasító magyar fejlesztésű technológiát. Az amerikai jelnyelvet valós időben angolra fordítani képes mesterségen intelligencián alapuló technológia gyakorlatilag készen áll.

A fejlesztők most felnőttek után gyerekekkel is tesztelik a rendszer oktató modulját, a Learn ASL-t, hiszen az ő mozdulataikat, testarányaikat is fel kell tudnia ismernie a jövőben a technológiának. A programozást és angol nyelvet tanuló gyerekek számára pedig fontos bekukkantani egy technológiai startup kulisszái mögé: mindaz, amit ma ők még játékosan tanulnak, a jövőben értékes munkaerő-piaci tudás lesz.

A SignAll 20 fős csapata az utóbbi 3-4 évben megalkotta a működő prototípusát annak a technológiának, amely forradalmasíthatja a kommunikációt a siketek és a hallók között. Más projektekkel ellentétben ez a fejlesztés nem csupán felismeri a jelnyelv jeleit, hanem a világon elsőként a jelnyelvi mondatokat angol nyelvre le is fordítja. Eddig a felnőtt korosztály volt a fókuszban, most azonban a fejlesztők a Funside School délutáni iskolában programozást és angolt tanuló gyerekeket hívták meg a jelnyelvet oktató modul tesztelésére.

A gyerekek testméretének, mozdulatainak kalibrációja után a jelelést tanító oktatóprogram egyszerű kifejezéseket tanított a gyerekeknek, akik aztán maguk mutatták meg, hogy mit hogyan jelelnének el. A technológia helyes működéséhez egyelőre elengedhetetlen egy színes kesztyű viselése – ebből képes a szerkezet kitalálni, hogy milyen pozíciót vesz fel a kéz egy-egy jelelés során.

A fejlesztés mind munkahelyi, mind a magánéletben használható lesz. „Fejlesztésünk elsőként az egységesen amerikai jelnyelvet használó USA piacára készülhet el, ahol az esélyegyenlőség kapcsán magas a társadalmi érzékenység. A legkiválóbb fejlesztőkkel és nyelvészekkel bővülve további jelnyelveket is tervezünk feldolgozni” – mondta korábban Robotka Zsolt, a SignAll Technologies Zrt. alapítója. „Szeretnénk minél szélesebb körben, a fiatalabb generációk számára is segítséget nyújtani az amerikai jelnyelv elsajátításához. A Funside School diákjaival töltött délelőtt megerősített minket abban, hogy termékünk készen áll az új kihívásokra” – mondta Metzger Réka, a SignAll projektmenedzsere és nyelvész kutatója.

A gyerekek tesztelését nyomon követték a SignAll kutatói, feljegyezték milyen jeleket milyen pontossággal ismer fel a rendszer, miben kell finomhangolni a fejlesztést. „Angolt és informatikát is oktató 21. századi délutáni iskolaként fontosnak tartjuk azokat az együttműködéséket, melyek segítségével a gyerekek megismerkedhetnek vadonatúj, 21. századi fejlesztésekkel, technológiákkal, érzékenyítő foglalkozásokon vehetnek részt, és hogy mindeközben az angol nyelvet is gyakorolhatják, külön öröm számunkra” – mondta Kittka András, a Funside School egyik alapítója, aki arról is beszélt, hogy a mai tudatos generáció számára fontos megmutatni, hogy mindaz, amit ma játékosan megtanulnak programozás és robotizáció foglalkozásokon, felnőttkorukban milyen karriernek lehet az előszobája.

Az egész délelőtt zajló tesztelések közben a gyerekek érzékenyítő foglalkozásokon vehettek részt: a SignAll siket és halló munkatársai beszéltek nekik az együttélés alapvető szabályairól, arról hogy miként lehet megfelelő kommunikációt teremteni hallók és siketek között, jelnyelvi filmeket nézhettek, még Harry Potter egyik kalandját is követhették jelnyelvi tolmácsolásban. Mind a SignAll, mind a Funside School szakemberei hisznek abban, hogy a gyerekekhez minden téma közel hozható, minden iránt nyitottá és érzékennyé tehetők, csak a koruknak megfelelő gamifikációs eszközöket kell tudni helyesen alkalmazni.

A fejlesztés egyelőre az amerikai jelnyelv (ASL) angol hangzó nyelvre történő fordítására képes, de folyamatban van a fordított irányú, azaz hangról jelnyelvre történő fordítás megoldása is, valamint tervezik a projekt kiterjesztését a magyar jelnyelvhasználók számára megoldást nyújtó alkalmazás megvalósítására.

Nem ez az első alkalom, hogy a Funside-os gyerekek találkoztak a jelnyelvvel: még 2015-ben a Funside Balaton táborában felállították a dalszöveg jelelés magyar rekordját, melyet azóta sem szárnyalt túl senki: akkor 264-en jeleltek egyszerre egy popslágert.

Szöveg: LWp Kommunikáció

Fotó: Pfeiffer Veronika