Soha nem látott lehetőségek az adatpiacon - Honnan szerezzünk hiteles adatokat az MI korában?

Az elmúlt évtizedek technológiai változásai, a digitális ökoszisztéma átalakulása lehetővé tette olyan, új adatforrásokra építő elemzések és előrejelzések készítését, amelyek hatékonyan segítik az evidencia alapú szakpolitikai és üzleti döntéshozatalt, hozzájárulva így a gazdasági és társadalmi fejlődéshez. Korábban a statisztikai hivatalok monopol helyzetben látták el ezt a feladatot hagyományos adatfelvételi és feldolgozási módszerekkel. Azonban a digitalizáció elterjedésével, illetve az új, nagy adatvagyonnal rendelkező szereplők megjelenésével ez az egyeduralmi helyzet megszűnt. Ugyanakkor az adatrobbanással új lehetőségek is nyíltak,

a statisztikák előállításához olyan alternatív – adminisztratív vagy magánkézben lévő – adatforrások állnak rendelkezésre, mint az online pénztárgép-, a mobilcella- vagy a kameraadatok.

Ezek azonban jellemzően nem statisztikai céllal jöttek létre, így esetenként strukturálatlanok, nem reprezentatívak, ezért hivatalos statisztikai felhasználásuk innovatív adatfeldolgozási és technológiai megoldásokat igényel. A felmerülő adatvédelmi kérdések megfelelő kezelése érdekében transzparens adathasználati szabályok kialakítása is szükséges, amelyek koherens szabályozói környezettel biztosítják a személyes adatok védelmét, és egyértelműen meghatározzák a hivatalos statisztikai célú adatfelhasználás jogi kereteit. A hagyományos adatgyűjtési módszerek, mint például a kérdőíves felmérések, a válaszadói hajlandóság csökkenésével egyre kevésbé képesek kielégíteni a felhasználói igényeket, ami még inkább felértékeli az alternatív adatforrások jelentőségét.   

Kameraadatok statisztikai felhasználása

A KSH a Nemzeti Útdíjfizetési Szolgáltató Zrt.-től kapja meg azokat a kameraadatokat, amelyeket a határátkelőhelyek közelében elhelyezett berendezések rögzítenek. Ezek az adatok kiindulópontot jelentenek a turizmusstatisztika alapsokaságának meghatározásában, vagyis abban, hogy becsülni lehessen, honnan és hányan érkeznek hazánkba, illetve távoznak Magyarországról a közutak igénybevételével. Összességében a kamerás rendszámadatok nemcsak a jelenlegi turizmusstatisztikai becslésekhez hasznosak, hanem egy sokkal szélesebb körű elemzési potenciált is magukban hordoznak: gazdasági következtetések vonhatók le belőlük, regionális fejlesztési döntéseket alapozhatnak meg, illetve előrejelzések alapjául is szolgálhatnak.

Adatvagyon-gazdálkodás Magyarországon

A Központi Statisztikai Hivatal, amely közel 160 éve Magyarország legnagyobb adatvagyon-kezelője, egyre inkább épít az új típusú adatforrásokra, biztosítva az adatok minőségét és etikus felhasználását.

Ahhoz, hogy megfelelően kielégíthessük a felhasználói igényeket, a hivatalos statisztikában multidiszciplináris megközelítésre van szükség. Az adatösszekapcsolások, a mesterséges intelligencia alkalmazása, az automatizált adatfeldolgozás lehetővé teszik a pontosabb és részletesebb statisztikai termékek gyors előállítását

– mondta a Portfolio-nak Bóday Pál, a KSH szakértője. Ennek megfelelően a jövő statisztikai hivatala alternatív adatforrásokra, modern technológiákra, valamint innovatív módszertani eljárásokra támaszkodva szolgálja a tényalapú döntéshozatalt és a társadalmi párbeszédet.

A KSH megújuló adatstratégiájának legfontosabb elemei:

• a széles körű felhasználói igényeket kielégítő, mindenki számára elérhető, korszerű tájékoztatás,
• a lerövidült piacra kerülési idők,
• a mikroadatokhoz való kutatói hozzáférés erősítése,
• a kísérleti statisztikák közzététele, ami lehetővé teszi a felhasználói igények gyorsabb és hatékonyabb kielégítését,
• nagyobb horderejű projektek, mint a többforrású, gyakori rendszerességgel frissülő Virtuális Magyarország (VIMA) komplex statisztikai rendszere.

Virtuális Magyarország (VIMA)

A projekt fő célkitűzése egy országos társadalmi-gazdasági információs rendszer létrehozása, amely folyamatos, kvázi valós idejű adatokat tud szolgáltatni a gazdaság és a társadalom állapotáról. A VIMA a KSH adatvagyonának hasznosítását új szintre emeli, integrálva a hivatal rendelkezésére álló adatbázisok, elsődleges és másodlagos adatforrások lehető legszélesebb körét. A projekt jelenlegi fázisában a VIMA alrendszereinek és adatmodelljeinek működőképességét ellenőrzik és fejlesztik, ezt követően pedig az automatikus működés elindítása következhet.

A szolgáltatói szemlélet erősítése a hivatalos statisztikában

A felhasználói igények minél magasabb szintű kielégítése érdekében szükséges a tájékoztatási termékek, kiadványok, adatvizualizációk és lekérdezési felületek modernizálása a felhasználói visszajelzések figyelembevételével. Megbízható, időszerű, átlátható és mindenki számára elérhető, a gépi olvashatóságot biztosító, a gép és gép közötti kommunikációt támogató (API), az MI adta lehetőségeket kihasználó, korszerű tájékoztatásra van szükség.

A KSH szolgáltatói szemléletének további aspektusa az adatszolgáltatók terheinek csökkentése. „Kiemelt cél, hogy az adatszolgáltatóknak csak egyszer kelljen megadniuk adataikat – azaz érvényesüljön a „once-only” elv –, majd a közigazgatás különböző szereplői közötti interoperabilitás révén biztosítsuk az adatok többszöri felhasználhatóságát” – tette hozzá Bóday Pál. Az adatszolgáltatói terhek csökkentésének elengedhetetlen feltétele, hogy a KSH ne csak az adminisztratív adatforrásokhoz férjen hozzá, hanem a vállalatoknál és egyéb nem állami szervezeteknél előálló, potenciálisan felhasználható adatokhoz is.

Az új adatvagyon-gazdálkodás az adatok teljes életciklusára kiterjed a nyers adatok létrejöttétől egészen azok felhasználásáig és újrafelhasználásáig. Ennek alapfeltétele az adatforrások leírását szolgáló metaadatok katalógusának elkészítése és folyamatos karbantartása. Az interoperabilitás – vagyis a közigazgatás különböző szereplői között megvalósuló, adatvédelmi szabályoknak megfelelő adatmegosztás – azonban csak az adatok harmonizálása és a metaadatok sztenderdizálása révén valósítható meg teljes mértékben. Ez egyben jelentősen javítaná a nemzeti adatvagyon minőségét, nem is beszélve a nemzetgazdasági szintű költségmegtakarításról.

Az adatszolgáltatói terhek csökkentésének kiemelkedő példája a keresetstatisztika adminisztratív adatokra épülő megújítása, amelynek köszönhetően részletesebb, pontosabb és időszerűbb kereseti adatok előállítása vált lehetővé. A korábbi, a vállalkozások, nonprofit szervezetek megkérdezésén alapuló havi adatgyűjtés helyett 2019-től már a NAV-tól átvett adatok képezik a havi keresetstatisztikai adatközlések forrását (az Államkincstártól átvett adatok mellett). A fejlesztések lehetővé tették, hogy több ezer hazai munkáltató adatszolgáltói terhei csökkenjenek.

A külkereskedelem-statisztika területén Európai Uniós együttműködés tette lehetővé az adatszolgáltatói terhek csökkentését. A tagállamok között 2022 óta működő külkereskedelmi mikroadatcsere (Micro Data Exchange – MDE) keretében a tagállamok kicserélik egymás között az uniós termékexportra vonatkozó, nemzeti adatgyűjtésből származó termék-külkereskedelmi adataikat. Ennek köszönhetően,

a KSH Intrastat fejlesztési projektjének eredményeként, több ezer hazai vállalkozás adatszolgáltatási kötelezettsége szűnt meg 2025-re.

Ezen célok eléréséhez elengedhetetlen a legmodernebb technológiai eszközök és módszerek alkalmazása. Ide tartozik többek között a mesterséges intelligencia és a gépi tanulás bevezetése az adatfeldolgozás sebességének és minőségének javítása érdekében, az automatizált adatgyűjtés használata, valamint a megfelelő IT infrastruktúra és a működtetéséhez szükséges szaktudással rendelkező humán erőforrás biztosítása. Mindez egyaránt szolgálja a hatékony adatgyűjtést és feldolgozást, valamint a megbízható tájékoztatást.

Az automatizált adatgyűjtés – legyen szó egy adatgazda szervezet és a KSH közötti megállapodás alapján átvett adatállományokról, vagy kijelölt weboldalakról kinyert információkról (web-scraping) – legnagyobb előnye, hogy gyorsan és nagy mennyiségben képes információt biztosítani egy adott szakterület számára. A nyers információk megbízhatósága azonban nagymértékben függ a forrás minőségétől, az adatgazda adatgyűjtési módszereitől és technikai feltételeitől, valamint az adattárolás körülményeitől.

Az így begyűjtött adatok hitelességét a KSH feldolgozási és ellenőrzési lépések sorozatával garantálja. Kiemelt szerepe van ebben a folyamatban az input adatok editálásának, vagyis a hibás, hiányzó vagy irreális értékek beazonosításának és javításának. Ezt követik a különféle validációs eljárások és konzisztenciavizsgálatok, amelyek során az adatokat más, független forrásokkal vetik össze, illetve idősoros elemzéssel ellenőrzik, hogyan illeszkednek a korábbi folyamatokból kirajzolódó trendekhez. Mindezek együtt biztosítják az automatizált adatgyűjtések felhasználásával előállított hivatalos statisztikák hitelességét.

Különleges felelősséget jelent a hivatalos statisztika számára, hogy a digitalizáció és a dezinformáció korában képessé tegyük az adatfelhasználókat arra, hogy különbséget tudjanak tenni a valós és megbízható, illetve a hamis információk között. Ezért a KSH fő prioritásainak egyike, hogy a felhasználók értsék és érdeklődjenek a statisztika iránt, hiszen ez elengedhetetlen a társadalom fejlődéséhez

– tette hozza Bóday Pál.

A cikk megjelenését a KSH támogatta.

A címlapkép illusztráció. Címlapkép forrása: Getty Images