Az informatikai és a legutóbbi távközlési forradalom kezdete óta a nap szinte minden percében hatalmas mennyiségű információ zúdul ránk különböző forrásokból és formákban.
Ennél csak mi szolgáltatunk a „világnak”, az államnak, az üzleti életnek, embertársainknak stb. több információt magunkról, szokásainkról, cégünkről és a sort hosszan lehetne folytatni. A telefonon, számítógépen, interneten, közösségi médián és még számtalan eszközön küldött és kapott óriási mennyiségű információ áttételeken keresztül úgynevezett big data-vá áll össze. A big data fogalmával, kezelésével, feldolgozásával, felhasználhatóságával, etikai kérdéseivel az adatfeldolgozók és az -felhasználók mintegy másfél évtizede foglalkoznak. (A big data fogalmát 1998-ban John Mashey alkotta meg.) A beláthatatlan lehetőségeket kínáló big data tudomány és biznisz ma még történetének elején jár. Igen sok új kifejezés, fogalom született a big data kapcsán, többek között az adattudomány, az adattudós, az adatbányászat, az adatmérnök, az adatelemző, a felhő.
Mi a big data?
Szinte közhely, hogy a 21. század olaja az információ. A magánélet és a munka területén egyaránt jelen lévő digitalizáció egyre növekvő adatmennyiségeket eredményez. Adatokra épülő gazdaságunkban tranzakciók milliárdjai történnek percenként. Minden online eltöltött
másodpercben elég csak egy mozdulatot tennünk az egérrel, görgetni egyet, esetleg megnyitni egy linket, és elemzésnek alávethető digitális lábnyomot hagyunk magunk után. A big data tehát az adatelemzés új fázisa, az új típusú adatalapú gazdaság sarokköve.
Mit is takar a big data fogalma?
Az egyik meghatározás szerint a big data azt a nagy mennyiségű adatot foglalja magában – legyen szó strukturált, vagy nem strukturált adatokról –, melyek vizsgálata a hagyományos statisztikai elemzési eszköztárral nem lehetséges vagy torzított eredményhez vezetne. A big data-elemzés a nagy adatmennyiséghez kapcsolódó fejlett elemzési módszereket és azok alkalmazását foglalja magában.
Adattudomány, adatelemzés
Ezekhez kapcsolódóan alakult ki a data science vagy magyarul adattudomány, mely szintén a nagy mennyiségű adat vizsgálatával foglalkozik, ugyanakkor túlmutat a big data elemzés
témakörén. Az adattudomány számos területet érint, melyek közé sorolható például az adatbányászat, az adatelemzés különböző vonatkozásai (például a mintázatok azonosítása vagy az előrejelzés), a gépi és mély tanulási folyamatok. Emellett ide sorolható az adatvizualizáció, valamint az új algoritmusok, módszerek és modellek fejlesztése. Összességében tehát a big data-elemzés a rendelkezésre álló adatok elemzésével foglalkozik, míg az adattudomány multidiszciplináris területként a teljes folyamatra vonatkozik.
Egy másik meghatározás arra hívja fel a figyelmet, hogy a big data fogalma alatt azt a komplex technológiai környezetet (szoftvert, hardvert, hálózati modelleket) értjük, amely lehetővé teszi olyan adatállományok feldolgozását, amelyek annyira nagy méretűek és annyira komplexek, hogy feldolgozásuk a meglévő adatbázis-menedzsment eszközökkel jelentős nehézségekbe ütközik. Leegyszerűsítve: a big data, mint fogalom a nagy mennyiségű, nagy sebességgel változó és nagyon változatos adatok feldolgozásáról szól.
Az öt V
A big data kapcsán fontos tudni az úgynevezett V-kről. Ez az öt V betűvel kezdődő szó kiemelt fontossággal bír az adatelemzés során:
Volume (mennyiség)
Velocity (sebesség)
Variety (változatosság)
Veracity (igazolhatóság vagy megbízhatóság)
Value (érték)
Az első három V az úgynevezett klasszikus hármas. Ezek alapján szokás megítélni a rendelkezésre álló adatbázis minőségét. Nem lehet eleget hangsúlyozni, hogy világunkban elképesztő sebességgel növekszik a keletkező adatok mennyisége, egyre többféle adat születik, és ezek feldolgozásában az idő mind fontosabb szerepet kap.
Klasszikus értelmezés szerint a big data nem más, mint egyre több formátumú és mennyiségű adat egyre gyorsabb begyűjtése, feldolgozása és elemzése. A későbbiekben ez kiegészült a megbízhatóság kritériumával, mely kiemelt fontosságúvá tette a begyűjtött adatok minőségét és pontosságát. Rossz, illetve hibás adatokból nem lehet megfelelő eredményeket kapni, így az adatok minősége ugyancsak kulcstényezővé vált. Az ötödik V az érték, mely az elemzési „termék” hasznosságának fontosságát hangsúlyozza. Fel lehet dolgozni gyorsan nagy mennyiségű, sokféle adatot úgy, hogy a „termék” egyrészről igazolható adatokkal is bírjon, másrészről mindennek értékesnek is kell lennie a cél szempontjából.
Adatmennyiségi kategóriák
A nagyobb adatmennyiségek két fő kategóriára oszlanak. Léteznek strukturált, illetve nem
strukturált adatok. A strukturált adatok többnyire számszerű adatokat tartalmaznak rendezett adatbázisokban vagy különféle táblázatokban (például Excell táblázat). Ilyennek
tekinthetőek a különféle statisztikai hivatalok által elérhetővé tett, a termelő vállalatoknál gyűjtött, valamint a fogyasztói szokásokról készült adatok. A nem strukturált adatok nem rendszerezettek. Szemben a strukturált adatokkal, itt a formátum nem meghatározott, általában különféle típusú adatok összességeként írhatók le. A nem strukturáltak közé tartoznak például a különféle közösségi média platformok által gyűjtött adatok, hozzászólások, megosztások, kedvelések vagy a keresőplatformok által gyűjtött keresési adatok és kattintások.
Hol használjuk?
A big data felhasználása, elemzése, igen-igen széles körű, szinte megszámlálhatatlan területet ölel fel, többek között üzleti, statisztikai, előrejelzési, nyilvántartási, megfigyelési, marketing, termékfejlesztési, üzemeltetési, ügyfélkapcsolati célokat. Ami az üzleti célokat illeti: a fogyasztói igények megfelelő ismerete, a kereslet minél pontosabb előrejelzése a vállalatok alapvető érdeke. A cégek minél többet szeretnének tudni fogyasztóikról, illetve saját magukról is. A megfelelő információ segíti a hatékony működést, a profit növelését, a
nagyobb piaci részesedés elérését. Az adatból azonban csak feldolgozással nyerhető ki értékes információ. Ezért nem véletlen, hogy egyre több cég foglalkoztat adatelemzőket meglévő adataik hasznosítására. Az adatelemzők egy része a vállalat munkatársa, azonban gyakori, hogy külső fél segíti az adatfeldolgozást. Ugyanis megfelelő adatgyűjtéssel és elemzéssel egy cég nagyjából minden részlegén javulás érhető el. Adatelemzéssel támogatható az emberi erőforrás menedzsment, hatékonyabbá tehető a gyártás, a logisztika, az értékesítés, személyre szabottá válhat a marketing.
A fejlett big data módszerek segíthetik az orvostudomány fejlődését, újabb gyógyszerek
kutatását és feltalálását, a genetikai rendellenességek megértését is. A környezeti adatok
felhasználása által jobban megérthető bolygónk ökoszisztémája, pontosabb időjárási előrejelzések készíthetők. Mindezek segíthetnek felkészülni a jövő megpróbáltatásaira, hatékonyabbá tehető általa a vállalati gazdálkodás. A vásárlók igényeiknek megfelelőbb termékekkel, szolgáltatásokkal, esetleg hirdetésekkel találkoznak. Ezáltal javul a fogyasztók szubjektív jóléte, a vállalatok pedig magasabb profitokat érhetnek el. A big datát az is fontossá teszi, hogy olyan elemzési információkat lehet kinyerni, amelyekkel javítható a döntéshozatal. Ma már nem csodálkozunk, amikor egy-egy termékre, szolgáltatásra való kattintás után napokon, heteken át kapjuk ugyanabban a témában a vásárlási ajánlatokat. Ebben a meglehetősen egyszerű „műveletben” elsősorban a big data elemzés a ludas, karöltve a mesterséges intelligenciával.
Big data etika
Itt érdemes megjegyezni, hogy a hatalmas adatmennyiség és az ebből készült elemzések nagy veszélyeket hordoznak magukban, például az érzékeny személyes adatok kezelését. Különösen a közösségi média részét képező oldalak, LinkedIn, Facebook és Twitter, de a különböző gazdasági szervezetek vagy kormányok által üzemeltetett big data adatállományok is rengeteg, szerteágazó személyes adatot, információt tartalmaznak. Akár
egy, a Facebookra feltöltött fénykép is tartalmazhat védendő személyes adatot a helyszíntől
vagy éppen a társaságtól függően. A sok adat felhasználható megtévesztésre, az emberek befolyásolására, „megvezetésére” és még számtalan etikátlan cselekedetre. Ezért a big data kapcsán a törvényekben, az államigazgatásban, a cégeknél, az intézményeknél, gyakorlatilag mindenhol elengedhetetlen a részletes adatkezelési, adatvédelmi, adatszolgáltatási és etikai szabályozás.
A működtetés infrastruktúrája
A big data működtetéséhez igen nagy és fejlett infrastruktúra szükséges: létezésének alapfeltétele a megfelelő hardver-támogatás megléte. Az infrastruktúrának biztosítania kell a megfelelő teljesítményt, azaz a rendszer nagyon nagy érzékenységgel kell, hogy rendelkezzen. A big data elképzelhetetlen a „felhők” nélkül. Egy informatikai rendszer kiépítéséhez a felhasználók ma már nem nagy hardver komplexumokat vásárolnak vagy lízingelnek, hanem sokkal inkább virtuális szervereket bérelnek (például Google App Engine, Amazon EC2).
A viselkedésmintától az előrejelzésig
A big data legnagyobb kihívása a felhalmozott hatalmas mennyiségű adat felhasználás- orientált kiértékelése, értelmezése. Az adatok értékelésének eredményét „emberi fogyasztásra” alkalmassá kell tenni. A big data azért “big”, vagyis nagy, mert a korábban megszokotthoz képest nagyságrendileg nagyobb adatmennyiségről van szó. Ez pedig az addig megszokott eszközökkel már feldolgozhatatlannak számít. Olyan sok adatról van szó,
amely már minőségi ugrást jelent a megelőző korszakokhoz képest. Egy bizonyos adatmennyiség felett ugyanis már olyan alaposan meg lehet ismerni egy adott ipari folyamatot, digitális szolgáltatást vagy akár emberi viselkedésmintákat stb., hogy már nagy
megbízhatósággal lehet előrejelzéseket megfogalmazni a segítségükkel.
Ezért is van az, hogy a big data technológia teljesen új korszakot nyitott többek között az
internetes keresés, pénzügyi trendek, betegségek terjedése, bűnözési statisztika-alapú rendészet, meteorológia, orvostudomány, genetika, komplex fizikai jelenségek szimulációja, marketing, kormányzati funkciók, formatervezés ellőt. Egyebek mellett az ilyen jellegű feladatok ellátására is jött létre a big data technológia.
Előtérben az elemzés
Már szó volt arról, hogy a hatalmas adatállomány akkor jelent értéket, ha tartalma elemzésre kerül. Big data-elemzés alatt olyan módszerek, eszközök és alkalmazások értendők, amelyek segítségével különböző, nagy mennyiségű, nagy sebességgel létrejövő
adathalmazokból elemzéseket lehet készíteni, feldolgozni és származtatni. Ezek az adathalmazok számos különböző forrásból érkezhetnek, például a világhálóról, a mobileszközökről, az emailekből, a közösségi médiából és az intelligens hálózati eszközökről.
A hagyományos adatelemző szoftverek nem tudják kezelni az ilyen szintű összetettséget és
az ekkora adatméreteket, ezért fontos szerepet játszanak a kifejezetten big data-elemzésre
tervezett rendszerek, eszközök és alkalmazások.
A big data elemzése ezért olyan eszközökkel és technológiákkal történik, mint az adatbányászat, a mesterséges intelligencia, a prediktív elemzés, a gépi tanulás és a statisztikai elemzés. Ezek az eszközök segítenek feltárni és előrejelezni az adatokban található főbb jellemzőket és viselkedésmintákat. Az elemzés főbb szakaszai: az adatok gyűjtése, feldolgozása, tisztítása és elemzése.
Adatbányászok, adattudósok
A data scientist (adattudós), a science engineer (adatbányász) legtöbbször már összegyűjtött és rendszerezett adathalmazzal dolgozik, statisztikai és programozói eszközökkel elemez és modelleket épít, hogy segítse bizonyos üzleti problémák megoldását. A data engineer (adat- mérnök) a teljes adatkezelő rendszer kiépítéséről, valamint arról gondoskodik, hogy a szükséges adatok hasznos és strukturált formában rendelkezésre álljanak. A beérkezett adatok rohamos növekedésével a big data elemzők is egyre nagyobb népszerűségnek örvendenek a munkaerőpiacon. A big data-elemzés pedig beépült a hagyományos vállalati elemzési technikák közé.
A nagy adathalmaz témája az üzleti életben lassan mindenhol előkerül. A jelenleg még gyermekcipőben járó új terület egyelőre nem találta meg a helyét a szervezeti struktúrában. Van olyan vállalat, ahol az ügyfélkapcsolathoz, van, ahol a tervezéshez és még számos más szervezeti területhez tartozik. Az azonban már teljesen egyértelmű, hogy az adatok gyűjtése kulcsfontosságú az üzleti élet számára, hiszen segíti a jövőtervezést és a döntéshozatalt.
Tarol az e-biznisz
Jó példa a big data „használatára” az internetes kereskedelem. Az e-kereskedelem egyike
azoknak az iparágaknak, amelyek azonnal felismerték a big datában rejlő lehetőségeket.
Ahogy egyre elfogadottabbá válik az online vásárlás, úgy nő a felhasználók által generált
elemezhető adatmennyiség is, amely újabb és újabb fejlesztésekre ösztönzi az iparágat. Az
online kereskedelem értéke tavaly megközelítette a 6 billió dollárt…
Stratégiai „fegyver”
A big data elsősorban akkor hasznos egy cég számára, ha a gyűjtött adatok a stratégiai célok elérésében segítenek. Fontos tehát, hogy megfelelő adatok (smart data) álljanak rendelkezésre, és ezek stratégiai eszközként funkcionáljanak, vagyis ne egy adathalmazból
kelljen kiválogatni a céloknak megfelelőt. Így tehát jó és célravezető megoldás, ha a stratégiai célok megfogalmazásakor határozzák meg azokat az adattípusokat, amelyek
elősegítik a vállalat hatékonyabb működését.
Nincs menekvés
Térfigyelő kamera, bankkártya, emailezés, barangolás a neten, adatok, történetek, fényképek feltöltése a közösségi médiára, telefonálás, vásárlás, éttermi rendelés stb. mind-
mind adatokat generál. Az előrejelzések szerint a következő esztendőkben jelentősen fog bővülni az IT-eszközök, valamint a „kütyük” palettája, s ez egyben azt is jelenti, hogy tovább hízik a big data. Ezen a területen nem lehet fogyókúrára számítani, inkább alkalmazkodni kell ehhez az újabb kihíváshoz is mind egyéni, mind szervezeti, mind üzleti szinten.
Dr. Gonda György, CMC
vezetési tanácsadó
Certified Management Consultant
