Conceptul Big Data și oportunitățile pentru afaceri

I. Introducere in Big Data

1. Introducere

Atât timp cât internetul este în continuă expansiune și este o necesitate în zilele noastre pentru a fi conectați unii cu ceilalți , cu cele mai noi știri , ultimele informații și multe altele, atrage un număr foarte mare de utilizatori . Conform companiei DOMO, care se ocupă de extragerea și analiză datelor, din anul 2016 , numărul de utilizatori al internetului a crescut cu 7.5% ajungând la 3.7 miliarde de oameni.

În acest context, cu cât numărul de utilizatori este mai mare cu atât datele stocate cresc proporțional , astfel încât în fiecare zi sunt generate 2.5 exabytes de date. Un număr așa mare de date a afectat companiile mari, deoarece luând spre exemplu un sistem de baze de date tradițional , cum ar fi bazele de date relaționale, deoarece numărul mare de date fiind prea mare , era foarte greu de procesat și astfel s-a trecut la un alt concept care a fost adoptat și acesta fiind Big Data.

2. Istorie

Termenul de „baza de date” a apărut pentru prima dată în anii 1960, și este definită ca o colecție organizată de date.

Apariția calculatoarelor a adus o primă revoluție a bazelor de date, fiind folosite benzi magnetice prin care se putea derula prin secvența de date, după care au fost urmate de discurile magnetice care aveau o viteză mult mai mare de accesare a datelor.

La început era foarte greu să se creeze o bază de date deoarece pentru fiecare aplicație trebuia definit propriul cod de manipulare. Astfel s-a ajuns la concluzia că trebuie să existe un sistem separat pentru manipularea datelor din aplicații. Prin urmare, în 1970, a apărut sistemul de gestiune a datelor, iar odată cu apariția SGBD-ului1 , au apărut și două modele , modelul ierarhic și modelul rețea.

A doua revoluție a bazelor de date a fost crearea modelului relațional al bazei de date de către Codd care a urmat să fie modelul universal folosit la scară largă.

A treia revoluție a bazelor de date este începută de cel mai mare site, acesta fiind renumitul Google, care în 2005 chiar dacă modelul relațional era bine pus la punct, acest model nu făcea față volumului mare de date pe care Google îl deținea. Aceste condiții a dus la realizarea proiectului Hadoop care avea la bază concepte precum MapReduce și Big Table. După Google , au urmat Facebook care utiliza un sistem prin care partiționa prin separarea datelor în mai multe baze de date, iar Amazon a creat modelul Dynamo.

Au apărut termeni precum NoSql ,care reprezintă baze de date nerelaționale și ajută la stocarea unor baze mari de date. NewSql , care este un sistem de gestiune a datelor mai modern. Iar în sfârșit termenul de Big Data a apărut în anul 2012 și se referea la mijloacele prin care datele sunt puse în valoare, iar prin acest termen ne referim la tehnologiile și soluțiile pe care le oferă pentru a manipulă seturi mari de date.

3. Beneficiile utilizării soluțiilor Big Data

În momentul în care mijloacele tradiționale de analizare a datelor, de procesare și de stocare nu mai făceau față cantității mari de informație, au apărut soluțiile Big Data care reușesc să combine seturi de date care nu au legătură între ele și să prelucreze cantități mari de date nestructurate într-un timp scurt.

În general datele pentru mediile Big Data sunt acumulate în cadrul unei întreprinderi prin aplicații, senzori sau diferite surse externe. Aceste date sunt stocate ori într-un depozit de date pentru a îmbogăți datele existente , ori utilizate direct printr-o aplicație a întreprinderii. Rezultatele obținute prin procesarea Big Data duce la o gamă largă de beneficii și perspective cum ar fi:

- Optimizare operațională

- Inteligență acționabilă

- Identificarea de noi piețe

- Predicții corecte

- Detectarea pierderilor și a fraudelor

- Înregistrări foarte detaliate

- Îmbunătățirea procesului decizional

- Descoperiri științifice

În mod clar , soluțiile Big Data oferă multe beneficii potențiale, dar pe lângă aceste beneficii sunt și foarte multe dezavantaje când analiza Big Data este adoptată. Aceste dezavantaje trebuiesc comparate cu beneficiile oferite , iar prin urmare să fie aleasă cea mai bună decizie.

4. Definirea și caracteristicile Big Data

Big Data nu este o simplă tehnologie ci este o combinație de tehnologii vechi și noi prin care firmele pot gestiona ușor cantitățile mari de date la viteză mare și în timp real.

Ca un set de date să poată fi considerat Big Data , trebuie să îndeplinească câteva caracteristici. Câteva din aceste caracteristici au fost identificate inițial de către Doug Laney în anul 2001. Acesta a publicat un articol despre impactul volumului, vitezei și varietatea datelor ale unui magazin electronic adunate într-un depozit de date.

Un set de date pentru a fi considerat Big Data trebuie să îndeplineasă 5 caracteristici iar acestea sunt:

- Volumul

- Viteza

- Varietatea

- Veridicitate

- Valoarea

I. Volumul

Volumul de date trebuie anticipat deoarece un volum foarte mare de date impune un alt sistem de depozitare și prelucrare a datelor. Zilnic omenirea generează aproximativ 2.5 exabytes de date. Spre exemplu câteva surse de date care sunt responsabile pentru generarea acestui volum mare de date sunt: tranzacțiile online, experimente științifice, senzori, și mediile de socializare.

II. Viteza

În mediile Big Data , datele pot circula cu viteze foarte mari, iar seturile de date se pot acumula într-o perioadă extrem de scurtă într-o cantitate enormă. Din punct de vedere al întreprinderii, viteza datelor se traduce ca perioada de timp din momentul în care datele intră în interiorul întreprinderii, până în momentul când sunt prelucrate. Pentru acest lucru, întreprinderea trebuie să aibă soluții de prelucrare extrem de elastice și capacități corespunzătoare de stocare a datelor.