Data mining

Introducere

Numarul utilizatorilor de Internet creste in fiecare zi semnificativ, aceasta insemnand faptul ca o buna parte din populatia globului utilieaza internetul. In aceste conditii modul in care sunt gandite afacerile trebuie schimbate.

Multe firme care in conditiile secolului trecut, nici macar nu puteau visa ca ar putea s aiba un anumit volum de activitate sau ca ar putea sa faca fata concurentei gigantilor din industrial lor, au reusit sa se bucure de un mare succes. E-business este cheia pentru a face viata mai usoara pentru oameni.

Cunoasterea mediului e-business este esntiala pentru a putea face afaceri in acest secol. Mai mult, trebuie intelese si aplicate noile tehnologii de extragere a cunostintelor din date.

Data mining se concretizeaza prin aplicarea unor algorimti specifici pentru extragerea modelelor din date. Pasii suplimentari ai procesului de descoperire a cunostintelor din date, cum sunt prepararea datelor, selectarea datelor, etapa de curatare, integrarea cunostintelor anterioare necesare sunt esentiale pentru a asigura ca se vor extrage cunostinte folositoare din date.

1.Tehnici de data mining

Exista doua clase fundamentale de metode invatare:

- Predictive (bazata pe invatare supervizata) ce utilizeaza un set de variabile (numite predictor) prin intermediul carora se realizeaza predictii relative la valorile (continue sau discrete) ale altor variabile (numite variabile de decizie)

- Descriptive ( bazate pe invatare nesupervizata) destinate extragerii unor patternuri (structuri inteligibile) din date

1.1 Tehnici de data mining folosind WEKA

“Weka” provine de la Mediul Waikato pentru Analiza Cunostiintelor si a fost dezvoltat la Universitatea Waikato din Noua Zeelanda . WEKA este extensibil si a devenit o colectie de algoritmi pentru invatare in scopul rezolvarii problemelor de data mining din lumea reala. A fost implementat in limbajul Java si ruleaza aproape pe orice platforma.

Mediul de lucru WEKA contine o colectie de instrumente de vizualizare si algoritmi de analiza a datelor si modelare predictiva. WEKA exercita mai multe roluri de data mining, in mod special procesarea datelor,gruparea, clasificarea, regresia, vizualizarea si selectie caracteristica.

Acesta poate fi utilizat in oricare dintre interfetele:

- Linia de comanda ( CLI)

- Interfata grafica a utilizatorului

Programul WEKA apare asa:

1.2 Utilizarea WEKA

Butoanele pot fi folosite pentru deschiderea urmatoarelor aplicatii:

• Explorer : acesta este mediul de explorare a datelor cu WEKA oferind acces la toate facilitatile programului

• Experimenter : acesta ofera raspunsul la intrebarea : care metode si care parametrii de lucru functioneaza cel mai bine pentru solutionarea problemei

• KnowledgeFlow: aceeasi functie ca si Explorer. Permite proiectarea configuratiilor de date pentru datele aflate in prelucrare. Algoritmii elementari pot fi folositi pentru procesarea datelor de dimensiuni mari.

• Simple CLI : o interfata pentru linia de comanda in vederea executarii comenzilor directe WEKA.

Interfata Explorer are mai multe panouri care ofera acces la componentele principale ale mediului de lucru:

• Panoul Preprocessing- care dispune de facilitati pentru importul de date dintr-o baza de date, un fisier CSV etc si pentru preprocesarea acestor date cu ajutorul unui algoritm de filtrare. Este posibila transformarea datelor si stergerea atributelor in functie de criterii specifice.

• Panoul Classify- permite aplicarea clasificarii si a regresiei algoritmilor, in vederea estimarii unei precizii rezultate in mod predictiv, precum si vizualizarea unei previziuni eronate

• Panoul Associate ofera acces la invatarea regulilor de asocierea, care incearca sa identifice importanta interdependentei dintre atribute.

• Panoul Clauster ofera acces la tehnicile de grupare in WEKA, in vederea alegerii si rularii metodei de grupare a datelor

• Panoul Select Attributes, functioneaza in vederea oferirii algoritmilor pentru identificarea atributelor celor mai predictive intr-un set de date

• Panoul Vizualize permite vizualizarea setului curent de date in una sau doua dimensiuni , cu ajutorul unor diferiti operatori de selectie.

Acest proiect va demonstra aplicarea celor doua tehnici de data mining in WEKA :

- Clustering

- Regresia liniara