Extragerea Informației

Extragerea informaţiei

I. Prezentare generală

Încă din anii 1940 problema depozitării si regăsirii informaţiei (information retrieval) a atras o atenţie crescândă. Există o mare cantitate de informaţie la care accesul precis şi rapid a devenit din ce în ce mai dificil. Unul din efectele acestei probleme este că multă informaţie relevantă este ignorată datorită faptului că aceasta nu este descoperită şi în schimb aceasta duce la muncă redundantă + efort mărit. Odată cu avansarea tehnologiei, in deosebi a calculatoarelor, s-a depus multă munca pentru folosirea acestora pentru realizarea unui sistem rapid şi inteligent de regăsire a informaţiei. Spre exemplu, in biblioteci, care au avut imense probleme cu depozitarea si regăsirea informaţiei, unele însărcinări, cum ar fi catalogarea şi administrarea, au fost preluate cu succes de calculatoare. Totuşi, problema efectivă a regăsirii informaţie rămâne in mare parte nerezolvată.

In principiu, regăsirea informaţiei este simplă. Să presupunem că avem un depozit de documente şi o persoană (cel ce utilizează depozitul) formulează o întrebare a cărei răspuns este un set de documente ce satisfac cererea de informaţie din întrebare. Persoana poate obţine informaţia dorita citind toate documentele din depozit, reţinând documente relevante si îndepărtându-le pe celelalte. Într-un anumit sens aceasta ar reprezenta regăsirea perfectă a informaţiei. Bineînţeles, soluţia este impracticabilă cu atât mai mult cu cât volumul de documente din depozit creşte. Persoana fie nu are timpul sau nu doreşte să-şi petreacă timpul citind întreaga colecţie de documente, in afara faptului că ar fi imposibil din punct de vedere fizic pentru ea să facă aşa ceva.

Când calculatoarele de mare viteză au devenit disponibile imediat a apărut ideea că acestea ar fi „capabile” să citească o colecţie întreagă de documente şi să extragă informaţie relevantă. In curând însă, a devenit aparent că utilizare textului în limbaj natural intr-un document lasă nerezolvată problema intelectuală a descrierii conţinutului documentului. Procesul automat prin care programul încearcă să copie procesul uman de citire este întradevăr o adevărată problemă. „Cititul” implică încercarea de a extrage informaţie, atât sintactic cât şi semantic, din text şi folosirea acesteia in luare deciziei de a considera sau nu că documentul curent este relevant unei cereri particulare. Dificultatea consta nu numai în cum se extrage informaţia ci şi cum să fie ea folosită în procesul de decizie a relevanţei documentului.

Se poate observa că pe parcursul discuţie a fost introdus termenul de ‘relevanţă’ a unui document. Aceasta este noţiunea ce se află în centrul procesului de regăsire a informaţiei. Scopul unei strategii automate de regăsire a informaţiei – IR (information retrieval) este de a obţine toate documentele relevante si in acelaşi timp obţinerea a cât mai puţine documente irelevante.

Figura 1.1. Modelul IR – regăseşte un set de documente relevante (se analizează documentele)

Din punct de vedere intelectual este posibil pentru o fiinţa umană să stabilească relevanţa unui document la o anumită cerere. Pentru ca un calculator să facă aşa ceva este necesară construirea unui model in cadrul căruia fiecare decizie a relevanţei să poată fi clasificată.

Cum ar arata un sistem pentru regăsirea informaţiei (IR) ?

Vom ilustra acum cum ar arăta un sistem IR printr-o cutie neagră. Diagrama prezintă trei componente: input-ul, procesorul si output-ul.

1. Începem cu partea de input a diagramei. Principala problemă aici este obţinerea unei reprezentări a fiecărui document si a cererii potrivite pentru a fi folosite de un calculator. O reprezentare a documentelor poate fi, de exemplu, o listă de cuvinte extrase din fiecare document, cuvinte ce sunt considerate a fi semnificative. Mai degrabă, decât sa laşi calculatorul să proceseze un limbaj natural, o abordare alternativa ar fi ca toate documentele şi cererile să fie formulate intr-un limbaj artificial. Aici se presupune ca persoana ce face cererea este dispusă să înveţe acel limbaj artificial.

Figura 1.2. Diagrama unui sistem IR

2. Urmează procesorul, partea din sistem ce se ocupă cu procesul de regăsire. Procesul implică structurarea informaţiei în diferite moduri adecvate cum ar fi clasificarea informaţiei. Va presupune de asemenea execuţia funcţiei de regăsire (de fapt pornirea motorului de căutare care va răspunde cererii introduse). In Figura 1.2 documentele au fost puse intr-o căsuţă separata pentru a arata că acestea nu sunt folosite doar ca input ci şi în procesul de regăsire a informaţiei.

3. In sfârşit, output-ul este reprezentat de un set de titluri sau numere ale documentelor. Într-un sistem operaţional procesul se încheie aici.