Sistem automat de labiolectură

Introducere

Încă din secolul XX, folosirea unor sisteme automate în viața de zi cu zi a oamenilor a devenit tot mai răspândită, conducând inerent la dezvoltarea societății în care trăim. În zilele noastre, realiarea unei interfețe om-mașină (IOM) este unul dintre domeniile de foarte mare interes, numeroși cercetători ocupându-se de această arie, ale cărei utilizări devin tot mai răspândite. Pe măsură ce gradul de utilizare al tehnologiei crește, este necesar ca această interacțiune să devină tot mai intuitivă, prin creșterea gradului de similitudine cu modul în care ființele umane interacționează. Pentru ca acest lucru să devină posibil, abordarea actuală a problemei propune ca în comunicarea dintre om și mașină să se utilizeze cât mai multe dintre modurile în care oamenii transferă informații. Pentru aceasta, este necesar ca mașinile, precum roboții sau calculatoarele de uz personal, să perceapă și să interpreteze cât mai mult din informațiile primite din mediul înconjurător, cu o acuratețe cât mai mare.

Pentru a putea realiza un nivel de conștientizare de către mașini a mediului înconjurător, au fost dezvoltate sisteme capabile să achiziționeze date din exterior într-un mod similar oamenilor [1], prin intermediul senzorilor și al camerelor video. Pe lângă achiziționarea datelor, mașinile trebuie să fie capabile să le proceseze și să le interpreteze. Pentru aceste etape, se consideră că utilizarea tehnicilor de tip Machine Learning (ML), cunoscută și ca instruire asistată de calculator, este cea mai adecvată metodă. În particular, folosirea algoritmilor de tip Deep Learning (DL), altfel spus rețele neuronale adânci, s-a dovedit a fi extrem de utilă în acest domeniu.

Dintre modurile în care se realizează interacțiunea om-mașină amintim comunicarea pe cale orală, care este facilitată prin intermediul unor sisteme de recunoaștere a vorbirii. Deoarece acest tip de comunicare este cel mai comun între ființele umane, este firesc ca direcția de evoluție a sistemelor tehnologice să fie una în care interacțiunea prin intermediul vorbirii să fie cea mai utilizată. În fapt, recunoașterea vorbirii este o temă de interes încă de la jumătatea secolului trecut, atunci când Fry prezenta aspectele teoretice ale unui sistem mecanic de recunoaștere a vorbirii[2]. În ultimii 50 de ani, numeroase implementări ale unor astfel de sisteme, hardware sau software, au fost propuse si realizate.

Dificultatea în cazul realizării unui sistem de recunoaștere automată a vorbirii o prezintă robustețea și acuratețea sistemului. O astfel de soluție software cu acuratețe de 100% nu a fost încă dezvoltată și este foarte improbabil să se obțină în viitorul apropiat. Din acest considerent, s-a încercat adăugarea unor aplicații suplimentare, care să conducă la creșterea ratei de recunoaștere. O astfel de abordare au avut-o Silsbee et al. [9], care au dezvoltat un sistem audiovizual cunoscut ca „Lipreading to Enhance Automatic Perception of Speech (LEAPS)”, un sistem de labiolectură folosit la îmbunătățirea recunoașterii automate a vorbirii.

În mod firesc, următoarea etapă în dezvoltarea aplicațiilor de acest tip a reprezentat-o realizarea unei soluții software de sine stătătoare, un sistem capabil să recunoască cuvinte exclusiv pe baza cadrelor dintr-o filmare. Rațiunea din spatele acestei dezvoltări o reprezintă evoluția domeniului achiziției si procesării imaginilor, cât și numărul tot mai mare de imagini care sunt captate la fiecare moment de timp. În zilele noastre, se estimează că peste 1000 de fotografii sunt realizate în fiecare secundă, însemnând cel puțin un cadru pe milisecundă. Mai mult, dacă luăm în considerare echipamente precum camerele de supraveghere și ținem cont de numărul de cadre pe secundă pe care acestea sunt capabile să le înregistreze, suntem obligați să multiplicăm numărul mai sus amintit cu cel puțin un milion. Asta înseamnă, deci, că suntem înconjurați de informație vizuală, informație care trebuie nu doar achiziționată, ci și procesată și vizualizată. Au apărut astfel aplicațiile [3][4] de tip Automated Lipreading Recognition (ALR), sau sisteme de citit automat pe buze, care au cunoscut un avans puternic în ultimii 30 de ani. Cele mai recente sisteme ating niveluri de acuratețe tot mai ridicate, un exemplu conludent în acest sens fiind proiectul lui Assael et al. [5], capabil să recunoască cuvinte în limba engleză cu o precizie de 95.2%, depășind astfel atât experții umani, cât și cei mai performanți algoritmi dezvoltați până la acest moment.

La momentul actual, cercetările făcute arată că nu există un sistem automat de labiolectură (SAL) creat pentru a detecta și recunoaște cuvinte in limba română. Se impune așadar dezvoltarea și implementarea unei astfel de aplicații, dat fiind faptul că există numeroase contexte în care aceasta ar putea fi folosită. Astfel, recunoașterea unor cuvinte cheie dintr-o frază poate fi utilizată fie pentru a realiza o interfață om-mașină într-un mediu cu nivel ridicat de zgomot, fie pentru implementarea unui sistem național de supraveghere, în care imaginile de la camerele stradale de supraveghere pot fi interpretate de sistem, care alertează autoritățile la apariția unui astfel de cuvânt. În plus, un sistem mai avansat, capabil să recunoască orice cuvânt definit în Dicționarul Explicativ Român, ar putea fi integrat în aplicații de transpunere a imaginilor în scris, folosite pentru a subtitra programele Televiziunii Naționale Române sau, împreună cu un sistem de recunoaștere a vorbirii, pentru a facilita comunicarea între oameni. Rezultatele obținute la nivel internațional în acest domeniu demonstrează că un o astfel de aplicație este realizabilă, chiar cu o acuratețe înaltă, ceea ce face ca prezentul proiect să fie unul fezabil.

Ne propunem, așadar, să realizăm un sistem automat de labiolectură pentru limba română, capabil să realizeze atât detecția, cât și recunoașterea unor cuvinte cheie, folosind exclusiv informație vizuală. Aceast proiect are ca punct de plecare lucrarea prezentată în cadrul „Sesiunii de Comunicări Științifice Studențești UPB, Mai, 2018”, după cum se poate observa în Anexa 1. Pentru prima parte a proiectului, vom realiza un algoritm de procesare a imaginilor, astfel încât să putem selecta din filmul înregistrat doar acele cadre care reprezintă informație dorită, altfel spus cadrele care compun

cuvintele pronunțate de vorbitor. A doua etapă a prezentei lucrări o reprezintă recunoașterea cuvintelor amintite anterior, pe baza unei rețele neuronale adânci deja antrenate. Pentru aceasta, este necesar să realizăm respectiva rețea, urmând mai apoi să o antrenăm folosind un set de date ce conține cuvinte în limba română.

Proiectul cuprinde, astfel, următoarele etape:

- Studiul noțiunii de labiolectură și a tehnicilor folosite pentru a realiza acest proces, studiul metodelor de ML folosind DL ce urmează a fi implementate in cadrul proiectului și analiza tehnologiilor folosite în lucrare, a căror funcționare va fi descrisă în Capitolul 1.

- Implementarea sistemului capabil să citească pe buze, a cărui arhitectură va fi descrisă în Capitolul 2. În acest capitol se vor analiza punctele critice din lanțul de preprocesare a datelor, urmând a se oferi soluții viabile și robuste. De asemenea, se vor propune anumite structuri de rețele neuronale ce ar putea fi folosite în etapa de recunoaștere, împreună cu modul în care acestea pot fi antrenate.

- Evaluarea performanțelor sistemului realizat, atât la nivel de bloc, cât și în integralitatea sa, va fi descrisă în Capitolul 3.

În finalul lucrării vom prezenta atât concluziile proiectului, cât și anumite îmbunătățiri care îi vor fi aduse în viitor.