Inpainting - O Nouă Tehnică de Interpolare a Imaginilor

Introducere

Procesarea imaginilor este consideratǎ una dintre ariile cu cea mai rapidǎ dezvoltare din tehnologia informaticii în momentul de faţǎ. Importanţa acesteia se reflectǎ în numǎrul mare de domenii de actvitate în care este folositǎ: medicinǎ, aplicaţii industriale, astronomie şi aplicaţii militare.

Procesarea digitalǎ a imaginilor, subdomeniu al procesǎrii digitale a semnalelor, oferǎ numeroase avantaje în comparaţie cu prelucrarea analogicǎ: un numǎr mult mai mare de algoritmi ce pot fi aplicaţi datelor de intrare, rezultate mai bune în ceea ce priveşte îndepǎrtarea zgomotului, pecum şi evitarea distorsionǎrii semnalelor în timpul procesǎrii.

Prelucrarea imaginilor implicǎ multe transformǎri şi tehnici, majoritatea provenind din domeniul prelucrǎrii semnalelor. Sunt folosite transformǎri geometrice standard, de exemplu: mǎrirea sau reducerea dimensiunii imaginii, translaţii liniare sau rotaţia imaginii. Culorile unei imagini pot fi de asemenea modificate pentru îmbunǎtǎţirea contrastului, sau pentru schimbarea în totalitate a paletei de culori, prin folosirea unui sistem de transformare a culorii. Unul din sub-domeniile de interes în procesarea imaginilor este interpolarea.

Inpainting-ul, sau interpolarea imaginilor, reprezintă procesul de reconstrucţie a unor porţiuni pierdute sau deteriorate ale unei imagini. Aceastǎ tehnicǎ, cunoscutǎ şi sub denumirea de “retouching”, constǎ în umplerea acestor porţiuni, astfel încât aceastǎ modificare sǎ nu fie observatǎ de o persoanǎ care nu este familiarizatǎ cu originalul imaginii.

Pentru o lungǎ perioadǎ de timp, aceastǎ tehnicǎ a fost folositǎ de artişti care se ocupau de restaurarea picturilor de valoare. Acum, inpainting-ul are o gamǎ foarte largǎ de aplicaţii: în cazul imaginilor, pentru a înlǎtura zgomotul şi pentru a îmbunǎtǎţi contrastul, culoarea şi detaliile, iar în domeniul fotografiei şi al cinematografiei pentru a înlǎtura efectul “red-eye”, diferite ştampile, reclame sau subtitrǎri, pentru a recupera blocuri pierdute datorită transmisiei (în cazul streaming video), precum şi pentru realizarea de efecte speciale.

Existǎ o varietate mare de tehnici şi algoritmi, dezvoltaţi în ultimii ani. Una dintre cele mai simple metode se numeşte “inpainting bazat pe difuzie”. Difuzia este procesul de rǎspândire a unui gaz pentru umplerea unui volum. În inpainting, aceasta se referǎ la culori, care se vor rǎspândi în ariile ce lipsesc din imagine. O altǎ metodǎ constǎ în estomparea culorii în regiunile deteriorate. Din punct de vedere matematic, estomparea repetatǎ şi difuzia sunt identice. În acest caz, se face o medie între culoarea fiecǎrui pixel şi o micǎ parte din culoarea pixelilor vecini, iar în acest fel fiecare pixel va influenţa şi va fi influenţat de ceilalţi pixeli [13].

Inpainting-ul presupune reconstituirea unei imagini, obţinutǎ prin parcurgerea urmǎtoarelor etape: descompunerea imaginii în componente (analizǎ), prelucrarea acestor componente şi suprapunerea lor (sintezǎ). Printre cele mai folosite metode de analizǎ se numǎrǎ analiza componentelor principale (PCA) şi analiza componentelor independente (ICA). PCA se bazeazǎ pe o procedurǎ matematicǎ ce transformǎ un numǎr de variabile posibil corelate într-un numǎr mai mic de variabile necorelate, numite componente principale. Este o analizǎ fǎrǎ parametri, iar rezultatul este unic şi independent de orice ipotezǎ despre distribuţia probabilisticǎ a datelor. Aceastǎ caracteristicǎ poate fi privitǎ şi ca un dezavantaj, deoarece în reconstrucţia imaginii nu se poate folosi nici o informaţie anterioarǎ legatǎ de imagine, iar compresia PCA conduce la pierderea de date. Metoda ICA presupune descompunerea semnalelor în subcomponente aditive şi este o tehnicǎ puternicǎ, capabilǎ sǎ extragǎ semnale utile din amestecuri cu zgomote. Perfomanţele acestei metode sunt însǎ limitate: nu pot fi separate decât sursele independente şi non-gaussiene[14].

CAPITOLUL 1. Bazele teoretice ale inpainting-ului

1.1 Introducere

Reconstituirea pǎrţilor care lipsesc din imagini este o problemǎ interesantǎ şi importantǎ, cu multe aplicaţii. Îndepǎrtarea zgârieturilor din fotografiile vechi, umplerea unor blocuri care lipsesc sau predicţia valorilor pentru o compresie mai bunǎ se bazeazǎ pe aceastǎ tehnicǎ.

Metodele clasice folosite pentru interpolare (de exemplu, abordarea bazatǎ pe polinoame) nu au condus la rezultate satisfǎcǎtoare în cazul în care datele sunt incomplete. În schimb, pentru imaginile omogene, s-au dovedit a fi foarte eficiente metodele variaţionale.

De cele mai multe ori, când ne referim la o imagine ne gândim la un desen, care poartǎ de fapt numai informaţie geometricǎ. Însǎ o imagine realǎ conţine şi regiuni de texturǎ, pentru care metodele variaţionale nu sunt potrivite. O astfel de imagine necesitǎ o abordare care sǎ ţinǎ cont atât de regiunea de desen, cât şi de cea de texturǎ.

Metoda prefaratǎ este cea care descompune o imagine în mai multe componente, pemiţând combinarea mai multor metode, fiecare specificǎ unei anumite componente. Imaginea este descompusǎ într-o componentă de desen şi una de texturǎ, inpainting-ul se realizeazǎ separat pentru fiecare componentă, iar în final se suprapun cele două imagini rezultate. Descompunerea se face pornind de la noţiunea de variaţie totalǎ (TV), bazatǎ pe un model recent pentru imaginile cu texturǎ propus de Yves Meyer. O caracteristicǎ interesantǎ a acestei tehnici este aceea cǎ rezultatele finale sunt bune, chiar dacǎ descompunerea imaginii nu este perfectǎ.

Ideea centralǎ este de a folosi douǎ dicţionare mutual incoerente, unul potrivit pentru a reprezenta desenul, celǎlalt pentru texturǎ. Fiecare va conduce la o reprezentare eficientǎ, economicǎ, pentru nivelul cǎruia îi corespunde, în timp ce pentru celǎlalt nivel nu va conduce la rezultate bune. Cele douǎ dicţionare sunt combinate într-unul singur. S-a demostrat cǎ acest algoritm funcţioneazǎ şi a fost ulterior îmbunǎtǎţit prin impunerea regularizǎrii TV, ca o condiţie suplimentarǎ. De asemenea, algoritmul funcţioneazǎ bine şi în prezenţa zgomotului aditiv, ca un al treilea tip de conţinut.