Rețele neuronale - analiza componentelor principale

Analiza Componentelor Principale

Este o tehnică statistică cu aplicaţii în:

recunoaşterea şi compresia de imagini (de date);

extragerea caracteristicilor relevante pentru o problemă de clasificare.

Exemplu: studiul mişcării unui resort în plan

Suport matematic

Fie X mulţimea originală de date, obţinute pe baza unui experiment:

(la n momente de timp, măsurăm m caracteristici).

Schimbare de bază

Cum re-exprimăm optim pe X printr-o schimbare de bază PX=Y ?

Ce înseamnă re-exprimare optimă a lui X?

Fie p1,… pm liniile lui P (vectorii noii baze pentru exprimarea coloanelor lui X)

Fie matricea de covarianţă

CX(i,j) = produsul scalar al vectorului de măsurători de tipul i cu vectorul de măsurători de tipul j.

CX:

Este matrice simetrică mxm;

Termenii de pe diagonala principală sunt varianţele tipurilor particulare de măsurători;

Termenii din afara diagonalei principale sunt covarianţele;

Conţine deci corelaţiile între toate tipurile de măsurători, reflectând zgomotul şi redundanţa din acestea.

Raportul semnal-zgomotSNR= Signal to Noise Ratio

Trebuie

pentru date de precizie mare.

Algoritmul Hebbian Generalizat