¿Qué es una explicación intuitiva de los valores singulares de una SVD?

Answer 1

Supongamos que A es una matriz de 2 por 2. Esto significa que A representa una transformación lineal del plano 2D a sí mismo. Geométricamente, lo que esto significa es que el círculo unitario con centro en (0,0) se transforma en una elipse también centrada en (0,0). El primer valor singular de A es la longitud del eje mayor de esta elipse y el segundo valor singular es la longitud del eje menor. Es posible que la longitud del segundo eje sea 0 y nuestra elipse sea en realidad un segmento de línea. Esto sucede exactamente cuando A es una matriz singular. Supongo que es posible que ambos valores singulares sean 0. Entonces A es la matriz cero, y eso es algo aburrido.

Si subimos de dimensión, supongamos que A es 3 por 2. Esto significa que A representa una transformación lineal del plano 2D al espacio 3D. Geométricamente, lo que esto significa es que el plano 2D se transforma en algún plano en el espacio 3D que pasa a través de (0,0,0). Nuevamente, nuestro círculo unitario se transforma en una elipse, esta vez inscrito en este plano particular en el espacio tridimensional. Nuevamente, nuestros valores singulares son solo las longitudes de los ejes de esta elipse.

Si A es 2 por 3, A representa una transformación lineal del espacio 3-D al espacio 2-D. Ahora la esfera de la unidad en el espacio tridimensional se aplasta a una elipse en el espacio 2-D. Lo adivinaste. Los valores singulares son las longitudes de los ejes. Si A es 3 por 3, ahora la esfera unitaria en el espacio tridimensional se transforma en un elipsoide y los valores singulares son las longitudes de los ejes, nuevamente, con la posibilidad de que las longitudes más pequeñas sean 0 y el el elipsoide es en realidad una elipse (si hay dos valores singulares positivos) o un segmento de línea (si hay un valor singular positivo). El rango de una matriz es exactamente el número de valores singulares positivos que tiene.

Espero que esto arroje algo de luz sobre por qué a menudo desechamos los valores singulares más pequeños. Si tenemos un n-elipsoide, podemos colapsarlo a un k-elipsoide donde k <n al aplanar los ejes más pequeños del n-elipsoide. Esto proporciona la mejor aproximación de rango k a una matriz de rango n (con respecto a la norma de Frobenius).

Answer 2

Los valores singulares no son más que valores propios de su matriz de datos.

¿Qué te dicen esos valores? Te dicen lo fuerte que es una dirección particular. Si observa su matriz de datos como una colección de vectores, los valores propios le proporcionarán los vectores propios que son representativos de las direcciones más fuertes.