¿Por qué SVD se considera un punto culminante del álgebra lineal?

Answer 1

En resumen, la SVD es la madre de todas las descomposiciones, y despojar una matriz hasta su esencia desnuda es sexy.

La descomposición del valor singular es simple pero profunda y poderosa. Aquí está, en su gloria real:
[matemáticas]
A = U \ Sigma V ^ T,
[/matemáticas]

dónde

• [matemáticas] A \ en R ^ {m \ veces n} [/ matemáticas], [matemáticas] Rango (A) = r [/ matemáticas],
• [matemáticas] U \ en R ^ {m \ veces r} [/ matemáticas], [matemáticas] U ^ TU = I [/ matemáticas],
• [matemáticas] V \ en R ^ {n \ veces r} [/ matemáticas], [matemáticas] V ^ TV = I [/ matemáticas],

• [math] \ Sigma = diag (\ sigma_1, \ ldots, \ sigma_r) [/ math], donde [math] \ sigma_1 \ geq \ cdots \ geq \ sigma_r> 0 [/ math].

Con [math] U = [u_1 \, \ cdots \, u_r] [/ math], [math] V = [v_1 \, \ cdots \, v_r] [/ math],
[matemáticas] A = U \ Sigma V ^ T = \ sum_ {i = 1} ^ r \ sigma_i u_i v_i ^ T [/ matemáticas]. [1]

Hay algo muy agradable en descomponer una transformación lineal muy general (con pocas restricciones) en una serie de (1) proyecciones del espacio de entrada en bases ortogonales, (2) escaladas por [math] \ sigma [/ math] y (3 ) proyectado en un espacio de salida ortogonal.

SVD es una herramienta extremadamente poderosa en la práctica. Por ejemplo,

• El análisis de componentes principales en estadística es un SVD,
• La formación del haz en la comunicación inalámbrica se realiza utilizando SVD del canal inalámbrico,
• La aproximación óptima de rango k de una matriz (bajo la norma de Frobenius) es la SVD truncada, manteniendo los primeros k componentes.

¿Y aún más hermoso para los practicantes? [3] En R o Matlab: svd (). Bam Magia.

[1] Anotación tomada de las notas de conferencia ee263 del profesor Stephen Boyd, disponibles en línea en http://www.stanford.edu/class/ee…
[2] Hipérbole. No te ofendas si estás en el campo de descomposición QR / Cholesky / eigenvalue.
[3] Como dijo Neal, generalmente se considera un punto culminante solo en clases de álgebra lineal orientadas computacionalmente. En clases más teóricas, la SVD no se enfatiza tanto.

PD echa un vistazo a la introducción del SVD del Prof. Boyd en su clase: 3:00 en el clip de Youtube

Answer 2

La SVD generaliza la transformación unitaria de un espacio vectorial que diagonaliza una transformación lineal, en el caso de matrices no cuadradas.

La diagonal de una transformación lineal es una representación canónica de una transformación lineal, porque se conserva bajo transformaciones unitarias. Las representaciones unitarias son las isometrías (mapa de preservación de la distancia entre espacios métricos) de la métrica del producto interno. En geometría euclidiana, la métrica del producto interno es la métrica de distancia canónica.

Las transformaciones unitarias son especiales, porque preservan la norma l2 entre la diferencia de cualquiera de los dos vectores en un espacio sobre el que actúan. Las transformaciones unitarias preservan la ‘longitud’ de la norma l2 de cualquier vector en el espacio. Las transformaciones unitarias preservan los valores propios de una transformación lineal y preservan el núcleo y el codominio de las transformaciones lineales sobre las que actúan.

Es muy difícil precisar por qué esto es tan importante o por qué la norma l2 es sagrada. Tiene algunas propiedades únicas y es muy interesante, pero es difícil describir por qué lo sostenemos con tanta reverencia religiosa.

¿Por qué las isometrías de la métrica del producto interno son especiales y por qué nos importan tanto las representaciones canónicas de la transformación lineal con respecto a las isometrías de esta métrica en particular?

Los operadores unitarios y la representación canónica de las transformaciones lineales que crean son especiales, porque existen. Ofrecen estructura y elegancia al álgebra lineal que no existe en sus generalizaciones (o solo existe localmente).

Answer 3

Encontrar el SVD de una matriz es uno de los pocos (¿solo?) Problemas de optimización no triviales y no convexos , para el cual se puede encontrar una solución óptima globalmente comprobable. Eso es hermoso.

Answer 4

Su aplicación al momento de la intertia (Momento de inercia – Wikipedia) me ha sido útil.