¿Cuál es el significado detrás del valor singular en la descomposición del valor singular?

Answer 1

Cada matriz [math] A \ in \ mathbb {C} ^ {m \ times n} [/ math] puede “descomponerse” en el producto de tres matrices:

[matemáticas] A = U \ Sigma V ^ * [/ matemáticas]

donde [math] U \ in \ mathbb {C} ^ {m \ times m} [/ math] y [math] V \ in \ mathbb {C} ^ {n \ times n} [/ math] son ​​matrices unitarias, y donde [math] \ Sigma [/ math] es una matriz diagonal con la misma forma que [math] A [/ math]. (La estrella denota la transposición conjugada). Esto se llama Descomposición de valor singular (SVD).

Las entradas fuera de la diagonal de [math] \ Sigma [/ math] son ​​todas cero. Las entradas diagonales [math] \ sigma_j = \ Sigma_ {jj} [/ math] se llaman valores singulares de la matriz [math] A [/ math]. Son números reales no negativos. Por convención , definimos el SVD para que [math] \ sigma_1 \ geq \ sigma_2 \ geq \ dots \ geq \ sigma_p \ geq 0 [/ math], donde [math] p = \ min (m, n) [/ math ] Usualmente nos referimos al valor singular más grande [math] \ sigma_1 [/ math] como el primer valor singular.

Para cada [math] A \ in \ mathbb {C} ^ {m \ times n} [/ math], la SVD existe y los valores singulares son únicos. Como Ariel Gershon mencionó en su respuesta, los valores singulares están estrechamente relacionados con los valores propios. Específicamente, los valores singulares distintos de cero de [matemática] A [/ matemática] son ​​iguales a las raíces cuadradas de los valores propios distintos de cero de [matemática] AA ^ * [/ matemática] o [matemática] A ^ * A [/ matemáticas]. En el caso de que [math] A = A ^ * [/ math], los valores singulares de [math] A [/ math] son ​​simplemente los valores absolutos de los valores propios de [math] A [/ math]. Si [math] A [/ math] es una matriz cuadrada, entonces su determinante es el producto de sus valores singulares.

Para una interpretación geométrica de la SVD y los valores singulares, recomiendo el Capítulo 5 del libro inmaculado de Trefethen y Bau, Álgebra lineal numérica .

Answer 2

Tiene que ver con la definición del número de condición en el análisis numérico. Una matriz es singular si tiene un rango deficiente de condicionamiento en una computadora.

El número de condición es, espere, [math] \ kappa (A) = \ frac {\ sigma_ {max} (A)} {\ sigma_ {min} (A)} [/ math]

lo que significa que es la amplificación del error de la máquina en una computadora debido a la pérdida de independencia lineal.

En realidad, puede haber planteado formas idénticas para hacer la descomposición QR, sin embargo, las reflexiones de los dueños de casa son estables, el método de gram schmidt no lo es. Porque es una ortogonalización triangular en comparación con la triangulización ortogonal. Usted genera la matriz R a partir de un producto de matrices unitarias en el hogar, en gram schmidt genera la matriz unitaria para las matrices R. Que puede estar mal acondicionado y amplificar el error. Es decir, si la matriz original está mal acondicionada y utiliza un método gram-schmidt, no tendrá un buen método para calcularla. Por lo tanto, puede tomar y generar una matriz tomando la descomposición QR de matrices aleatorias para formar U, V. Ahora tome un vector de valores singulares, si observa que la fracción del máximo frente al mínimo de los valores singulares nos da el número de condición. Pierdes la precisión aquí.

Para ilustrar si, [matemáticas] A = QR [/ matemáticas]

entonces [matemáticas] R_ {m-1} R_ {m-2} \ cdots R_ {1} A = Q [/ matemáticas]

si el número de condición de cada R es 2 ym = 20

tenemos [matemáticas] 2 ^ {19} [/ matemáticas]

para un número de condición. O sobre [matemáticas] 5 × 10 ^ {5} [/ matemáticas]

eso es bastante malo …

en comparación. [matemáticas] Q_ {m-1} Q_ {m-2} \ cdots Q_ {1} A = R [/ matemáticas]

El número de condición es 1 para cada matriz unitaria.

Para algunas matrices suficientemente grandes, simplemente amplifica el error hasta que no haya ninguna precisión en absoluto. Alguien dijo que se portaba mal. Los algoritmos se comportan mal. Es exactamente sobre matrices que no están regularizadas. Y la SVD ofrece un método de regularización ajustable. Eliminamos pequeños valores singulares y controlamos el número de condición mejorando otros algoritmos.

Si elegimos [math] S [/ math] donde eps> 1e-8, 1e-12

estamos seleccionando ese valor singular máximo dado, nuestro número de condición permanece bien y no destruimos nuestra precisión.

Answer 3

Para una matriz [matemática] A [/ matemática], los valores singulares se definen como las raíces cuadradas no negativas de los valores propios de [matemática] A ^ TA [/ matemática]. En la descomposición de valor singular, la matriz [matemática] A [/ matemática] se “descompone” en un producto [matemática] U \ cdot S \ cdot V [/ matemática], donde las entradas diagonales de [matemática] S [/ math] son ​​los valores singulares de [math] A [/ math].

En cuanto a por qué se llaman “valores singulares”, supongo que no podrían pensar en un nombre mejor.