SVD es una forma eficiente de resolver grandes problemas lineales de LSE.
LLSE funciona así
[matemáticas] x B = y [/ matemáticas]
[matemáticas] x ‘x B = x’y [/ matemáticas]
[matemáticas] (x’x) ^ {- 1} x’x B = (x’x) ^ {- 1} x ‘y [/ matemáticas]
[matemáticas] B = (x’x) ^ {- 1} x ‘y = x ^ + y [/ matemáticas]
El pseudoinverso [matemático] x ^ + [/ matemático] viene dado por
[matemáticas] x ^ + = (x’x) ^ {- 1} x ‘[/ matemáticas]
[matemática] B [/ matemática] son los coeficientes estimados o ajustados. Los valores ajustados (la matriz de sombreros en el análisis de regresión) son
[matemáticas] \ hat {y} = x (x’x) ^ {- 1} x ‘y = xx ^ + y = H y [/ matemáticas]
- Aprendizaje profundo: ¿El algoritmo PCA crea una representación distribuida?
- ¿Cuáles son las matrices con determinante 1?
- ¿Qué son las bases duales y los espacios duales?
- Cómo encontrar un valor propio y un vector propio usando C ++ o php
- ¿Cómo explicar intuitivamente las normas matriciales? Además, ¿cómo son útiles en la práctica?
Tenga en cuenta que [math] xx ^ {+} [/ math] es una proyección ortogonal en el espacio de columnas de [math] x [/ math].
Los residuales son
[matemáticas] R = y- \ hat {y} = y (1 – x (x’x) ^ {- 1} x ‘) = y (1-xx ^ +). [/ matemáticas]
El pseudoinverso de [matemática] x [/ matemática], [matemática] x ^ + [/ matemática] se calcula utilizando SVD.
[matemáticas] x = U \ Sigma V ‘[/ matemáticas]
[math] \ Sigma ^ + [/ math] se calcula simplemente invirtiendo elementos distintos de cero en [math] \ Sigma [/ math], y luego transponiendo el resultado. (También [math] U [/ math], [math] V [/ math] son ortonormales y fáciles de invertir y transpone = inversión). Ahora, el pseudoinverso puede calcularse usando,
[matemáticas] x ^ + = V \ Sigma ^ + U ‘. [/ matemáticas]
O,
[matemáticas] B = V \ Sigma ^ + U ‘y [/ matemáticas]
La utilidad de SVD se hace evidente solo para grandes problemas donde el error de la máquina se convierte en un factor, y utilizamos un SVD truncado y un enfoque de umbral.
Por supuesto, esto solo funciona para espacios donde las métricas de error se definen utilizando la norma L2.
[Tenga en cuenta que si uso el símbolo de transposición, me refiero a la transposición conjugada para la SVD. Preste atención a las pseudoinversiones izquierda / derecha: realmente depende de cómo se encuadre su problema (rango de fila completo / rango de columna completo)]