¿Hay alguna relación matemática o conceptual entre mínimos cuadrados y pseudo-inversas de matrices en álgebra lineal?

Mucho más. De hecho, son equivalentes entre sí.

Dado un sistema

[matemáticas] Ax = b [/ matemáticas]

Nos gustaría tener un objeto llamado inverso de [math] A [/ math] denotado [math] A ^ {- 1} [/ math]. Al aplicarlo a ambos lados tenemos

[matemáticas] x = A ^ {- 1} b [/ matemáticas]

Esta es la solución al sistema. Sin embargo, también podemos abordarlo como un problema de minimización, la solución de mínimos cuadrados.

[matemáticas] \ min_x \ | Hacha – b \ | _2 [/ matemáticas]

Donde [matemáticas] \ | u \ | _2 = \ sqrt {\ sum_j u_j ^ 2} [/ math]

La [matemática] x [/ matemática] que es la solución a nuestro sistema lineal le da el mejor valor posible a nuestro funcional, que es cero.

Si nuestro sistema no tiene una solución exacta, nos gustaría encontrar un valor que sea lo suficientemente bueno. Todavía podemos usar la solución de mínimos cuadrados.

Si multiplicamos ambos lados de nuestro sistema lineal por el adjunto de [math] A [/ math] tendremos un sistema que tiene la misma solución si fuera solucionable. De lo contrario, dará la solución de mínimos cuadrados.

[matemáticas] A ^ {*} Hacha = A ^ {*} b [/ matemáticas]

La matriz de gramo [matemática] A ^ {*} A [/ matemática] siempre es invertible, por lo que al multiplicar ambos lados por el inverso tenemos

[matemáticas] \ hat {x} = (A ^ {*} A) ^ {- 1} A ^ {*} b [/ matemáticas]

Donde [math] \ hat {x} [/ math] es el minimizador de [math] \ | Axe – b \ | _2 [/ math]

Si denotamos

[matemáticas] A ^ {+} = (A ^ {*} A) ^ {- 1} A ^ {*} [/ matemáticas]

entonces tenemos eso

[matemáticas] \ hat {x} = A ^ {+} b [/ matemáticas]

Si [math] A [/ math] era invertible que [math] A ^ {+} = A ^ {- 1} [/ math], entonces es un pseudoinverso inverso generalizado. Este pseudo-inverso particular es el pseudo-inverso de Moore-Penrose. Es la aplicación de mínimos cuadrados al problema.


Supongamos que nuestra matriz [matemáticas] A [/ matemáticas] está mal condicionada. Si tratamos de resolver los mínimos cuadrados numéricamente, puede esperar que los errores se salgan de control. En casos como este, queremos regularizar nuestro problema. Una forma de hacerlo es la regularización de Tikhonov, donde en su lugar trabajaremos con el deseo de minimizar

[matemáticas] \ min_x \ | Hacha – b \ | _2 + \ alpha \ | x \ | _2 [/ matemáticas]

Tenemos un término de penalización adicional que asegura que [math] x [/ math] no sea demasiado grande. Cuanto más cerca [math] \ alpha [/ math] esté a cero, más se parecerá a la solución de mínimos cuadrados.

Haciendo lo mismo que arriba y tenemos

[matemáticas] \ hat {x} _ {\ alpha} = (A ^ {*} A + \ alpha ^ 2 I) ^ {- 1} A ^ {*} b = A ^ {+} _ {\ alpha} b [/ matemáticas]

Donde [math] A ^ {+} _ {\ alpha} [/ math] es un pseudo-inverso regularizado.


Mínimos cuadrados – Wikipedia

Inverso de Moore – Penrose – Wikipedia

Regularización de Tikhonov – Wikipedia

El principal problema es resolver AX = b.
Si el sistema está subdeterminado (ninguna de las ecuaciones es menor que ninguna de las variables) obtendrá infinitas soluciones.
si el sistema tiene (no de ecuaciones = no de variables), entonces puede tomar el inverso de A y resolver X. Idealmente, en lugar de tomar el inverso de A, hacen la eliminación gaussiana.
pero si este sistema está sobredeterminado, es decir, ninguna ecuación es más que ninguna variable.
entonces no tenemos soluciones.
Luego tratamos de aproximar la solución usando mínimos cuadrados.
(AX-b) ^ 2 = 0
Como A no es una matriz cuadrada, intentará hacer que el lado izquierdo de la ecuación Ax = b sea cuadrado, es decir, Transponer (A) * A * X = Transponer (A) * b.
y luego tome el inverso, luego X = inverso (Transposición (A) * A) * Transposición (A) * b.
entonces esta inversa (Transposición (A) * A) * Transposición (A) se llama pseudo inversa.
Si su sistema está sobredeterminado, este pseudo inverso le dará una respuesta aproximada. (La mayoría de los ejemplos del mundo real se incluyen en este caso).
Si la matriz A es cuadrada, obtendrá la respuesta exacta.
entonces este pseudo inverso es un inverso generalizado. (Moore – pseudo inverso inverso)
Espero que lo hayas entendido.

¡Si! Citando de la fuente vinculada:

“El pseudo-inverso proporciona la solución óptima para el problema de los mínimos cuadrados” (Página en upenn.edu)