Usaré la fórmula que me recuerda Justin Rising para invertir una matriz cuadrada para mostrar que el estimador multidimensional [matemático] \ hat {\ beta} [/ matemático] para una regresión lineal es el mismo que el estimador unidimensional cuando establecemos [ math] p = 1 [/ math] en la matriz de diseño.
Para empezar, se puede mostrar usando algo de álgebra que para el problema de regresión multidimensional:
[math] \ hat {\ beta} = (X ^ TX) ^ {- 1} X ^ TY [/ math] (suponiendo que [math] (X ^ TX) [/ math] es invertible)
Apliquemos esto con su matriz de diseño. Primero, necesitamos introducir algunas anotaciones y resultados preliminares (en el primer paso factorizamos n):
- ¿Por qué una matriz cuyo determinante es 0 se llama matriz singular?
- ¿Cuál es la alegría de aprender álgebra lineal?
- ¿Se puede aplicar la regla de Sarrus a determinantes 4 × 4?
- ¿Por qué se puede usar la factorización matricial para hacer recomendaciones?
- ¿Qué es una explicación intuitiva de la descomposición de valores singulares (SVD)?
[matemáticas] X ^ TX = n \ begin {pmatrix} 1 & \ overline {X_n} \\ \ overline {X_n} & \ frac {\ sum {x_i ^ 2}} {n} \ end {pmatrix} [/ math ],
donde hemos introducido la media empírica [matemáticas] \ overline {X_n}: = \ frac {\ sum {x_i}} {n} [/ matemáticas].
Así encontramos que:
[matemática] det (X ^ TX) = n ^ 2Var (X_n) [/ matemática] donde [matemática] Var (X_n): = \ frac {\ sum {x_i ^ 2}} {n} – \ overline {X_n} ^ 2 [/ matemáticas].
Inyectando todos los resultados anteriores en la fórmula, obtenemos:
[matemáticas] (X ^ TX) ^ {- 1} = \ frac {1} {nVar (X_n)} \ begin {pmatrix} \ frac {\ sum {x_i ^ 2}} {n} & – \ overline {X_n } \\ – \ overline {X_n} & 1 \ end {pmatrix} [/ math].
Ahora necesitamos calcular [matemáticas] X ^ TY [/ matemáticas]. Note primero que:
[matemáticas] X ^ T = \ begin {pmatrix} 1 & \ cdots & 1 \\ x_1 & \ cdots & x_n \ end {pmatrix} [/ math]
y
[matemáticas] Y = (y_1, \ cdots, y_n) ^ T [/ matemáticas].
Así:
[matemáticas] X ^ TY = (\ sum {y_i}, \ sum {x_iy_i}) [/ matemáticas] [matemáticas] ^ T [/ matemáticas].
Entonces finalmente:
[matemáticas] \ hat {\ beta} = \ frac {1} {nVar (X_n)} \ begin {pmatrix} \ frac {\ sum {x_i ^ 2}} {n} & – \ overline {X_n} \\ – \ overline {X_n} & 1 \ end {pmatrix} \ begin {pmatrix} \ sum {y_i} \\ \ sum {x_iy_i} \ end {pmatrix} [/ math]
Haciendo algunas simplificaciones e introduciendo las siguientes dos notaciones
[matemática] Cov (X_n, Y_n): = \ frac {\ sum {x_iy_i}} {n} – \ overline {X_n} \, \ overline {Y_n} [/ math]
y
[matemáticas] Corr (X_n, Y_n): = \ frac {Cov (X_n, Y_n)} {\ sqrt {Var (X_n) Var (Y_n)}} [/ matemática], [
encontramos eso:
[matemáticas] \ hat {\ beta_0} = \ frac {\ overline {Y_n} \ sum {x_i ^ 2} – \ overline {X_n} \ sum {x_iy_i}} {nVar (X_n)} [/ math]
[matemáticas] \ hat {\ beta_1} = \ frac {Cov (X_n, Y_n)} {Var (X_n)} = \ frac {Corr (X_n, Y_n) sd (Y_n)} {sd (X_n)} [/ math ]
(donde hemos introducido la desviación estándar: [math] sd (X): = \ sqrt {Var (X)} [/ math]).
Después de algunas modificaciones más, también podemos mostrar que (dejado como ejercicio para el lector):
[matemáticas] \ hat {\ beta_0} = \ overline {Y_n} – \ hat {\ beta_1} \ overline {X_n} [/ math]
Estas son las fórmulas para la regresión lineal unidimensional con una intersección y una pendiente.
Espero que hayas disfrutado leyendo esto tanto como yo he disfrutado escribiéndolo.
Para obtener más recursos sobre la regresión lineal, como siempre puede leer sobre ella en esta página de Wikipedia:
Regresión lineal