¿Por qué se permite que una regresión lineal sea no lineal en sus variables, pero no en sus coeficientes modelo?

Answer 1

¿Por qué se permite que una regresión lineal sea no lineal en sus variables, pero no en sus coeficientes modelo?

Por dos razones. Primero, lineal se refiere a las relaciones de “línea recta”, pero eso no implica que la regresión lineal se limite a estudiar estrictamente las relaciones de “línea recta”. Segundo, la regresión lineal que usted describe es inconsistente.

Variables no lineales

Si te doy algunos puntos de datos,

[matemáticas] (x, y) = \ {(0, 0), (1, 1), (2, 4), (3, 9), (4, 16) \} [/ matemáticas]

probablemente se apresure a señalar su ecuación lineal,

[matemáticas] y = x ^ 2 [/ matemáticas]

y estarías en lo correcto Pero estimaciones de mínimos cuadrados ordinarios

[matemáticas] \ hat {y} = -7 + 6 * x [/ matemáticas]

¿Lo que acaba de suceder? ¿Por qué OLS no encontró la línea de mejor ajuste? ¡Nuestra predicción de [matemáticas] y = x ^ 2 [/ matemáticas] fue perfecta!

Coeficientes del modelo no lineal

Aquí está el problema: el polinomio [matemático] x ^ 2 [/ matemático] no es lineal. Es una función , no un coeficiente. Todos los modelos lineales encuentran el coeficiente óptimo [math] \ beta [/ math] para cada variable.

Muchas funciones son difíciles de estimar con un solo coeficiente, entonces ¿por qué los modelos lineales son tan poderosos? El estadístico inteligente notará lo que teníamos antes, [matemática] y = x ^ 2 [/ matemática] es un predictor perfecto. Entonces el estadístico inteligente transforma sus datos, así:

[matemáticas] x_ {0} = x ^ 2 [/ matemáticas]

y ahora su estimación es una ecuación lineal. Para que pueda escribir su modelo como

[matemáticas] \ hat {y} = 0 + 1 * x_ {0} = x ^ 2 [/ matemáticas]

Así que ahora tenemos una regresión lineal que no es lineal en sus variables pero no en sus coeficientes modelo. Porque los coeficientes no lineales son inconsistentes con la premisa de los modelos lineales.

Los modelos no lineales también existen y pueden ser útiles, pero eso es para otra publicación.

Answer 2

El modelo lineal general es [matemática] Y = XB + E [/ matemática] donde [matemática] Y, E \ in \ mathbb {R} ^ {n \ times k} [/ matemática], [matemática] X \ in \ mathbb {R} ^ {n \ times p} [/ math], [math] B \ in \ mathbb {R} ^ {p \ times k} [/ math] y [math] E [/ math] tiene el media apropiada y estructura de covarianza. Cualquier cosa que pueda representarse de esta forma puede analizarse utilizando la teoría estándar de modelos lineales, independientemente de cómo las columnas de [math] X [/ math] estén relacionadas entre sí.

Answer 3

Por la misma razón, no consideraría y = a * x + b ^ 2 * x + ca ecuación cuadrática. Si cuadras los coeficientes (que son constantes) la ecuación sigue siendo lineal.