Supongamos que tiene una [matemática] n [/ matemática] por [matemática] d [/ matemática] matriz [matemática] X [/ matemática], donde [matemática] n [/ matemática] es el número de muestras y [matemática] d [/ math] es la dimensionalidad del espacio de características. Primero, supongamos que sus columnas son de media cero; de lo contrario, la matriz de covarianza de la muestra es un poco más complicada que solo [matemática] X ^ TX / (n-1) [/ matemática].
Ahora, la descomposición de valor singular de [matemáticas] X [/ matemáticas] se puede escribir como [matemáticas] U \ Sigma V ^ T [/ matemáticas]. Por lo tanto, podemos escribir la descomposición del valor singular de [matemática] X ^ TX / (n-1) [/ matemática] como
[matemáticas] \ frac {1} {n-1} (U \ Sigma V ^ T) ^ TU \ Sigma V ^ T = \ frac {1} {n-1} V \ Sigma U ^ TU \ Sigma V ^ T [/matemáticas]
[matemática] = \ frac {1} {n-1} V \ Sigma \ Sigma V ^ T [/ matemática] (porque [matemática] U [/ matemática] es ortonormal)
[matemática] = V \ frac {\ Sigma ^ 2} {n-1} V ^ T [/ matemática] (porque [matemática] \ Sigma [/ matemática] es diagonal)
Ok, genial Ahora, podemos escribir la descomposición del valor propio de la matriz de covarianza de la muestra como [matemática] VSV ^ T [/ matemática], donde [matemática] S = \ frac {1} {n-1} \ Sigma ^ 2 [/ matemática].
- ¿Cómo es tomar Math 217 (Álgebra lineal de honores) en Princeton?
- ¿Cuál es la intuición detrás de la matriz de coeficientes en álgebra lineal?
- ¿Es equivalente a decir para una matriz, sus valores propios son todos positivos, por lo que esta matriz es positiva-definida? ¿Por qué?
- ¿Cómo describirías Matrix intuitivamente?
- ¿Cómo se resuelve un problema de álgebra “enredado”?
¡Hurra! Entonces ¿Que aprendimos? Aprendimos que los vectores propios de la matriz de covarianza de muestra son los mismos que los vectores singulares de [math] X [/ math]. Y que si cuadras los valores singulares y los divides por [math] n-1 [/ math], obtienes los valores propios.
En cuanto a su otra pregunta sobre qué representan los vectores propios / valores singulares, esto se ha respondido bastante bien en otros lugares, por ejemplo, ¿qué representan los valores propios y los vectores propios intuitivamente? ¿Cuál es su significado? o ¿Cuál es la mejor manera de explicar intuitivamente qué son los vectores propios y los valores propios? o ¿Qué es un vector propio de una matriz de covarianza?