Álgebra lineal: ¿Qué es una explicación intuitiva de lo que significan los vectores propios para las matrices de la forma A * transpuesta (A)? ¿Y en qué se diferencian estos vectores propios de los de transposición (A) * A?

La diferencia viene de mirar la matriz A desde la perspectiva de (lo que yo llamo) espacio de fila o espacio de columna. Así que aquí está el trato (intente visualizar la siguiente descripción para obtener el máximo beneficio) …

Tenga en cuenta que está interesado en algunos datos que se encuentran en 2 dimensiones y tiene (por ejemplo) 3 muestras de estos datos. Puede recolectar estas 3 muestras juntas como vectores de columna y formar la matriz A que (por lo tanto) tiene dimensiones 2 × 3. Ahora puede estar interesado en analizar la covarianza de estas 3 muestras. Entonces forma la matriz de covarianza que es esencialmente
[matemáticas] A * A ‘= \ sum_ {i = 1} ^ {3} b_ {i} * b_ {i}’ [/ matemáticas]
donde [math] b_ {i} [/ math] son ​​las columnas de A.
Por lo tanto, los vectores propios de esta matriz le indicarán esencialmente la dirección de la varianza máxima dadas las 3 muestras en 2 dimensiones. Obviamente, cada vector propio también será un vector bidimensional. Observe también que puede haber como máximo 2 valores propios distintos de cero.

Ahora considere la segunda perspectiva.
Usted está interesado en algunos datos que se encuentran en un espacio tridimensional. Y tienes (así es) 2 muestras de él. Ahora está interesado en analizar la covarianza de estos dos vectores tridimensionales. Entonces forma la matriz de covarianza nuevamente. Solo que esta vez, su matriz de covarianza será:
[matemáticas] A ‘* A = \ sum_ {i = 1} ^ {2} c_ {i}’ * c_ {i} [/ matemáticas]
donde [math] c_ {i} [/ math] son ​​las filas de A.
Por lo tanto, los vectores propios de esta matriz le indicarán la dirección de varianza máxima dadas las 2 muestras en 3 dimensiones. Tenga en cuenta que esta vez, cada vector propio es tridimensional. Observe también que habrá como máximo 2 valores propios distintos de cero.

Entonces, realmente se trata de cómo almacenar sus datos, como filas o columnas.

Una técnica que analiza los vectores de fila y columna juntos es la Descomposición de valores singulares (SVD). Por lo tanto, es matemáticamente muy similar a PCA (análisis de vectores propios).

Nota: Supuse que la media cero para los puntos de datos es simple. Las mismas ideas se extienden también a dimensiones superiores.