¿Cómo se compara la covarianza de concatenación de dos matrices con la covarianza de matrices individuales?

Estoy tratando de pensar en una situación en la que tendría sentido multiplicar dos matrices de covarianza. Supongamos que tenemos tres variables aleatorias multidimensionales X, Y, Z, podemos formar las matrices de covariencia cov (X, Y), cov (Y, Z) y cov (X, Z) y estamos interesados ​​en cómo M = cov (X, Y) * cov (Y, Z) se compara con N = cov (X, Z).

Si pensamos en X, Z está perfectamente correlacionado, pero Y es completamente aleatorio y no correlacionado con ambos. Si Y es perfectamente aleatorio, tanto cov (X, Y) como cov (Y, Z) serán matrices cero y su producto será una matriz cero. Sin embargo, esperaríamos que cov (X, Z) tenga 1 a lo largo de la diagonal.


Para simplificar las cosas, consideremos un elemento en la matriz de covarianza y queremos encontrar la covarianza entre los conjuntos de datos [matemática] X_3 = \ {x_1, \ ldots, x_ {n_1}, x_ {n_1 + 1}, \ ldots, x_ {n_1 + n_2} \} [/ math] y [math] Y_3 [/ math] estos conjuntos de datos se pueden dividir en dos partes [math] X_1 = \ {x_1, \ ldots, x_ {n_1} \}, X_2 = \ {x_ {n_1 + 1}, \ ldots, x_ {n_1 + n_2} \} [/ math] y [math] Y_1, Y_2 [/ math]. El mismo procedimiento se puede aplicar a cada elemento en la matriz de covarianza completa de forma independiente. Deje [math] n_3 = n_1 + n_2 [/ math]

Primero considere los medios
[matemáticas] E (X_1) = \ frac {1} {n1} \ sum_ {i = 1} ^ {n_1} x_i [/ ​​matemáticas]
[matemáticas] E (X_2) = \ frac {1} {n2} \ sum_ {i = n_1 + 1} ^ {n_1 + n_2} x_i [/ ​​matemáticas]
y [matemáticas] E (X_3) = \ frac {1} {n_1 + n_2} (n_1E (X_1) + n_2E (X_2)) [/ matemáticas]

Ahora la covarianza es
[matemáticas]
cov (X_3, Y_3) = \ frac {1} {n3} \ sum_ {i = 1} ^ {n3} (x_i-E (X_3)) (y_i-E (Y_3)) [/ math]
[matemáticas]
\ begin {align}
\ qquad & = \ frac {1} {n3} \ sum_ {i = 1} ^ {n3} x_i y_i
– \ frac {1} {n3} \ sum_ {i = 1} ^ {n3} x_i E (Y_3) \\
& \ – \ frac {1} {n3} \ sum_ {i = 1} ^ {n3} y_i E (X_3)
+ \ frac {1} {n3} \ sum_ {i = 1} ^ {n3} E (X_3) E (Y_ 3) \\
\ end {alinear}
[/matemáticas]
[matemáticas]
\ qquad = \ frac {1} {n3} \ sum_ {i = 1} ^ {n3} x_i y_i
– E (X_3) E (Y_3)
[/matemáticas]
La segunda forma nos ayuda, ya que podemos dividir la suma
[matemáticas]
cov (X3, Y3) = \ frac {1} {n_3} \ sum_ {i = 1} ^ {n_1} x_i y_i
[/matemáticas]
[matemáticas]
+ \ frac {1} {n_3} \ sum_ {i = n_1 + 1} ^ {n_1 + n_2} x_i y_i
– E (X_3) E (Y_3)
[/matemáticas]
las dos sumas que podemos obtener de la covarianza de los conjuntos de datos X1, Y1 y X2, Y2
[matemáticas]
\ begin {align}
P1 & = \ sum_ {i = 1} ^ {n1} x_i y_i \\
& = n_1 * (cov (X1, Y1) + E (X_1) E (Y_1)) \\
P2 & = \ sum_ {i = n_1 + 1} ^ {n_1 + n_2} x_i y_i \\
& = n_2 * (cov (X2, Y2) + E (X_2) E (Y_2))
\ end {alinear}
[/matemáticas]
y
[matemáticas]
cov (X3, Y3) = \ frac {1} {n_3} (P1 + P2) – E (X_3) E (Y_3)
[/matemáticas]

Para el conjunto de datos completo podemos hacer un procedimiento similar. Ahora [math] E (X_1) [/ math] etc. es vectores de columna d-dim y [math] cov (X_1, X_1) [/ math] es una matriz ad * d. Encuentre la media de todo el conjunto de datos
[matemática] E (X_3) = \ frac {1} {n_3} (n_1 E (X_1) + n_2 E (X_2)) [/ matemática].

Formar las matrices
[matemáticas]
\ begin {align}
M_1 & = cov (X_1, X_1) + E (X_1) E (X_1) ^ T \\
M_2 & = cov (X_1, X_1) + E (X_2) E (X_2) ^ T \\
\ end {alinear}
[/matemáticas]
tenemos
[matemáticas]
\ begin {align}
cov (X_3, X_3) & = \ frac {1} {n_3} (n_1 M_1 + n_2 M_2) \\
& \ qquad- E (X_3) E (X_3) ^ T
\ end {alinear}
[/matemáticas].