¿Cuál es la diferencia entre un proceso ergódico estacionario y un proceso no ergódico estacionario?

Una advertencia inicial está en orden: el lenguaje para discutir este tema es un poco confuso cuando tratamos de evitar la notación matemática involucrada; por ejemplo, los conceptos de “estadísticas a lo largo del tiempo” y “estadísticas a lo largo de las realizaciones” necesitan un poco de reflexión …

Pero vamos a ello, sin embargo …

######

Un proceso estocástico (SP) es una colección de variables aleatorias (RV) indexadas por tiempo, [math] k [/ math].

Un SP estacionario es aquel en el que las estadísticas del RV, que se “arrojan” en cada instante [matemático] k [/ matemático], son invariables a lo largo del tiempo; estas “estadísticas” suelen ser el promedio, la varianza y las propiedades de término cruzado (covarianza, correlación) de la RV.

En teoría, para un SP dado, llámelo [matemáticas] x [k] [/ matemáticas], donde [matemáticas] k [/ matemáticas] es el índice de tiempo discreto (los SP discretos son más fáciles de entender que los SP continuos) que puede producir un número muy alto (incluso infinito) de “realizaciones”, es decir, “instancias” de ese SP: llámelas [matemáticas] x_1 [k], x_2 [k], \ cdots x_r [k] \ cdots [/ math] donde [math] r [/ math] es el índice de la realización .

Entonces, hay dos índices jugando el juego aquí: [matemáticas] k [/ matemáticas] por tiempo; y [math] r [/ math] para la realización.

En la siguiente imagen, relacionada con un SP continuo , la variable de tiempo es [matemática] t [/ matemática] (eje horizontal) y las realizaciones se indexan con A, B, C, D,… (eje vertical) y [matemática] X [/ math] es la denominación del SP. Esto ilustra el significado de los dos ejes asociados con un SP.

Para obtener las estadísticas de la RV [matemáticas] x [k_0] [/ matemáticas] en un instante determinado, [matemáticas] k_0 [/ matemáticas], tenemos que tomar el valor de esa RV tomada en varias realizaciones , [matemáticas] x_r [k_0], r = 1,2,3, \ cdots [/ math]. Esta operación se indica con el rectángulo verde en la imagen de arriba.

Ejemplifiquemos con el promedio [matemáticas] \ mu_ {x [k_0]} [/ matemáticas] estimado a partir de una muestra de realizaciones [matemáticas] R + 1 [/ matemáticas] (entre el número infinito de realizaciones del SP …)

[matemáticas] \ mu_ {x [k_0]} \ aprox \ frac {1} {R + 1} \ sum_ {r = r_0} ^ {r_0 + R} x_r [k_0] [/ matemáticas]

Un SP es estacionario si las estadísticas a lo largo de [math] k [/ math] no varían. Es decir, si se calcula, para una [matemática] k = k_0 [/ matemática] dada, las estadísticas de [matemática] x_r [k_0] [/ matemática] para [matemática] r = 1,2,3, \ cdots [ / math], son válidos para todos los instantes de tiempo [math] k [/ math] (las estadísticas incluyen la covarianza de [math] x [k_0] [/ math] con otras RV [math] x [k] [/ math ], [math] k \ ne k_0 [/ math], del mismo SP ubicado en otros instantes de tiempo).

Usando nuevamente la estadística promedio como ejemplo, en un SP estacionario podemos escribir

[matemáticas] \ mu_ {x [k]} \ equiv \ mu_X, \ quad \ forall \; k \ quad [/ math] (para un SP estacionario)

######

Un SP es ergódico si las estadísticas tomadas a lo largo del índice de tiempo, [matemáticas] k [/ matemáticas], son las mismas que las estadísticas tomadas a lo largo del eje de realización (como el promedio calculado anteriormente), indexadas por [matemáticas] r [/ matemáticas ]

En la práctica, para los SP donde solo podemos acceder a una sola realización, [math] r_0 [/ math], (y hay muchos casos de estos), ergodicidad significa que podemos “extraer” las estadísticas (promedio, varianza, etc.) a partir de esa realización [math] r_0 [/ math], muestreando varios [math] x [k] [/ math] a lo largo del eje de tiempo, [math] k [/ math], en lugar de promediar a lo largo de [math] r [ /matemáticas]. Esta estadística de tiempo, tomada a lo largo del tiempo [matemática] k [/ matemática], se indica mediante el rectángulo rojo en la imagen anterior.

Volviendo nuevamente a los cálculos promedio (bajo la hipótesis de que el número de muestras, [matemática] R [/ matemática], es un valor par) y utilizando una sola realización, [matemática] r_0 [/ matemática], del SP:

[matemáticas] \ mu_ {x [k_0]} \ aprox \ frac {1} {R + 1} \ sum_ {k = k_0-R / 2} ^ {k_0 + R / 2} x_ {r_0} [k] \ quad [/ math] (para un SP ergódico)

######

Para dar ejemplos concretos, pensemos cómo diseñar un SP estacionario y ergódico , y otro SP que sea estacionario pero no ergódico .

#######

Considere dos dados: un dado común de 6 caras, D6; y un dado de 4 caras menos común, D4. Mire la imagen a continuación que muestra varios dados de cara n :-). Los dados inferiores son los tipos de 6 caras y 4 caras.

En nuestro SP vamos a tirar un dado 100 veces. Pero lo haremos de dos maneras diferentes.

[1] Se crea un SP [matemático] X1 [/ matemático] estacionario y ergódico eligiendo siempre el dado de 6 caras, D6 , y lanzándolo 100 veces, con [matemático] k [/ matemático] como índice de la muestra , que es equivalente al tiempo. A continuación se muestran muestras posibles (simplificadas). La primera fila tiene el índice de tiempo horizontal [matemática] k [/ matemática]; el eje vertical está marcado con el índice de realización, [math] r [/ math]. Cada realización tiene al final la información sobre los dados usados ​​en ella.

– k = 1, 2, 3, 4, 5,… 99, 100

r = 1; 1 3 4 4 1… 2 1 (D6)

r = 2; 6 4 2 2 3… 5 5 (D6)

r = 3; 4 4 1 2 6… 1 6 (D6)

……

[2] Se crea un SP estacionario pero no ergódico [matemática] X2 [/ matemática] eligiendo primero el dado de 6 caras, D6 o el dado de 4 caras, D4, con un 50% de probabilidad de elegir cada uno, y tirando Es 100 veces. A continuación se muestran también muestras posibles (simplificadas también).

– k = 1, 2, 3, 4, 5,… 99, 100

r = 1; 2 3 5 4 1… 3 2 (D6)

r = 2; 1 1 4 2 2… 3 3 (D4)

r = 3; 4 4 1 2 2… 1 1 (D4)

r = 4; 5 3 1 2 5… 1 1 (D6)

……

######

Ambos SP son estacionarios porque, en ambas experiencias, las estadísticas siguen siendo las mismas a lo largo del tiempo (lanzamiento de dados, [matemática] k = 1, \ cdots, 100 [/ matemática]). Entonces, la ley de probabilidad asociada a cada RV, [matemática] x [k] [/ matemática], es siempre la misma.

En cuanto al valor promedio de cada dado, son [matemáticas] \ mu_ {D6} = (1 + 2 + 3 + 4 + 5 + 6) /6=3.5 [/ matemáticas] y [matemáticas] \ mu_ {D4} = (1 + 2 + 3 + 4) /4=2.5 [/ matemáticas] si D4.

Ahora pensemos en SP [matemáticas] X1 [/ matemáticas]. Si estimamos el promedio [math] \ mu_ {X1} [/ math] ya sea con muestras a lo largo del tiempo [math] k [/ math] en cierta realización [math] r_0 [/ math], o, por un cierto instante [ matemática] k_0 [/ matemática], con muestras a lo largo del eje de realización, [matemática] r [/ matemática], obtendremos el mismo valor 3.5 (cuando el número de muestras es infinito) porque los dados siempre serán los mismos. Entonces, el proceso [matemáticas] X1 [/ matemáticas] es ergódico ya que los promedios a lo largo del tiempo y la realización son los mismos.

Pero el SP [matemáticas] X2 [/ matemáticas] no es ergódico . Si estimamos el promedio a lo largo del eje de tiempo, [matemática] k [/ matemática], obtenemos 3.5, si el dado usado en esa instancia es D6, o obtenemos 2.5, el promedio del dado D4 si es el indicado. siendo utilizado.

Pero si estimamos el promedio, para un instante dado [matemática] k_0 [/ matemática], a lo largo del eje de realización, [matemática] r [/ matemática], no obtenemos ninguno de esos valores. Como cada realización tiene un 50% de probabilidad de usar D4 y un 50% de probabilidad de usar D6, el promedio estimado para un gran número de muestras es [matemática] \ mu_ {k_0} = 0.5 (3.5 + 2.5) = 3 [/ matemática], un valor que nunca se puede estimar haciendo un promedio de tiempo en una sola realización .

######

Entonces, estos fueron dos ejemplos que, espero, respondan a su pregunta.

HTH

Para un proceso ergódico, podría tomar cualquier ruta de muestra (realización), y sería representativo del proceso aleatorio.

En otras palabras, puede derivar las propiedades de nivel macro del proceso aleatorio, observando cualquier comportamiento de nivel micro.

Para un proceso no ergódico esto no es posible. Tendría que observar todos los comportamientos de nivel micro (es decir, todas las rutas de muestra) y luego calcular sus estadísticas para obtener una imagen de nivel macro del proceso aleatorio.

Pero dicho esto, esta es una visión muy elemental de la ergodicidad, y necesitaría muchos supuestos simplificadores para ser cierta. La comprensión del verdadero concepto de ergodicidad requiere cierta madurez matemática.

Ver por ejemplo:

https://en.wikipedia.org/wiki/Er
http: //vserver1.cscs.lsa.umich.e

En cuanto a las explicaciones visuales, debo decir que no es un concepto fácil de visualizar.
De hecho, muchas de las cosas que nos enseñan los EE sobre la teoría de la probabilidad, en libros como BP Lathi, Simon Haykin, Proakis, etc., no dan la imagen completa. Si realmente desea comprender los procesos estocásticos, intente leer algunos libros sobre física estadística (como el libro de Reif, por ejemplo), que están más cerca de la teoría matemática real y proporcionarían un buen equilibrio entre el rigor y la intuición.

Un proceso ergódico es aquel para el cual el espacio de fase está conectado bajo condiciones dadas de las variables externas. Un proceso no ergódico es aquel para el cual el espacio de fase no está conectado para condiciones dadas.

Un simple ejemplo:

Considere el modelo de Ising bidimensional: Wikipedia en una red infinita, en campo magnético cero, con algún tipo de dinámica de giro único. A una temperatura alta, [matemática] T> T_c [/ matemática], este modelo es ergódico. Pero a una temperatura baja, [matemática] T

Los procesos ergódicos son un subconjunto de procesos estacionarios.

Las estadísticas de un proceso aleatorio ergódico estacionario se pueden calcular observando todo el conjunto en un momento específico O observando una sola realización en todo momento . Los procesos no ergódicos estacionarios no comparten una equivalencia entre las estadísticas temporales y de conjunto.

1. Un proceso aleatorio cuyas características estadísticas no cambian con el tiempo se conoce como un proceso aleatorio estacionario.
Por lo tanto, el origen del cambio de tiempo no tendrá ningún efecto en el proceso aleatorio estacionario.
Y es al revés llamado como proceso no estacionario.