Deje que [matemáticas] X [/ matemáticas] sea el número de lanzamientos hasta la primera cabeza. Si la moneda es justa, entonces [matemática] X \ sim [/ matemática] Geométrica (0.5).
Por definición, [matemáticas] H (X) = E (- \ log P (X)) [/ matemáticas].
Entonces tenemos:
[matemáticas] H (X) = \ sum_ {k = 1} ^ \ infty – \ log (0.5 ^ {k}) 0.5 ^ {k} [/ matemáticas]
- ¿Qué algoritmos han cambiado tu forma de pensar sobre todo?
- Cómo demostrar que el algoritmo de dijkstra siempre da la ruta óptima
- ¿Cuál es el pseudocódigo para encontrar la raíz (s) de [math] ax + bx ^ {0.5} + c = 0 [/ math]?
- Si el inicio se trata de resolver un problema, ¿qué problema están resolviendo las nuevas empresas de bebidas o cafés?
- ¿Cuál es la expresión regular para una fecha en el formato ’17 de marzo de 2016′?
Usaré registros de base 2, aunque es bastante fácil usar cualquier otra base.
[matemáticas] H (X) = \ sum_ {k = 1} ^ \ infty k 0.5 ^ {k} [/ matemáticas]
Ahora, vemos que esta suma es exactamente (nuevamente por definición) el valor esperado de la variable aleatoria misma.
[matemáticas] H (X) = E (X) = 2 [/ matemáticas]
Ahora, para una moneda general, tenemos:
[matemáticas] H (X) = \ sum_ {k = 1} ^ \ infty – \ log (p (1-p) ^ {k-1}) p (1-p) ^ {k-1} [/ matemática ]
[matemáticas] H (X) = \ sum_ {k = 1} ^ \ infty (- \ log p – (k-1) \ log (1-p)) p (1-p) ^ {k-1} [ /matemáticas]
[matemáticas] H (X) = – \ log p + \ log (1-p) – \ log (1-p) \ sum_ {k = 1} ^ \ infty kp (1-p) ^ {k-1} [ /matemáticas]
Nuevamente, la suma final es el valor esperado de la geometría que es el recíproco del parámetro:
[matemáticas] H (X) = – \ log p + \ log (1-p) – \ frac 1 p \ log (1-p) [/ math]
[matemáticas] H (X) = \ frac {-p \ log p- (1-p) \ log (1-p)} p [/ math]