Información mutua
La información mutua mide cuánto más se sabe sobre un valor aleatorio cuando se da otro. Por ejemplo, conocer la temperatura de un día aleatorio del año no revelará qué mes es, pero dará alguna pista. Del mismo modo, saber qué mes es no revelará la temperatura exacta, pero hará que ciertas temperaturas sean más o menos probables. Estos indicios o cambios de probabilidad se explican y miden con la información mutua.
Cálculo de la información mutua
Información necesaria
Para calcular la información mutua, se necesita la probabilidad (azar) de todos los sucesos posibles y la probabilidad de que ocurran al mismo tiempo. Por ejemplo, para medir la información mutua entre el mes y la temperatura necesitaríamos saber cuántos días del año hay 10 grados centígrados, cuántos días del año son de marzo y, por último, cuántos días hay 10 grados centígrados en marzo.
Fórmula
La fórmula requiere la suma, o la adición, de muchos términos o números. Cada resultado posible tiene su propio término. Del cálculo anterior de la información mutua entre el mes y la temperatura, utilizaremos las siguientes variables:
- p(x,y) = probabilidad de que haya x grados centígrados en el mes y
- t(x) = probabilidad de que haya x grados Celsius (en cualquier día del año)
- m(y) = probabilidad de que sea el mes y
Esto significa que m(3) es igual a la probabilidad de que un día elegido al azar esté en marzo. Es 31/365, o sea, aproximadamente 0,085, ya que 31 de los 365 días del año son en marzo.
Un término sería el siguiente:
p ( x , y ) log ( p ( x , y ) t ( x ) m ( y ) ) {\displaystyle p(x,y)\\\Nlog {\frac {p(x,y)}{t(x)m(y)}{right)}\} } 
En esta fórmula, "log" significa logaritmo.
Sumando todos los términos posibles se obtiene el valor de la información mutua.
Comprender la información mutua
Valores posibles
Cuanto mayor sea la información mutua, más se aprenderá sobre un valor aleatorio (por ejemplo, el mes) cuando se le comunique otro (por ejemplo, la temperatura).
- Si la información mutua es nula, no se puede determinar nada sobre un valor cuando se da otro.
- Por ejemplo, saber si la última vez salió cara o cruz en el lanzamiento de una moneda no le dirá nada sobre lo que ocurrirá la próxima vez.
- Si la información mutua es pequeña, es posible que no haya información mutua. A veces los acontecimientos aleatorios parecen tener un patrón a corto plazo, pero en general no hay información mutua.
- Si la información mutua es grande, es probable que haya alguna conexión entre las dos cosas que se examinan.
- Como la temperatura y el mes están conectados, su información mutua sería mucho mayor que cero.
- No es fácil saber si la información mutua es significativa o grande.
- Si la información mutua es una, entonces conocer un valor te dirá exactamente el otro.
- Por ejemplo, si se selecciona un pupitre al azar en un aula, el profesor puede saber exactamente qué alumno se sentará allí. Saber qué pupitre se ha seleccionado nos dice exactamente qué alumno está conectado a él.
Datos importantes
La información mutua no cambia en función de cuál de los dos valores aleatorios se revele. Esto significa que sabemos tanto sobre la temperatura cuando se nos dice el mes como sobre el mes cuando se nos dice la temperatura.
La información mutua es difícil de comparar. Si calculamos la información mutua para el tiempo y otro valor para un juego de cartas, los dos valores no se pueden comparar fácilmente.
Páginas relacionadas
- Teoría de la información
