Unidad 1
- Tratamiento probabilístico de la información. Variables estocásticas. Distribución de probabilidad. Probabilidad marginal, condicional y conjunta. Teorema de Bayes. Covarianza y correlación. Estimación de variables estocásticas. Muestreo computacional.
Unidad 2
- Procesos estocásticos discretos. Cadenas de Markov. Grafos de estados. Equilibrio estadístico. Recurrencia. Fórmulas de Chapman-Kolmogorov. Autocovarianza y autocorrelación.
Unidad 3
- Noción de Información. Particiones y árboles. Codificación. Longitud media de código. Concepto de Entropía. Información condicional.
Unidad 4
- Fuentes de información y su codificación. Propiedades de las fuentes sin memoria. Fuentes con memoria. Clasificación de códigos. Condición de prefijo y códigos instantáneos. Inecuación de Kraft. Construcción de códigos compactos. Códigos de Shannon, Fano y Huffman. Rendimiento y redundancia de un código. Extensión de fuentes. Propiedad extensiva de la Entropía. Primer Teorema de Shannon.
Unidad 5
- Compresión de datos. Métodos de compresión sin pérdida. Esquemas de compresión adaptativos. Codificación dinámica de Huffman. Métodos basados en diccionario. Técnicas de compresión con pérdida. Compresión de texto, imágenes, sonido y video.
Unidad 6
- Canales. Transmisión de la información y probabilidades condicionales. Entropías a-priori y a-posteriori. Ruido y pérdida. Clasificación de canales. Canales en serie. Balance de entropías. Información mutua. Capacidad del canal. Probabilidad de error. Segundo Teorema de Shannon.
Unidad 7
- Método de máxima entropía. Aplicaciones.