H.264/MPEG-4 AVC

El uso inicial del MPEG-4 AVC estuvo enfocado hacia el vídeo de baja calidad para videoconferencia y aplicaciones por Internet, basado en 8 bits/muestra y con un muestreo ortogonal de 4:2:0. Esto no daba salida al uso de este códec en ambientes profesionales que exigen resoluciones más elevadas, necesitan más de 8 bits/muestra y un muestreo de 4:4:4 o 4:2:2, funciones para la mezcla de escenas, tasas binarias más elevadas, poder representar algunas partes de video sin pérdidas y utilizar el sistema de color por componentes RGB. Por este motivo surgió la necesidad de programar unas extensiones que soportasen esta demanda. Tras un año de trabajo intenso surgieron las “extensiones de gama de fidelidad” (FRExt) que incluían:

• Sustento de un tamaño de transformada adaptativo.
• Sustento de una cuantificación con matrices escaladas.
• Sustento de una representación eficiente sin pérdidas de regiones específicas.

Este conjunto de extensiones denominadas de "perfil alto" son:

• La extensión High que admite 4:2:0 hasta 8 bits/muestra.
• La extensión High-10 que admite 4:2:0 hasta 10 bits/muestra.
• La extensión High 4:2:2 que admite hasta 4:2:2 y 10 bits/muestra.
• La extensión High 4:4:4 que admite hasta 4:4:4 y 12 bits/muestra y la codificación de regiones sin pérdidas.

A continuación podemos ver una tabla con más especificaciones sobre estos perfiles en contraste con el perfil original:

H.264/MPEG-4 AVC no supone una gran tecnología con respecto a las normas de codificación de vídeo anteriores. Las diferencias se pueden encontrar a pequeña escala sobre el principio general de codificación (predicción, transformada, cuantificación, etc.). La clave de todo ello es la menor cuantía de información que se necesita almacenar en los videos codificados mediante este códec.

Tipos de imágenes

Podemos encontrar las mismas imágenes que en las normas precedentes (Imágenes I, P y B) y dos nuevas, la SP (Switching P) y la SI (Switching I) que sirven para codificar la transición entre dos flujos de vídeo. Permiten, sin enviar imágenes intra muy costosas en tiempos de procesamiento, pasar de un vídeo a otro utilizando predicción temporal o espacial como antes, pero con la ventaja que permiten la reconstrucción de valores específicos exactos de la muestra aunque se utilicen imágenes de referencia diferentes o un número diferente de imágenes de referencia en el proceso de predicción.

Compensación de movimiento

El proceso de compensación de movimiento es diferente de las normas precedentes puesto que propone una gran variedad de formas y de particiones de bloques. De cara a la compensación de movimiento, cada macrobloque, aparte del tamaño original (16x16 píxeles), puede ser descompuesto en subbloques de 16 x 8, 8 x 16 u 8 x 8 píxeles. En este último caso, es posible descomponer a su vez cada subbloque de 8 x 8 píxeles en particiones de 8 x 4, 4 x 8 o 4 x 4 píxeles. Antes, el estándar más novedoso introducía particiones de 8x8. Esta variedad de particiones proporciona una mayor exactitud en la estimación, a lo que se suma una precisión que puede llegar hasta un cuarto de píxel.

Transformada

Es una aproximación a la DCT (transformada discreta del coseno) que viene utilizándose en vídeo pero con las siguientes particularidades:

• Tamaño: 4x4 píxeles (8x8 en los perfiles FRExt).
• Coeficientes enteros: lo que permite evitar los errores de redondeo habituales en la DCT clásica (coeficientes irracionales) y garantizar un ajuste perfecto entre la transformación directa y la inversa.
• Precisión finita: Otra consecuencia favorable de la característica anterior es que se puede calcular sin exceder los 16 bits de precisión.
• Eficiencia: Se puede implementar exclusivamente por medio de sumas y desplazamientos binarios.

Ejemplo de matrices de transformación

${\displaystyle T_{4\times 4}={\begin{bmatrix}1&1&1&1\\2&1&-1&-2\\1&-1&-1&1\\1&-2&2&-1\end{bmatrix}},\quad T_{8\times 8}={\begin{bmatrix}8&8&8&8&8&8&8&8\\12&10&6&3&-3&-6&-10&-12\\8&4&-4&-8&-8&-4&4&8\\10&-3&-12&-6&6&12&3&-10\\8&-8&-8&8&8&-8&-8&8\\6&-12&3&10&10&-3&12&-6\\4&-8&8&-4&-4&8&-8&4\\3&-6&10&-12&12&-10&6&-3\end{bmatrix}}}$

Cuantificación

Cada paso del parámetro de cuantificación (QP) incrementa un 12,5% el intervalo de cuantificación, lo que equivale a duplicarlo por cada 6 pasos. El rango dinámico del QP ha aumentado respecto a normas precedentes, puesto que los valores van de 0 a 51. Los macrobloques se cuantifican utilizando un parámetro de control que puede cambiar adaptándose al bloque por cada bit adicional (partiendo de 8 bits, 52 pasos). Además, para poder conseguir los mejores resultados visuales la cuantificación de la crominancia es más esmerada que la de luminancia.

Filtro de "deblocking"

H.264 también integra un filtro antibloques que mejora la eficacia de compresión y la calidad visual de las secuencias de vídeo eliminando efectos indeseables de la codificación como por ejemplo el efecto de bloques.

Exploración de los coeficientes

Existen dos modos de exploración de los coeficientes transformados: "zig-zag" y "zig-zag inverso". El segundo modo de exploración permite en particular la lectura del macrobloque en sentido contrario para poder funcionar con la codificación entrópica adaptativa.

Codificación entrópica

La codificación entrópica se puede realizar de tres formas diferentes. Un primer método utilizado es el conocido UVLC (Universal Variable Length Coding). Este tipo de codificación es utilizado para codificar la gran mayoría de los elementos de sincronización y cabeceras. Los otros dos métodos son utilizados para codificar buena parte del resto de elementos sintácticos (coeficientes, vectores de movimiento). Las codificaciones utilizadas para esta tarea están basadas en VLC (Variable Length Coding) de forma adaptativa, de este concepto nace el CAVLC (Context Adaptative Variable Length Coding) y el CABAC (Context Adaptative Binary Arithmetic Coding).

Adaptación a la red

Conceptualmente los algoritmos están divididos en dos capas: una primera capa de codificación de vídeo VCL (Video Coding Layer) que se ocupa de representar eficazmente el contenido de vídeo y una capa de adaptación a la red NAL (Network Abstraction Layer) que está dirigida más particularmente a adaptar el formato de datos de vídeo al soporte de transmisión.

Algoritmos para la prevención de pérdidas

FMO y ASO

La ordenación flexible de macrobloques (FMO) y la ordenación arbitraria de slices (ASO) son técnicas para reestructurar la representación de las regiones fundamentales (macrobloques) aunque también pueden ser utilizadas para otros objetivos.

DP

La partición de datos (DP) proporciona la capacidad de separar los elementos de sintaxis más importantes de los menos importantes en paquetes de datos diferentes, permitiendo el uso de protección de error desigual (UEP).

RS

El algoritmo de slices redundantes (RS) permite a un codificador enviar una representación suplementaria de una región de imagen que puede ser usada si la representación primaria es corrompida o perdida.

• H.265
• X264
• WebM
• HTML5
• AV1

• ITU-T: H.264 : Advanced video coding for generic audiovisual services (en inglés)