High Efficiency Video Coding

Ab 2004 untersuchte die ITU-T Video Coding Experts Group (VCEG) Möglichkeiten, um die Komprimierung von Videos im Vergleich zu H.264/MPEG-4 AVC zu verbessern. Im Januar 2005 definierte die VCEG Schlüsselgebiete (KTA, Key Technical Areas) für weitere Untersuchungen. Die VCEG entwickelte eine Referenzsoftware, um Verbesserungen in diesen Schlüsselgebieten zu erproben.^[7] Als Basis dafür wurde die „Joint Model Reference Software“ verwendet, die vom MPEG & VCEG Joint Video Team als Basis des H.264/MPEG-4 AVC-Standards erstellt wurde. Die neu integrierten Techniken wurden in den folgenden vier Jahren in experimentellen Evaluationen getestet.^[8]

Als zwei mögliche Ansätze für die Standardisierung der verbesserten Komprimierungstechnologie galten: einen neuen Standard zu definieren oder das Erstellen von Erweiterungen zu H.264/MPEG-4 AVC. Das Projekt trug die vorläufigen Namen H.265 und H.NGVC (Next-Generation Video Coding) und war ein Großteil der Arbeit der VCEG bis zu seiner Entwicklung in dem H.265/HEVC-Gemeinschaftsprojekt mit MPEG im Jahr 2010. Der Name H.265 war vor allem für die mögliche Schaffung eines neuen Standards vorgesehen.

• Februar 2012: Committee Draft (vollständiger Entwurf des Standards)
• Juli 2012: Entwurf einer internationalen Norm
• 25. Januar 2013: Bestätigung als Standard durch die ITU^[9][10]

Ende 2014 stellte Samsung die erste kompakte Systemkamera NX1 vor, die Videoaufnahmen in diesem Standard auf Speicherkarte aufzeichnen konnte.^[11]

Die vorläufigen Anforderungen für NGVC waren eine Bitratenreduktion um 25 Prozent und eine Verringerung der Komplexität um 50 Prozent bei gleichbleibender subjektiver Bildqualität im Vergleich zu H.264/MPEG-4 AVC High Profile. Die Effizienz des HEVC-Codecs wird hauptsächlich durch geänderte Block-Größen bei der Komprimierung erreicht. Teilte H.264 das Bild noch in Blöcke von 16 × 16 Pixel ein, um diese jeweils separat zu betrachten, kann HEVC zwischen Blockgrößen von 4 × 4 und 64 × 64 wählen, was sich besonders bei großen Bildern vorteilhaft auswirkt. Bei Videos sind die sogenannten Transform-Blocks nun in vier Größen statt der vorherigen zwei verfügbar, die für Bildbereiche benutzt werden, die sich im Video von aufeinanderfolgenden Frames nicht verändern, und lediglich ihre Position wechseln, wie zum Beispiel bei Kameraschwenks.

Der im Januar 2013 verabschiedete Entwurf für H.265/HEVC^[12] definiert im Gegensatz zu H.264/MPEG-4 AVC nur die drei Profile Main, Main10 und MainStillPicture.Das Main-Profil des HEVC-Codec ist dabei etwa vergleichbar mit dem Progressive High Profil des H.264/MPEG-4 AVC Codecs.

Zusätzlich zum Normentwurf von HEVC wurde die Entwicklung von zukünftigen Erweiterungen für HEVC gestartet, wie etwa die Scalable-Video-Coding- (SVC)^[13] und die Multiview-Video-Coding-Erweiterung (MV-HEVC).

Der HEVC-Standard definiert zwei Ebenen (Main Tier und High Tier) sowie verschiedene Level.^[12] Der „Main Tier“ ist für die meisten Anwendungen ausgelegt worden, während der „High Tier“ nur für sehr anspruchsvolle Anwendungen Verwendung finden wird. Die Level definieren die Anforderungen für einen entsprechenden De- und Encoder, also welche maximale Auflösung und Bildwiederholungsrate dieser de- bzw. encodieren kann. Ein entsprechend ausgelegter Hardwaredecoder, der eine bestimmte Tier/Level-Kombination decodieren kann, muss immer auch alle darunter liegenden, niedrigeren Tiers und Levels decodieren können.

Für alle Level kleiner als Level 4 ist beim HEVC-Codec nur der „Main Tier“ spezifiziert.

Bemerkungen (englisch Notice):

Better Portable Graphics (BPG) ist ein 2014 von Fabrice Bellard aus dem HEVC-Standard entwickeltes Bildformat zur Speicherung von digitalen Standbildern.^[14] Es ist ein Containerformat, welches das Format HEVC Main 4:4:4 16 Still Picture mit bis zu 14 Bit verwendet. Vergleichbar mit dem JPEG-Format unterstützt auch BPG die Farbunterabtastungen 4:4:4, 4:2:2, und 4:2:0. Als Dateinamenserweiterung wird .bpg vorgeschlagen. Die Wiedergabe der .bpg-Bilder erfolgt in einem Browser über eine JavaScript-Anwendung in einem HTML-Canvas-Element.

Beim High Efficiency Image File Format (HEIF) kann ebenfalls HEVC für ein Bildformat verwendet werden. Dieses Format wird zum Beispiel auf neueren Apple-Geräten unterstützt. Im beschriebenen Fall (Nutzung von HEVC in einer HEIF-Datei) gibt es die Konvention, anstatt der Dateiendung .heif die Dateiendung .heic zu verwenden.

Ähnlich wie beim Vorgängerstandard H.264/MPEG-4 AVC haben zahlreiche Firmen Patentansprüche auf H.265/HEVC.^[15] Eine Nutzung erfordert somit die Zahlung von Patentgebühren an die MPEG LA und an andere Patentinhaber oder -verwalter. Anfang 2014 gab die MPEG LA noch relativ moderate Lizenz-Bedingungen vor: Die Nutzung war für bis zu 100.000 Geräte im Jahr kostenfrei, erst danach wurden 20 US-Cent pro Gerät fällig, gedeckelt bei 25 Millionen US-Dollar pro Unternehmen und Jahr. Die mit HEVC kodierten Inhalte sollten lizenzkostenfrei sein, aber eben nur in Bezug auf die von der MPEG LA verwalteten Patente.^[16] In der Europäischen Union werden Softwarepatente als nicht gültig angesehen, daher erfordern Softwarelösungen wie der VLC media player (zumindest nach Auffassung der VideoLAN-Organisation) keine Lizenz für HEVC.^[17] Aktuell sind 60 % dieser Patente ausgelaufen oder nicht mehr gültig.^[18]

Anfang 2015 bildeten jedoch Firmen, die sich von der MPEG LA nicht vertreten lassen wollen, einen Patentpool namens HEVC Advance. Dieser forderte zusätzliche Gebühren von bis zu 1,50 US-Dollar ab dem ersten Gerät. Außerdem sollte jeder, der Umsätze mit H.265-Inhalten macht, 0,5 Prozent seiner Erlöse daraus abführen.^[19]

In der Folge schloss sich eine Gruppe von Unternehmen zur Alliance for Open Media zusammen, um lizenzkostenfreie Video-Codecs zu entwickeln.

Im Februar 2016 verließ die Firma Technicolor den HEVC Advance Pool, um eine direkte Lizenzierung ihrer Patente zu ermöglichen.^[20] Die Lizenzsituation wurde hierdurch noch unübersichtlicher. Ab März 2017 trat zudem noch ein weiterer Pool namens Velos Media mit Forderungen nach weiteren Lizenzgebühren in Erscheinung.^[21] Auch Anfang 2018 war die Situation noch nicht besser.^[22]

Die Alliance for Open Media legte im März 2018 unter dem Namen AV1 ihren ersten Codec fest. Die Bildqualität soll bis zu 30 % besser sein als bei HEVC.^[23] Kurz zuvor hatte der HEVC Advance Pool seine Forderungen nach Nutzungsgebühren für Inhalte gestrichen und andere Lizenzgebühren reduziert.^[24]

Im Oktober 2022 wurde gemeldet, dass Chrome jetzt auch HEVC unterstützt, jedoch nur auf Geräten mit einer Hardware-Decodierung für HEVC.^[25][26]

Bisher existieren mit x265^[27] und Kvazaar^[28] zwei freie Encoder für HEVC, unter der Bezeichnung SVT-HEVC entwickelt Intel (seit September 2018 auch öffentlich) einen weiteren Encoder mit speziellem Fokus auf Echtzeitszenarien und bestimmte Prozessoren, der in Zukunft auch als Option innerhalb von X265 aufrufbar sein soll.^[29][30] Die libde265 ist ein freier Decoder mit eigenem Videoplayer für HEVC.^[31][32]

Weitere Implementierungen aus dem Test HEVC Codec Comparison – 2015!:^[33]

• f265 H.265 Encoder
• Intel MSS HEVC (GAcc) als (Software und GPU)
• Ittiam HEVC Hardware Encoder
• Strongene Lentoid HEVC Encoder
• SHBP H.265 Real time encoder

Bei Messungen der Universität Moskau im Jahr 2015 hatte der damals beste Encoder x265 im Vergleich H.265 zu H.264 nur einen 20 % geringeren Datenstrom als sein Vorgänger x264 bei gleicher Bildqualität und war damit nur 25 % besser im MSU-Test.^[34][35]Dies liegt jedoch auch an der Weiterentwicklung des x264-Codecs mit starken Verbesserungen aus den X.265-Ideen.

Das Ziel einer Verbesserung der Kompression von H.265 um 50 % gegenüber H.264 wird nicht generell erreicht, sondern ist ohnehin von verschiedenen Faktoren wie der Auflösung abhängig.

Der Intel Encoder MSS ist durch die Anpassung an Intel-CPUs erheblich schneller in der Erstellung der H.265-Dateien und erreichte ähnlich kleine Datenmengen im MSU-Test.^[36]

Im Test 2019 sind einige Encoder auch durch mehr Rechenaufwand an x265 vorbeigezogen. Bis zu 40 % besser als x264 sind verbesserte Encoder wie HW265.^[37]

Im Test mit anderen Codec-Konkurrenten wie VP9 und dessen Nachfolger AV1 sind diese zum Teil vorbeigezogen.^[38][39]

Im Oktober 2015 gründeten ITU-T VCEG und ISO/IEC MPEG eine neue Arbeitsgruppe, das Joint Video Exploration Team (JVET), um einen neuen Standard zur Videokompression zu entwickeln, der unter anderem auch die Kodiereffizienz weiter verbessert.^[40] Dieser wird als Versatile Video Coding Standard oder auch H.266 bezeichnet. Ein erster Entwurf hierzu wurde im April 2018 vorgestellt. Die Finalisierung des Standards wurde im Juli 2020 bekannt gegeben.^[41] Die Bitrate soll für UHD-Videos bei gleicher Qualität um 50 % gegenüber HEVC reduziert werden können, es werden Auflösungen bis 16K und 360-Grad Videos unterstützt.^{[42][43][44][45]}

• Mathias Wien: High Efficiency Video Coding: Coding Tools and Specification. Springer, 2014, ISBN 978-3-662-44275-3.
• Jens-Rainer Ohm: Noch effizienter, bitte. Der kommende Videokompressionsstandard High Efficiency Video Coding (HEVC). In: c’t. Nr. 14, 2012, S. 174–179.
• Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand: Overview of the High Efficiency Video Coding (HEVC) Standard. In: IEEE Transactions on Circuits and Systems for Video Technology. Band 22, Nr. 12, 2012 (online [PDF; 4,2 MB; abgerufen am 1. Dezember 2012]). 
• Jens-Rainer Ohm, Gary Sullivan, Heiko Schwarz, Thiow Keng Tan, Thomas Wiegand: Comparison of the Coding Efficiency of Video Coding Standards – Including High Efficiency Video Coding (HEVC). In: IEEE Transactions on Circuits and Systems for Video Technology. Band 22, Nr. 12, 2012 (online [PDF; 6,3 MB; abgerufen am 1. Dezember 2012]). 
• Tilo Strutz: Bilddatenkompression – Grundlagen, Codierung, Wavelets, JPEG, MPEG, H.264, HEVC. 5. Auflage, SpringerVieweg, 2017, ISBN 978-3-8348-1427-2, Seiten 313–345

• Website beim Heinrich-Hertz-Institut, Berlin
• Gemeinsames kooperatives Team auf Video Coding (JCT-VC)
• Video Coding Experts Group (VCEG)
• hohe Effizienz Video Coding / H.265. Von vcodex.com
• Wieso HEVC wichtig für die Ultra HD-Technologie sein wird