Il panorama dei codec sta cambiando, con sei nuovi codec in arrivo entro la fine del 2022-2023. All'inizio del 2022-2023, la maggior parte dei produttori di video in streaming codificava esclusivamente con il codec H.264, che ha debuttato nel 2003. Alcuni editori più grandi come Netflix, Amazon, YouTube e Facebook hanno anche implementato il successore basato su standard H.264, il codec HEVC e / o il codec VP9 di Google. Una manciata di produttori ha sperimentato il codec AV1 di Alliance for Open Media. Oltre a questi quattro codec esistenti, nel 2022-2023 MPEG lancerà tre nuovi codec, Versatile Video Coding (VVC), Essential Video Coding (EVC) e Low Complexity Enhancement Video Coding (LCEVC).
Con sei nuovi codec da considerare entro la fine del 2022-2023, vale la pena rivedere i fattori che contribuiscono al successo dell'adozione di un codec. In questo articolo, esaminerò questi fattori utilizzando H.264 e HEVC e creerò un framework di analisi che userò nei prossimi articoli per ostacolare il potenziale successo di AV1 e dei tre nuovi codec MPEG.
Tieni presente che scriverò principalmente dal punto di vista dell'editore; non dal punto di vista del lettore o del fornitore del codificatore.
- Comprensione delle soluzioni di streaming a bassa latenza
- Le migliori telecamere PTZ, dispositivi di acquisizione e streaming
1. Qual è l'efficienza comparativa del codec?
Il ruolo più essenziale di un codec è ridurre le dimensioni dello stream necessario per fornire video ai nostri spettatori. In molti casi, l'efficienza viene misurata rispetto a H.264. Lo si vede nella Figura 1, dal rapporto di confronto HEVC 2015 dell'Università statale di Mosca (MSU). A titolo di spiegazione, MSU presenta sempre i suoi dati utilizzando x264, uno dei numerosi codec H.264, con una qualità del 100%. Quindi, per ogni altro codec, mostra la riduzione percentuale o l'aumento della velocità dati necessaria per produrre la stessa qualità di x264.
Ad esempio, nel grafico, il codec x265 può fornire la stessa qualità di x264 al 74% del bitrate o un risparmio di circa il 26%. Il codec VP9 non è poi così lontano, al 77%, o un risparmio di circa il 23% rispetto a x264.
Questo risparmio rappresenta un vantaggio monetario primario fornito dai codec più recenti. L'implementazione di x265 nel 2015 avrebbe ridotto del 26% i costi della larghezza di banda per la consegna di video di pari qualità a lettori compatibili con HEVC. VP9 avrebbe ridotto i costi della larghezza di banda del 23%.
Pensa all'adattamento del codec come a un'analisi di pareggio. Esistono due fonti di afflusso; risparmi per la consegna ai clienti esistenti, di cui abbiamo appena parlato, e entrate aggiuntive per i clienti in nuovi mercati, che tratterò nella sezione successiva. Ci sono più costi associati alle implementazioni dei codec. Fornirai video con codifica H.264 per il prossimo futuro, quindi i costi di codifica e archiviazione per i nuovi codec sono entrambi additivi. Dovrai anche aggiornare il tuo lettore ed eseguire alcune misure di test e controllo di qualità.
Il risparmio di larghezza di banda è ovviamente correlato al numero di spettatori per ogni video. Ecco un semplice esempio. Supponiamo che la codifica in un ladder di codifica HEVC costi $ 20,00 e di aver risparmiato $ 0,01 in costi di larghezza di banda per visualizzatore. Una volta che 2000 spettatori guardano il video, hai recuperato il costo. Se 2 milioni di spettatori guardano il video, hai risparmiato $ 20.000 in costi di larghezza di banda. Ecco perché è più facile per le grandi aziende come Netflix, YouTube, Amazon e Facebook implementare nuovi codici.
Indipendentemente dalle dimensioni, quando i risparmi o le nuove entrate associate al nuovo codec superano i costi di implementazione e altri costi, ha senso finanziario implementare un nuovo codec. Ovviamente, maggiore è l'efficienza di compressione rispetto alla soluzione esistente, maggiore sarà il risparmio di larghezza di banda.
A parte tutto questo, la stragrande maggioranza delle nuove implementazioni di codec non ha lo scopo di raccogliere risparmi in termini di larghezza di banda o altre efficienze di consegna. Solo gli editori punta della piramide come Netflix, Facebook e YouTube hanno implementato VP9, nonostante sia attualmente circa il 35-40% più efficiente di x264. Piuttosto, gli editori in genere adottano nuovi codec come HEVC perché apre mercati a nuovi clienti.
Questo porta alla domanda successiva.
NEWSLETTER PROAudio + Video + IT. I nostri redattori sono esperti nell'integrazione di audio / video e IT. Ottieni approfondimenti quotidiani, notizie e networking professionale. Abbonati a Pro AV oggi.
2. Quali nuovi mercati o piattaforme abilita il codec?
Quando Adobe ha aggiunto la riproduzione H.264 a Flash nel 2007, H.264 era solo circa il 15% più efficiente del codec VP6, che era il codec Flash più utilizzato prima di H.264. Nonostante questi esigui risparmi, perché la maggior parte degli editori è passata all'H.264 rapidamente e completamente? Perché mentre VP6 non veniva riprodotto su iPod, iPhone o altri dispositivi mobili, H.264 sì. Con H.264 in Flash e il codec predominante sui dispositivi mobili, gli editori potrebbero abbandonare VP6 e raggiungere due mercati con un unico codec, un gioco da ragazzi.
Allo stesso modo, la maggior parte degli editori ha implementato HEVC per fornire video 4K e / o HDR (High Dynamic Range) a smart TV, set-top box e dispositivi OTT. Ad esempio, nel loro Global Media Format Report del 2022-2023, che riportava la loro produzione del 2022-2023, encoding.com ha riferito che "prevediamo un aumento molto sostanziale del volume nel 2022-2023 guidato dai contenuti HDR UHD poiché entrambi gli standard HDR premium Dolby Vision e HDR + mappati a il formato video HEVC. " Sfortunatamente, encoding.com non ha aggiornato il rapporto per i risultati del 2022-2023.
Allo stesso modo, finalmente, Apple ha iniziato a supportare VP9 o AV1 sui propri dispositivi AppleTV 4K in modo che i loro spettatori potessero guardare video 4K su YouTube. Ciò presume l'importanza che Alliance for Open Media vendor come Facebook, Netflix, YouTube e Amazon avrà sull'adozione di AV1.
La conclusione è che se il codec non consente nuovi mercati, l'unico vantaggio è il risparmio di larghezza di banda. Come affermato, per qualsiasi motivo, al di fuori dei più grandi editori di video, pochi altri hanno trovato questi risparmi una motivazione sufficiente per implementare nuovi codec.
3. Com'è il tempo di codifica?
Abbiamo parlato dell'analisi del pareggio. Faccio questa domanda perché il tempo di codifica si traduce direttamente in costo di codifica e maggiore è il costo, più difficile è raggiungere il pareggio.
Ad esempio, AWS Elemental MediaConvert addebita $ 0,024 al minuto per la codifica H.264, $ 0,048 al minuto per la codifica HEVC e $ 0,864 al minuto per la codifica AV1. Fortunatamente, i tempi di codifica AV1 sono diminuiti notevolmente negli ultimi mesi e sono sicuro che seguiranno i prezzi di Elemental. Tuttavia, quando i tempi di codifica sono glaciali come un tempo gli AV1, sono necessari milioni di visualizzazioni per accumulare il risparmio di larghezza di banda necessario per raggiungere il pareggio.
4. Può essere implementato nel software su piattaforme pertinenti?
Questa domanda parla della velocità con cui un codec può essere implementato su piattaforme rilevanti per il tuo servizio. Nel 2007, quando Adobe ha aggiunto H.264 a Flash, la riproduzione era quasi universale su tutti i computer e dispositivi mobili. Al contrario, con HEVC, il supporto hardware sui dispositivi mobili era necessario per la riproduzione efficiente della batteria e l'hardware di decodifica HEVC dedicato era necessario sulla maggior parte delle smart TV, set-top box e dispositivi OTT.
Nel tempo, sempre più dispositivi hanno iniziato a supportare HEVC e ora è quasi onnipresente nei prodotti di generazione attuale, con VP9 solo leggermente indietro. Ma i nuovi codec che richiedono hardware per una riproduzione efficiente iniziano da zero.
Come regola generale, sono necessari circa due anni prima che compaiano i primi dispositivi consumer con supporto hardware. Ad esempio, la specifica AV1 è stata finalizzata a metà 2022-2023 e le prime smart TV con supporto AV1 sono state spedite a metà 2022-2023. Ovviamente, non importa quanto sia efficiente un codec quando viene lanciato; diventa rilevante solo quando la riproduzione è disponibile su un numero considerevole di piattaforme a cui consegni.
Il che porta alla prossima domanda.
5. L'Alliance for Open Media supporta il codec?
Sebbene siano necessari due anni per il supporto hardware, se i requisiti di riproduzione sono modesti, la riproduzione in un browser o in un sistema operativo mobile può richiedere alcune settimane. Tuttavia, i membri di Alliance for Open Media Microsoft, Google, Mozilla e Apple controllano la maggior parte dei browser e dei sistemi operativi e i formati che supportano. Questo è il motivo per sette anni dopo il suo lancio, HEVC è supportato solo nel 16,99% di tutti i browser e sistemi operativi mobili monitorati da www.caniuse.com (Figura 2).
Il numero paragonabile per AV1, che è stato lanciato cinque anni dopo? 36,56%. Che dire di VP9, che è stato lanciato nello stesso periodo di HEVC? 94,52%.
Se un numero considerevole di spettatori guarda su browser e dispositivi mobili, il supporto della piattaforma fa un'enorme differenza in termini economici. Ciò è particolarmente vero perché il supporto software può essere ottenuto così rapidamente.
A questo punto, sembra improbabile che i membri di AOM supporteranno qualsiasi codec MPEG, sia HEVC, VVC, EVC o LCEVC. Quindi, dove una volta i codec basati su standard come H.264 e MPEG-2 avevano il sopravvento, i codec MPEG sono ora in netto svantaggio nei tradizionali mercati dei computer e dei dispositivi mobili.
6. Il codec è uno standard MPEG?
Il Motion Pictures Experts Group, o MPEG, ha creato e promosso più codec audio e video che hanno contribuito alla transizione del video analogico al digitale. A un certo punto, gli standard MPEG come MPEG-2 e H.264 avevano percorsi molto più chiari per il successo rispetto ai codec proprietari come VP9. Oggi quella dinamica è cambiata, quindi mentre il processo di standardizzazione fornisce credibilità a determinate tecnologie, non è una garanzia di successo?
Cosa è cambiato? Quasi tutto. Ai tempi in cui H.264 è stato lanciato nel 2003, la trasmissione era il re e lo streaming non era la coda del cane, era un'unghia. Ora, lo streaming è chiaramente il cane e trasmette la coda, e le aziende che controllano l'implementazione dei codec nei browser e nei sistemi operativi mobili e le società di contenuti come Netflix e YouTube, hanno un'incredibile influenza sulla distribuzione dei codec.
Mentre parlerò di più in questo momento, con MPEG-2 e H.264, c'era una politica di royalty chiara e coesa, che è uscita dalla finestra con HEVC, che ha tre pool di brevetti. Due dei pool hanno tariffe pubblicate e i limiti annuali passano da circa $ 10 milioni per H.264 a oltre $ 60 milioni per HEVC. L'altro pool non pubblica le sue tariffe e, più di sette anni dopo il rilascio di HEVC, non ha ancora dichiarato se addebiterà le royalty sui contenuti.
Consapevoli del ciclo di sviluppo di due anni per le implementazioni dei codec, molte aziende di hardware hanno deciso di implementare H.264 e HEVC prima che la politica sulle royalty fosse chiara. Dopo HEVC, le grandi aziende come Apple e Samsung potrebbero ritardare l'adozione della tecnologia fino a quando il quadro delle royalty non sarà più chiaro, il che potrebbe aggiungere altri 24 mesi al ciclo di adozione.
Infine, dal punto di vista dei codec video, MPEG è passato da un ciclo di circa dieci anni tra MPEG-2, H.264 e HEVC, a un ciclo di sette anni per la finalizzazione di tre codec video aggiuntivi nel 2022-2023. Certamente, ciascuno codec offre una gamma diversa di funzionalità, prestazioni e altre caratteristiche ed è improbabile che tutte ottengano la stessa adozione commerciale.
7. Qual è il modello di proprietà e monetizzazione della tecnologia?
La maggior parte dei codec sono il risultato di una collaborazione tra più parti. Con alcuni codec, ciò si traduce in uno o più pool di brevetti per consentire alle aziende di recuperare i costi dei loro investimenti in ricerca e sviluppo. Al contrario, VP9 è stato sviluppato esclusivamente da Google mentre AV1 è stato sviluppato dall'Alleanza per le società Open Media che hanno tutte contribuito con i loro brevetti ad AOM senza royalty.
Tuttavia, solo perché un'azienda o un'organizzazione afferma di possedere tutti i diritti su una tecnologia non lo rende così. Sebbene Google affermi che VP9 è open-source, così come Alliance for Open Media per AV1, l'amministratore del pool di brevetti Sisvel ha lanciato pool di brevetti sia per VP9 che per AV1, affermando che questi codec utilizzano invenzioni coperte da proprietari di brevetti nei loro pool (si noti che l'autore si consulta con Sisvel riguardo a questi pool).
Naturalmente, sia H.264 che HEVC sono soggetti a royalty sia per i codificatori che per i decodificatori e per alcuni tipi di contenuto, quindi la semplice esistenza di una royalty non condanna una tecnologia. Piuttosto, i potenziali licenziatari si preoccupano della coesione di quel gruppo, della chiarezza dei loro termini di licenza e della rapidità con cui sono disponibili.
8. Come è impostata la struttura delle royalty?
Nel 2017, Jonathan Samuelsson, CEO dello sviluppatore di codec Divideon, ha creato il grafico mostrato nella Figura 3, che è diventato il poster per la disfunzionalità rappresentata dai proprietari di brevetti relativi a HEVC. Vedete i tre pool e più società aggiuntive, alcune molto significative, non in alcun pool. Notare che questa è la grafica originale disegnata da Samuelsson; il quadro della proprietà è cambiato un po 'da allora.
Chiaramente, se sei un potenziale licenziante, preferiresti un unico pool che includesse tutti i contributori tecnologici conosciuti, cosa che potrebbe effettivamente accadere per EVC e LCEVC. Detto questo, la maggior parte degli standard principali ha più di un pool; quello che vogliono i licenzianti è una struttura tempestiva e conosciuta per tutti i principali contributori. È significativo che, sebbene lo standard VVC sia stato finalizzato nel luglio 2022-2023, è improbabile che i termini di licenza saranno noti fino alla metà del 2022-2023. Se assomigliano a quello che vedi nella Figura 3, VVC potrebbe non farlo mai da terra.
9. Esiste una royalty sui contenuti?
Se sei un editore di streaming, le domande 4-8 stabiliscono la velocità con cui un codec può essere adottato dagli sviluppatori di hardware e software, il che controlla la velocità con cui puoi iniziare a utilizzare il codec per fornire ai tuoi spettatori. Questa domanda determina quanto ti costerà come editore di streaming distribuire contenuti con quel codec.
Ancora una volta, le royalty sui contenuti non sono inaudite e non condannano un codec al fallimento; sia HEVC che H.264 hanno alcune royalty sui contenuti. Ovviamente, tuttavia, questi costi devono essere inseriti nel modello di pareggio per determinare quando e se ha senso dal punto di vista economico implementare il nuovo codec.
Guardando avanti e indietro
Guardando indietro, è facile capire perché H.264 fosse (è) un tale successo: offriva un modesto risparmio di larghezza di banda ma veniva riprodotto immediatamente sui computer grazie a Flash e offriva l'ingresso in un nuovo mercato (mobile). La licenza era controllata da un singolo pool di brevetti che deteneva la maggior parte dei brevetti associati e, sebbene la riproduzione hardware fosse richiesta per la riproduzione H.264 su dispositivi mobili, il supporto hardware era quasi universale all'inizio e presto divenne onnipresente.
Al contrario, HEVC ha debuttato con una struttura di licenze molto disgiunta che ha scoraggiato l'adozione della tecnologia. Sebbene il supporto HEVC sia quasi universale su dispositivi mobili, Smart TV e le ultime generazioni di dispositivi OTT, la mancanza di supporto browser riduce il ritorno sull'investimento complessivo, mentre la mancanza di chiarezza sulle royalty dei contenuti è una grande preoccupazione per molti editori. Di conseguenza, HEVC è stato implementato principalmente dagli editori che distribuiscono video 4K e HDR nel soggiorno.