GStreamer 1.26.5 přináší klíčové opravy pro audioconvert, overlaye, V4L2, VA a Vulkan

  • Klíčové opravy v audioconvertu, overlayech, V4L2, VA a Vulkanu a vylepšení wasapi2, threadshare a rtpbin2.
  • Nové praktické podpory: JPEG XS ve Videorate/ImageFreeze a další funkce v STT/Cloud Services
  • Kompletní recenze řady 1.26: VVC, JPEG XS, LCEVC, titulky, HLS/DASH, analytika a akcelerace
  • Integrace PipeWire: Aktuální stav, problémy s bufferem/formátem a plán pro reálné případy použití

GStreamer 1.26.5

GStreamer 1.26.5 je nyní k dispozici jako údržbová aktualizace v rámci stabilní verze 1.26, se silným zaměřením na stabilitu, opravy regresí a praktická vylepšení v oblastech, se kterými se uživatelé denně setkávají. Tuto verzi s opravami chyb lze bezpečně nainstalovat na jakoukoli instalaci 1.26.x a obsahuje několik užitečných doplňků, od podpory JPEG XS pro specifické prvky až po úpravy v integraci s Windows, V4L2, Vulkan a monitorování zařízení.

Tato verze navazuje na významný pokrok oproti verzi 1.26.0, která přidala nové technologie (H.266, LCEVC, JPEG XS), zásadní vylepšení adaptivního streamování, titulkování a trasování, větší integraci s Vulkanem, OpenGL, CUDA, Direct3D12 a VA a řadu nových funkcí napsaných v jazycích C a Rustu. V následujících řádcích si projdeme vše, co je součástí verze 1.26.5, a shrneme nejdůležitější aspekty celé řady 1.26 , abyste měli kompletní přehled před aktualizací.

Co je GStreamer 1.26.5 a proč by vás to mělo zajímat

Verze 1.26.5 je pátou opravou chyb v sérii 1.26 , vydané 7. srpna, a zaměřuje se na spolehlivost. Klíčové opravy a vylepšení řeší problémy z reálného světa, se kterými se setkáváme v produkčním prostředí: audioconvert opravuje regresi vyjednávání omezení rozlišení u mixážních matic, cea608overlay a cea708overlay nyní akceptují vyrovnávací paměti paměti GPU, když downstream podporuje kompozici překrytí, a d3d12screencapture upřesňuje zdroj i poskytovatele zařízení pro robustnější chování.

V sekci přehrávání a vyhledávání byly vylepšeny kritické body : decodebin3 již neselhává se streamy obsahujícími metadata ONVIF a uridecodebin3 již neriskuje pád při přidávání URI do zpráv (například pokud chybí dekodér). V4L2 eliminuje únik paměti během dynamických změn rozlišení a VA kodéry dostávají opravy pro okrajové případy.

Mezi užitečné doplňky patří kodeky: videorate a imagefreeze nyní mohou pracovat s JPEG XS , což usnadňuje vytváření synchronizačních kanálů a generování snímků s tímto formátem. Vulkan dostává opravu integrace , wasapi2 vylepšuje monitorování zařízení ve Windows, threadshare a rtpbin2 obsahují řadu oprav a gst-device-monitor-1.0 získává použitelnost z příkazového řádku. Cloudové služby navíc přidávají do awstranslate stručnost a možnost rozdělit mluvčí pomocí awstranscriber2 , spolu s novou vlastností mask-profanities v Speechmatics pro práci s urážlivým jazykem v transkripci.

Připomínka: Velký skok ve verzi 1.26.0 (klíčové funkce)

Verze 1.26.0 (11. března) přinesla oproti API 1.x významná vylepšení, se zaměřením na nové kodeky, titulkování, streamování, analytiku a akceleraci. Mezi nejdůležitější patří:

  • Podpora kodeku VVC H.266: parser, základní dekodér pro hardware, dekódování VA-API, přístup k dekodéru FFmpeg a multiplexování/demuxplexování v MP4, Matroska a MPEG-TS; v Rustu byl přidán dekodér založený na VVdeC.
  • JPEG XS: Kódovací a dekódovací prvky založené na SVT JPEG XS s multiplexováním/demplexováním v MPEG‑TS, s podporou prokládaného a progresivního zobrazování.
  • LCEVCKódování/dekódování prvků nad V-Nova SDK a podpora v h264parse pro extrakci vrstvy vylepšení pomocí lcevch264decodebin.
  • Titulky a skryté titulkyExtraktory/vkládače pro H.264/H.265, překrytí cea708 z Rustu, cea708mux, tttocea708, vylepšení v cccombinerA cdpserviceinject pro CDP.
  • HLS/POMLČKAklient adaptivedemux2 s file://, podporou backoff a opakovaných pokusů, hlscmafsink y hlssink3 pro CMAF/TS, multivariantní nápoja ujednání v palubní dřez.
  • splitmuxsrc/sink s líné načítání a dynamické fragmenty, signály pro přidání fragmentu a zásady pro otevření souborů.
  • MPEG-TS schopnější
  • MP4/MatroskaVVC, Hap, Lagarith, raw video, tagy pro rotaci a převrácení, trikový režim v qtdemux a podpora raw video ISO.
  • SMPTE 2038 v Rustu pro pomocná metadata (demux/mux a konverze CC).
  • Analytics: Nový GstTensorMeta, vztahy N k N, segmentační masky, extraktor metadat onvif, původní vyrovnávací paměť y relationmeta, stejně jako propracovanější vazby Pythonu.
  • Akcelerace a grafika: velká vylepšení v Vulkan y OpenGL (v210, YUY2/UYVY, Y444_10/16, import z DMABuf), QML s přímým importem z DMABuf, CUDA s composterem, nvenc AV1, Jetson NVMM a předkompilovanými jádry, Direct3D12 s d3d12videosink, d3d12swapchainsink, d3d12deinterlace, IPC GPU s nulovou kopií a správné zachycení HDR.
  • Zachyťte kartyVylepšení v AJA a Decklink (HDR PQ/HLG a plánování snímků).
  • RTP / RTSPrtspsrc s klientem spravovanými klíči MIKEY, nové režimy synchronizace v rtpbin, stavový jitterbuffer RFC7273, vylepšení rtph265depay a regenerace časového razítka v rtppassthroughpaya nové rtpbin2 v Rustu.
  • WebRTCwebrtcbin se základními rollbacky a vylepšeními; webrtcsink/zdroj s více kodéry, MSE a synchronizací NTP/PTP; WHEP/WHIP již přítomný v ekosystému; a prvky LiveKit/Kinesis dostupné ve verzích po verzi 1.26.x.
  • Nové prvky jak webview2src, extraktory CC pro H.264/H.265, h266parse, svtjpegxsenc/proc a několik kusů ve VA a Rustu.

Jemné technické změny, které dělají rozdíl

Kontejnery a doprava

MP4 a Matroska nyní zahrnují robustní podporu pro VVC , specializované formáty jako Hap/Lagarith a RAW video , stejně jako správné zpracování rotací a převrácení pro každé médium a stopu. MPEG-TS nyní dokáže multiplexovat a demultiplexovat VVC, JPEG-XS, VP9 ​​a AV1 (s vlastním mapováním), měřit ID3 a SMPTE 302M a zpracovávat 192bajtové M2TS. Pro živá vystoupení poskytuje mpegtslivesrc hodiny založené na PCR.

V adaptivním streamování klient adaptivedemux2 zabraňuje falešným živým flushům, podporuje URI typu file:// a opakované pokusy s backoff a dashsink opravuje trvání period pro dynamické MPD. HLS získává nové sinky zaměřené na CMAF a varianty škálování.

Titulky, CC a SMPTE 2038

Extraktory/vkládače H.264/H.265 manipulují s CC v pořadí prezentace bez dekódování (užitečné pro ne-recodovací procesní pipeline) a rodina Rust zahrnuje převodníky st2038ancdemux/mux a CC. cea708overlay nahrazuje cc708overlay moderní podporou a akceptací vyrovnávacích pamětí GPU ve verzi 1.26.5.

Analytika a metadata

GstTensorMeta a nové vztahy N-N usnadňují komplexní pracovní postupy počítačového vidění s maskami, konverzemi ONVIF a pomocnými pluginy pro zachování původních vyrovnávacích pamětí. Vylepšené vazby Pythonu zefektivňují iteraci a úpravu analytických metadat.

Akcelerace: Vulkan, OpenGL, CUDA a D3D12

Vulkan vylepšuje nekoherentní paměť, kolorimetrii a sdružování dat , spolu s profily H.264/H.265 a responzivnějším kodérem. OpenGL rozšiřuje konverze (v210, YUY2/UYVY, Y444 s vysokou hloubkou) a DMABuf. CUDA přidává kompozitor, nvav1enc, podporu Jetson NVMM a prekompilaci. Direct3D 12 představuje novou veřejnou knihovnu, barevně vyvážené sipky , textury s mipmapami, IPC s nulovou kopií a přenositelné odstraňování prokládání.

RTP, RTSP a WebRTC

RTSP spravuje MIKEY na straně klienta (užitečné u kamer Axis), rtpbin získává režimy never/ntp a jitterbuffer odhaluje stav RFC7273. Vylepšeny jsou požadavky na klíčové snímky v H.265 RTP a regenerace časového razítka brány. Rust přidává rtpbin2 a datové moduly pro AC3, AMR, JPEG, KLV, MPEG-TS, MP4A/G, Opus, PCMU/A a VP8/9. WebRTC byl vylepšen s vylepšenými rollbacky, úrovněmi zvuku a opakovanými přenosy a v celé verzi 1.26.x byly přidány fonty Janus, LiveKit a WHEP.

API, výkon a trasování

GstIdStr nahrazuje GQuark ve strukturách/obecných větvích , aby se zabránilo únikům a zlepšil výkon porovnáváním krátkých řetězců; GstVecDeque je nyní součástí jádra pro jednodušší a efektivnější fronty. Byly rozšířeny audio/video nástroje (přeřazení, rychlé cesty v210⇄I420_10/I422_10) a byly přidány nové trasovací moduly (paměť, časy odesílání a PCAP). Systém protokolování přidává do zpráv bohaté detaily (URI, stream-id) a je optimalizován zápis DOT.

GStreamer 1.26.4
Související článek:
GStreamer 1.26.4 vylepšuje podporu pro mp4mux, LiveKit a další zařízení pomocí nových funkcí.

Přidat jako preferovaný zdroj v Googlu