Požiar v roku 2023 zničil väčšinu technologického vybavenia SFÚ v Bratislave, bez ktorého nebolo možné ďalej pokračovať v činnosti, ktorú SFÚ vykonáva pre záchranu nášho filmového dedičstva. Firma SUNTEQ zvíťazila v súťaži medzi ďalšími dodávateľmi s ponukou na dodávku centrálneho úložiska, výpočtovú techniku, komponenty infraštruktúry a celkovú integráciu nových technológií.
Požiadavky na centrálne úložisku boli špecifikované s ohľadom na ďaľší rozvoj pracovísk a technologické nároky, ktoré môže priniesť prechod na budúce pracovné postupy a formáty:
- schopnosť obslúžiť minimálne 20 klientov (macOS, Windows OS, Linux OS)
- hybridné úložisko s SSD a HDD s kapacitou minmálne 300TB vs. 1PB, voľne rozšíriteľné
- interný dátový tok SSD minimálne 40GB/s s podorou NVMe-OF RDMA, resp. 20GB/s pre HDD
- minimálny dátový tok pre samostatného klienta 8GB/s s optimalizáciou pre 4k DPX formát
- konektivita klient-server 100Gb cez optický ethernet
Na dodávke centrálneho úložiska sme spolupracovali s firmou Ardis Technologies BV, výrobcom výkonných škálovateľných systémov. SSD časť je postavená na DDP10EF s NVMe SSD diskami a s podporou pre NVMe-OF RDMA protokol, ktorý nám v reálnych podmienkach umožnil dosiahnuť rýchlosť pre čítanie via ako 8 GB/s pre jedného klienta. HDD časť je postavená na chassis EXR78. Obidve časti tvoria jeden logický zväzok s kapacitou 300TB + 1008TB. Vďaka file systému AVFS a grafickému rozhraniu menežmentu je možné komfortne nakonfigurovať prácu so súbormi pre ľubovoľný počet úžívateľov. Ostatatné aktívne sieťové 100Gb komponenty sú od firmy Mellanox (Nvidia) a ATTO. Jedným z klientov je pracovná stanica s macOS, ktorá na prístup k úložisku využíva ATTO iSCSI protokol, s ktorým sme dosiahli rýchlosť čítania ~5GB/s.
Navrhnutý systém umožňuje obslúžiť 13 retušovacích pracovísk (PFClean, DIAMANT), 2 x color grading (Resolve, BaseLight), DCI (Clipster), zvukovú retuš a postprodukciu (CEDAR, Pro Tools) a pracovisko skenera (DFT).
Všetky pracoviská sú pripojené k úložisku prostredníctvom 100Gb optickej linky.
AVFS naviac exportuje SMB/NFS, pomocou ktorého je pripojený k archivačnej páskovej knižnici.
Prečo NVMe-OF RDMA?
NVMe over Fabrics (NVMe-oF) je sieťový protokol, ktorý rozširuje výhody lokálneho NVMe (Non-Volatile Memory Express) rozhrania cez vysokorýchlostnú sieť. RDMA (Remote Direct Memory Access) je špecifický spôsob prenosu dát, ktorý umožňuje priamy prístup k pamäti vzdialeného systému bez zaťaženia CPU, čím sa výrazne znižuje latencia a zvyšuje priepustnosť.
NVMe-oF cez RDMA teda umožňuje prístup k vzdialenému NVMe úložisku takmer s rovnakým výkonom ako keby bolo pripojené lokálne cez PCIe, bez toho, aby presun dát zaťažoval CPU na strane klienta.
Kľúčové komponenty:
- NVMe SSD: Rýchle úložisko s nízkou latenciou a vysokou priepustnosťou.
- RDMA protokol:
- RoCE (RDMA over Converged Ethernet) – najčastejšie používané vo video produkcii.
- InfiniBand – extrémne nízka latencia, používané v HPC.
- iWARP – menej bežné.
- Fabric (sieťová infraštruktúra): Zvyčajne 25/40/100Gb Ethernet alebo InfiniBand.
Výhody oproti tradičným technológiám ako Fibre Channel (FC):
| Funkcia | NVMe-oF RDMA | Fibre Channel (FC) |
| Latencia | Veľmi nízka (10–20 µs) | Vyššia (okolo 100 µs) |
| Priepustnosť | 25/40/100/200 GbE | 16/32/64 GFC |
| Využitie CPU | Minimálne vďaka RDMA | Vyššie (klasický I/O stack) |
| Škálovateľnosť | Lepšia, na bežnej Ethernet infraštruktúre | Obmedzená, drahšia infraštruktúra |
| Flexibilita a cena | Nižšia cena vďaka štandardnému Eth | Vyššia cena FC prepínačov a HBA |
| Áno | Nie (využíva SCSI stack) |
Prečo je NVMe-oF RDMA ideálne pre video produkciu a color grading?
- Extrémne nízka latencia
- Vysoká priepustnosť:
- Pre spracovanie 4K/8K RAW videa alebo veľkých EXR sekvencií je kritické, aby aplikácie mali okamžitý prístup k dátam.
- RDMA umožňuje obísť operačný systém a CPU pri prenose dát, čo zabezpečí maximálne plynulé prehrávanie aj z viacerých stôp súčasne.
- Moderné NVMe-oF konfigurácie dosahujú rýchlosť stovky gigabitov za sekundu.
- To umožňuje spracovanie viacerých stôp obrazového metriálu (napr. 4x 8K ProRes RAW) z jedného centrálneho úložiska bez obmedzenia priepustnosti.
- Zdieľané a škálovateľné úložisko:
- V porovnaní s lokálnym RAID alebo DAS úložiskom môžu viaceré pracovné stanice zdieľať jedno vysokovýkonné NVMe pole bez poklesu výkonu.
- Dôležité pre tímový color grading (DaVinci Resolve, Baselight), online/offline strih, renderovanie a mastering.
- Spoľahlivosť a nízke oneskorenie:
- V profesionálnej produkcii je predvídateľná odozva (latencia) kritická – RDMA nie je závislé od zaťaženia CPU, čo eliminuje výkyvy v oneskorení pri načítaní jednotlivých snímok.
- Efektivita pri spracovaní veľkých súborov:
- Video súbory majú typicky veľký lineárny prenos – ideálny scenár pre NVMe-oF RDMA, ktoré dosahuje maximálny výkon najmä pri veľkých blokoch dát.
NVMe-oF cez RDMA predstavuje najmodernejšie riešenie pre prístup k vysokovýkonnému úložisku cez sieť. V oblasti profesionálneho videa a postprodukcie ponúka unikátnu kombináciu nízkej latencie, vysokej priepustnosti a centralizovaného prístupu k dátam. Oproti tradičným riešeniam ako Fibre Channel alebo iSCSI je lacnejšie, flexibilnejšie a lepšie škálovateľné – ideálne pre moderné 4K/8K filmové produkcie.
Na obrázku je zobrazený výsledok testovacieho merania z klienta HP Z8, Windows 11, 100Gb Eth NIC s použitím testovacej utility ATTO Disk Benchmark.
Nameraný dátový tok pre čítanie aj zápis s rezervou prekračuje požadované parametre.
Pozrite si video “Čo je RDMA?”
Video © RoCE Initiative
Informácie o použitých produktoch a technológiach:
Zdieľajte tento článok: