Nvidia's NVL72-systemen zijn ontworpen om communicatie tussen GPU's binnen een rack via NVLink te laten verlopen. Dat is sneller dan InfiniBand, de verbinding die doorgaans wordt gebruikt tussen afzonderlijke servers. Bij grote AI-trainingstaken kan het verschil aanzienlijk zijn: wanneer communicatie van NVLink naar InfiniBand verschuift, kan de trainingssnelheid volgens metingen met 43 procent dalen.
Een NVL72-rack bevat 72 GPU's die samen één netwerkdomein vormen. Daardoor kunnen modellen over meerdere servers binnen hetzelfde rack worden verdeeld zonder dat het verkeer de tragere verbinding tussen racks nodig heeft. Dat is vooral relevant voor tensor parallelism en expert parallelism, twee technieken waarbij GPU's tijdens het uitvoeren van een model veel gegevens met elkaar uitwisselen.
Taken verdelen over racks
Het voordeel verdwijnt wanneer een taak over meerdere racks wordt verspreid. Dat kan gebeuren nadat hardware uitvalt of wanneer taken op verschillende momenten stoppen. De beschikbare GPU's komen dan versnipperd over de infrastructuur te staan. Een nieuwe taak kan daardoor wel genoeg GPU's vinden, maar niet genoeg GPU's binnen één NVLink-domein.
SkyPilot beschrijft daarom een scheduler die rekening houdt met de netwerkstructuur van het cluster. Die software probeert taken met meerdere GPU's binnen hetzelfde rack te plaatsen, herstelt taken na hardwareproblemen en kan vrije capaciteit opnieuw indelen om versnippering tegen te gaan. Zo moet dezelfde hardware efficiënter worden benut.
De aanpak is ook van belang voor AI-inferentie. Door de gewichten van een model over meerdere GPU's te verdelen, blijft meer geheugen beschikbaar voor de KV-cache. Dat maakt het mogelijk om meer gelijktijdige verzoeken te verwerken of langere contexten te ondersteunen. Bij modellen met een mixture-of-experts-architectuur moeten bovendien grote hoeveelheden tokens tussen GPU's worden uitgewisseld.
Op gewone servers met acht GPU's loopt dat verkeer buiten de server via InfiniBand zodra een taak meer dan acht GPU's gebruikt. In een NVL72-rack kunnen maximaal 72 GPU's via NVLink samenwerken. Bij een test met DeepSeek-R1 en 32-voudige expert parallelism werd volgens de aangehaalde prestatiecijfers tot 4,4 keer meer doorvoer per GPU gemeten dan bij B200-servers met acht GPU's.
