Runware heeft de Sonic Inference Pod aangekondigd, een modulaire datacentermodule die als één transporteerbare unit kan worden ingezet. Het bedrijf wil daarmee inferentiecapaciteit aanbieden op locaties dichter bij gebruikers en sneller uitbreiden dan met een traditioneel datacenter.
De pods vormen samen één netwerk. Verzoeken kunnen daardoor worden doorgestuurd naar een module waar capaciteit beschikbaar is. Als een pod offline gaat, kan het verkeer naar een andere pod worden verplaatst. Bij een storing valt volgens Runware daardoor één pod uit, in plaats van een volledige vaste faciliteit.
Runware heeft momenteel tien pods in gebruik in de Verenigde Staten, Europa en de regio Azië-Pacific, zegt medeoprichter en directeur Flaviu Radulescu. Het bedrijf levert al inferentie aan onder meer Higgsfield AI en Wix. Daarnaast zijn volgens Runware 160 locaties beschikbaar waar de pods van stroom kunnen worden voorzien.
Sneller uitbreiden
De modulaire opzet moet uitbreiding versnellen. Een pod kan volgens Runware overal worden ingezet waar stroom beschikbaar is. Het koelsysteem kan volgens het bedrijf binnen dagen worden gebouwd, terwijl de bouw van traditionele datacenters maanden of jaren kan duren. Klanten die eigen hardware willen gebruiken, kunnen een volledige pod voor zichzelf krijgen.
De modules zijn bedoeld voor inferentie: het uitvoeren van getrainde AI-modellen, bijvoorbeeld voor het maken van afbeeldingen of het verwerken van opdrachten. Runware positioneert de pods als onderdeel van zijn bredere infrastructuurdienst voor bedrijven die AI-inferentie nodig hebben.
Radulescu ziet gedistribueerde rekenkracht als een manier om AI-capaciteit dichter bij eindgebruikers te brengen. "We believe distributed compute, positioned closer to end users for faster inference, is what will win in the long term", zei hij tegen TechCrunch. Volgens hem groeit de vraag naar inferentie sneller dan nieuwe faciliteiten kunnen worden gebouwd.
Energie en koeling
De Sonic Inference Pod gebruikt een gesloten koelsysteem zonder water. Runware zegt bovendien bestaande stroomcapaciteit te willen benutten in plaats van nieuwe netcapaciteit te laten aanleggen. Volgens Radulescu neemt het energiegebruik door AI hoe dan ook toe, gedreven door de vraag naar inferentie.
Datacenters voor AI liggen onder vuur vanwege hun gebruik van energie en andere hulpbronnen. Gemeenschappen waar datacenters staan, hebben al hogere kosten voor nutsvoorzieningen gemeld. Runware zegt dat zijn aanpak geen transmissieverliezen en geen water voor koeling oplevert, maar erkent dat het bredere energieprobleem daarmee niet verdwijnt.
Runware haalde in december 50 miljoen dollar op in een Series A-investeringsronde. De uitbreiding met fysieke datacentermodules past volgens het bedrijf binnen de kernstrategie om infrastructuur voor AI-inferentie aan bedrijven te leveren.
