Amazon Web Services heeft een nieuwe ontwikkeltool uitgebracht waarmee startups hun AI-toepassingen eenvoudiger kunnen laten draaien op Trainium, de eigen AI-chip van Amazon. TorchNeuron werkt met PyTorch, een open-sourceplatform dat veel wordt gebruikt voor het bouwen, trainen en uitvoeren van AI-modellen.
Volgens Amazon is voor de overstap naar Trainium slechts één configuratieregel nodig. Ontwikkelaars hoeven hun bestaande code daardoor niet volledig te herschrijven. Amazon schat dat ongeveer 85 procent van de AI-toepassingen met PyTorch is gebouwd.
Strijd om de softwarelaag
Met TorchNeuron richt AWS zich niet alleen op de verkoop van chips en clouddiensten. Het bedrijf probeert ook de softwarevoorsprong van Nvidia aan te tasten. Nvidia’s CUDA-platform ondersteunt PyTorch al jaren en heeft ervoor gezorgd dat de grafische chips van het bedrijf voor veel AI-ontwikkelaars de standaardkeuze zijn geworden.
TorchNeuron is gebaseerd op PyTorch. Daardoor zouden ontwikkelaars die al met dat platform werken niet een volledig nieuw systeem hoeven te leren. Ook andere chipproducenten, waaronder AMD en Apple, bieden mogelijkheden om PyTorch-toepassingen met beperkte aanpassingen op hun hardware te gebruiken.
AWS benadrukt dat Trainium onderdeel is van de bredere cloudomgeving van Amazon. Startups kunnen volgens het bedrijf daardoor dezelfde infrastructuur gebruiken voor het ontwikkelen, trainen en in productie brengen van AI-modellen. Dat moet volgens AWS een voordeel zijn ten opzichte van gespecialiseerde cloudaanbieders die vooral Nvidia-hardware verhuren, zoals CoreWeave, Nebius en Firmus.
Trainium kan volgens Amazon worden ingezet voor zowel training als inference. Bij training leert een model van gegevens, terwijl inference het gebruik van een afgerond model omvat, bijvoorbeeld voor het beantwoorden van vragen. AWS stelt dat die combinatie de totale kosten kan verlagen, ook wanneer de prijs per verwerkt AI-token niet de laagste in de markt is.
Als voorbeeld noemt Amazon Deepgram, een aanbieder van spraak-AI. Na een overstap naar Trainium zou het bedrijf volgens AWS 70 procent meer audio per dollar verwerken, bij een nauwkeurigheid die geschikt is voor productiegebruik.
Amazon wil daarnaast wijzigingen bijdragen aan het centrale PyTorch-project. Daarmee moet de software minder sterk aan specifieke chips worden gekoppeld. Een hardware-onafhankelijker PyTorch kan ontwikkelaars meer keuze geven, maar kan ook extra configuratiewerk opleveren. De gevolgen voor Nvidia hangen af van de mate waarin ontwikkelaars en de PyTorch-gemeenschap de aanpak overnemen.
