Google DeepMind heeft Gemini Robotics 2 gepresenteerd, een nieuwe generatie AI-modellen voor robots. De modellen moeten machines helpen bij complexere fysieke taken, zoals het oppakken van bewegende voorwerpen, en bij samenwerking met andere robots.
De reeks bestaat uit drie modellen. Gemini Robotics ER 2, dat omgevingsinformatie en opdrachten verwerkt, is direct beschikbaar voor ontwikkelaars via de Gemini Live API. Gemini Robotics 2 en de lokale variant Gemini Robotics On-Device 2 worden voorlopig door een beperkte groep testers gebruikt.
Robot kan voortgang tijdens taak volgen
Gemini Robotics ER 2 is een vision language model dat tekstuele opdrachten combineert met beelden van de camera's op een robot. Het model kan live videobeelden volgen terwijl een robot een taak uitvoert. Daardoor moet de robot beter kunnen beoordelen of een stap is voltooid en wat er moet gebeuren als iets misgaat.
Google stelt dat ER 2 de voortgang in videobeelden in bijna 60 procent van de gevallen correct kan inschatten. Het herkennen van belangrijke momenten tijdens een handeling, bijvoorbeeld wanneer een robot moet stoppen met het inschenken van koffie, lukt volgens het bedrijf in bijna 90 procent van de gevallen.
Als een object verschuift of een handeling niet lukt, kan het systeem proberen alleen die stap opnieuw uit te voeren. Een robot die een wegrollende bal wil oppakken, zou zo zijn greep en beweging kunnen aanpassen zonder de volledige taak opnieuw te beginnen.
Het model is ook bedoeld voor robots die samen werken. In demonstraties voeren de humanoïde Apollo 2 van Apptronik en de Franka F3 Duo gezamenlijk opdrachten uit, zonder elkaar te hinderen. Google test de technologie daarnaast op hardware van Boston Dynamics.
Nieuw onderzoek naar veiligheid
De vision-language-action-modellen zetten de interpretatie van een opdracht om in concrete bewegingen van een robot. De compacte On-Device 2-versie kan volgens Google met enkele uren aan bewegingsgegevens, ongeveer 200 voorbeelden, worden aangepast aan een nieuw robotontwerp.
Google DeepMind introduceert tegelijk de veiligheidsbenchmark ASIMOV-Agentic. Die beoordeelt onder meer of een model onveilige opdrachten weigert, kan vaststellen of een taak veilig uitvoerbaar is en menselijke hulp inschakelt bij twijfel.
Volgens Google is Gemini Robotics ER 2 het veiligste robotmodel van het bedrijf tot nu toe. Het systeem zou beter begrijpen wanneer een persoon te dicht bij een robot komt en handelingen dan kunnen stoppen. Google benadrukt dat de modellen naast AI-beveiliging ook gebruikmaken van bestaande fysieke veiligheidsmaatregelen.
