Google brengt Guided Vision uit binnen Gemini Live. De functie is beschikbaar op compatibele Android-apparaten en gebruikt de camera van een smartphone om de omgeving in real time te beschrijven. De informatie wordt als audio gegeven, zodat gebruikers niet voortdurend naar het scherm hoeven te kijken.
De functie is onder meer bedoeld voor mensen met een beperkt gezichtsvermogen. Zij kunnen hun telefoon richten op voorwerpen, teksten of andere details in hun omgeving. Gemini beschrijft vervolgens wat de camera waarneemt. Ook kunnen gebruikers vervolgvragen stellen over dat beeld.
Hulp bij kleine teksten
Guided Vision kan bijvoorbeeld helpen bij het lezen van kleine letters. Gebruikers kunnen de camera op tekst richten en vragen wat er staat of om een bepaald onderdeel nader toe te lichten. Daarmee kan de functie uitkomst bieden bij informatie die lastig te zien is, zoals kleine aanwijzingen of details op verpakkingen.
De functie werkt binnen Gemini Live, de modus van de Gemini-app waarin gebruikers rechtstreeks met de AI kunnen communiceren. Om Guided Vision te gebruiken, delen zij hun camerabeeld met Gemini Live. De assistent analyseert dat beeld en geeft daarop een gesproken reactie.
Google positioneert Guided Vision als een hulpmiddel voor situaties waarin iemand wil weten wat er in de directe omgeving te zien is. De gebruiker houdt daarbij zelf de controle over waar de camera op wordt gericht en welke vragen worden gesteld.
De uitrol is gestart op compatibele Android-apparaten. Uit de beschikbare informatie blijkt niet dat de functie direct op alle Android-telefoons beschikbaar is. Ook is niet gemeld wanneer Guided Vision naar andere apparaten of besturingssystemen komt.
