OpenAI heeft zijn desktopapp voor ChatGPT uitgebreid met ChatGPT Voice. De functie maakt het mogelijk om mondelinge opdrachten te geven aan AI-agenten, die vervolgens taken op de computer kunnen uitvoeren.
De spraakfunctie werkt samen met ChatGPT Work en Codex, de programmeeromgeving van OpenAI. Ook kan de toepassing gebruikmaken van functies waarmee websites en andere apps op de computer worden benaderd. Gebruikers kunnen daarbij tijdens een taak aanvullende instructies geven wanneer ChatGPT daarom vraagt.
De uitbreiding gebruikt ChatGPT-Live, een reeks spraakmodellen die OpenAI eerder deze maand introduceerde. Die modellen zijn bedoeld voor natuurlijkere gesprekken en kunnen beter omgaan met onderbrekingen tijdens het spreken.
Meerdere handelingen in één opdracht
De desktopversie is nadrukkelijker gericht op het uitvoeren van handelingen dan de eerdere spraakfunctie voor smartphones. Die mobiele versie kon gesprekken vloeiender voeren, maar was niet ontworpen om acties op een telefoon uit te voeren.
Met de nieuwe versie kunnen gebruikers ingewikkelde opdrachten dicteren die uit meerdere stappen bestaan. In een demonstratie liet OpenAI zien hoe een ontwikkelaar ChatGPT in één gesproken opdracht vroeg om een nieuwe programmeertak aan te maken, een pull request te maken en de oorzaak van een softwarefout te achterhalen.
Op macOS kan ChatGPT Voice bovendien samenwerken met Appshots. Daarmee kan de app informatie op het scherm gebruiken, waaronder alternatieve tekst bij afbeeldingen. OpenAI stelt dat dit de mogelijkheden vergroot om taken in programma's en op websites uit te voeren.
Voor Codex is de spraakfunctie ook via de iOS-app te gebruiken door middel van toegang op afstand. Daardoor kan een gebruiker vanaf een iPhone gesproken opdrachten geven voor werkzaamheden die in Codex op een andere computer worden uitgevoerd.
De toevoeging komt kort nadat Anthropic de spraakfunctie van zijn AI-assistent Claude uitbreidde. Die functie kan verschillende modellen van het bedrijf inzetten voor taken in toepassingen als Gmail, Calendar, Slack, Notion en Canva.
