Deepgram neemt Daily over, de ontwikkelaar en beheerder van Pipecat. Dat framework helpt ontwikkelaars bij het verwerken van realtime spraak- en videostromen en verbindt onderdelen zoals spraakherkenning, taalmodellen en stemsynthetisering. De overname moet de infrastructuur van Deepgram voor voice AI versterken.
De bedrijven hebben geen financiële details bekendgemaakt. Wel zeggen ze dat Pipecat open source blijft. Ook wil Deepgram het framework vendor-neutraal houden, zodat ontwikkelaars modellen en diensten van verschillende aanbieders kunnen combineren.
Framework voor realtime AI
Pipecat is ontworpen om de vertraging tussen verschillende onderdelen van een AI-systeem zo klein mogelijk te maken. Het framework kan onder meer audio en video verwerken, gesprekken doorsturen naar een groot taalmodel en de gegenereerde antwoorden laten uitspreken. Daily biedt daarnaast gehoste infrastructuur voor spraak- en videogesprekken.
Volgens Kwindla Kramer, medeoprichter van Daily, ontstond Pipecat nadat het bedrijf rond de introductie van GPT-4 begon te experimenteren met communicatie tussen mensen en AI via spraak en tekst. Kramer zegt dat hij voor Deepgram koos vanwege de toezegging van topman Scott Stephenson om Pipecat open source te houden en vanwege de vergelijkbare technische cultuur van beide bedrijven.
Stephenson zegt dat Deepgram al langer actief wil worden in open source. De overname moet ontwikkelaars volgens hem ruimte geven om spraakagenten te bouwen met de modellen die het best bij hun toepassing passen, ook als die niet van Deepgram komen.
Met Pipecat wil Deepgram bovendien realtime communicatie buiten alleen spraak onderzoeken. Het framework ondersteunt verschillende vormen van communicatie en kan onderdelen van een AI-systeem met elkaar verbinden via een zogenoemde contextbus. Daarmee kunnen ontwikkelaars onder meer bepalen welke informatie een taalmodel ontvangt en op welke manier een antwoord moet klinken.
Nieuw protocol voor spraakagenten
Deepgram kondigde tegelijk de Real-Time Context Standard aan, kortweg RCS. Dat open protocol is samen met het Pipecat-team ontwikkeld en beschrijft onder meer contextuele informatie uit audio, zoals een fluistering, instructies voor het taalmodel en aanwijzingen voor de toon van het antwoord.
Daily heeft tot nu toe meer dan 62 miljoen dollar aan financiering opgehaald bij investeerders als Tiger Global, Highfield Capital, Nat Friedman, Lachy Groom en Kevin Weil. Deepgram haalde eerder dit jaar 130 miljoen dollar op in een Series C-financieringsronde, bij een waardering van 1,3 miljard dollar. Beide bedrijven maakten in 2016 deel uit van dezelfde lichting van startupversneller Y Combinator.
De markt voor voice AI trekt veel investeringen aan. Naast modelontwikkelaars zoals ElevenLabs, Gradium en Fish Audio halen ook infrastructuurbedrijven als LiveKit en Vapi grote financieringsrondes op.
