Onderzoekers hebben een architectuur voorgesteld waarmee een taalmodel informatie uit live interacties kan verwerken in zijn modelgewichten. Het gaat om de zogenoemde Infinite-Parameter LLM, een ontwerp waarbij de opgeslagen omvang van het model gelijk blijft, terwijl het tijdens gebruik nieuwe gewichten kan samenstellen.
Traditionele taalmodellen leren tijdens een gesprek niet blijvend van nieuwe informatie. Feiten die een gebruiker aanlevert of correcties die het model krijgt, worden doorgaans in de prompt gezet. Het model gebruikt die informatie vervolgens opnieuw zolang die context beschikbaar is, maar de kennis wordt niet in de gewichten opgeslagen.
Gewichten uit actuele informatie
De voorgestelde architectuur gebruikt een compacte hypernetwork. Dat onderdeel zet informatie uit de lopende interactie om in een aanpassing met een lage rang voor een gedeeld basismodel. De gewichten die het model voor een taak gebruikt, worden daardoor gegenereerd uit actuele gegevens in plaats van vooraf volledig vastgelegd.
De onderzoekers bouwen voort op het idee achter Mixture-of-Experts-modellen. Daarbij bevat een model een grote verzameling parameters, waarvan per invoer slechts een deel wordt geactiveerd. Bij de Infinite-Parameter LLM worden de mogelijke aanpassingen niet in een vaste parameterbank opgeslagen. Ze kunnen tijdens gebruik opnieuw worden samengesteld.
Een belangrijk onderdeel is een Bayesiaanse schatting van de verborgen code die de hypernetwork gebruikt. Die schatting wordt gedurende een sessie bijgewerkt wanneer nieuwe informatie binnenkomt. Het model leidt zijn effectieve gewichten daarna opnieuw af op basis van die veranderende inschatting. Eerdere systemen die gewichten uit context genereren, zouden die context volgens de onderzoekers na één verwerking niet verder aanpassen.
Mogelijke voordelen en toetsing
Informatie die in de gewichten wordt verwerkt, hoeft niet bij elk verzoek opnieuw volledig in de context te staan. Dat kan de druk op het contextvenster verminderen en ervoor zorgen dat kennis tussen meerdere beurten beschikbaar blijft. Ook kan het model de informatie volgens de onderzoekers beter toepassen op nieuwe voorbeelden dan wanneer die uitsluitend als tekst in de prompt staat.
De onderzoekers presenteren vooralsnog een architectuur en een evaluatieprotocol. Daarmee willen ze de aanpak vergelijken met leren binnen de context en met retrieval, waarbij relevante informatie telkens uit een externe opslag wordt opgehaald. In het aangeleverde onderzoek worden geen resultaten van die vergelijking vermeld.
