Aan een LLM (Large Language Model) wordt door belanghebbenden eigenschappen toegekend waarmee het in een AGI (Artificial General Intelligence) of ASI (Artifical SuperIntelligence) zou kunnen evolueren. Klinkt concreet maar is boterzacht, want er is geen eenduidige definitie van een AGI/ASI… Maar los van de definitie; wie enigszins bekend is met de interne werking van LLM kan niet anders constateren dan dat er geen sprake is van enige intelligentie maar uitsluitend van brute force1. Omdat ik er niet vanuit ga dat alle lezertjes van RecruitmentMatters met de werking van een LLM bekend zijn, hier een korte (!) uitleg (don’t shoot the messenger).
Het begint allemaal met een prompt van een gebruiker via de chatbot van een LLM. Om een antwoord te kunnen geven gaat een LLM door de volgende stappen:
De prompt (x aantal woorden) wordt omgezet in tokens. Een token is een uniek getal. Een token kan een woord uit de prompt zijn, of een deel van een woord uit de prompt of zelfs een enkele letter, een spatie, een leesteken.
Elk token wordt vervolgens omgezet in een lijst van getallen,een vector (bv.: [0.0231, -0.4120, 0.8812, 0.1045, -0.0051, …, 0.3129]). Dit levert een plaats in de ruimtelijke kaart (hyperruimte) die een LLM heeft gebouwd. Wij, mensen, komen niet verder dan 3 dimensies (assen) als we een ruimte beschrijven, maar wiskundig kan het aantal assen enorm groot zijn. Een hyperruimte heeft ongekend veel assen. Elk token komt ergens in die hyperruimte terecht. Als een woord in meerdere tokens was opgeknipt dan wordt er, zover ik het heb begrepen, één vector van gemaakt.
Vervolgens worden de vectoren door een groot aantal lagen (“deep learning” neuraal netwerk) gehaald. In elke laag passen rekenkundige gewichten (de kennis van het mode) de gegevens aan; aan het einde van het netwerk een zeer accurate wiskundige weergave van wat er is gezegd. Het model genereert vervolgens een lijst met alle mogelijke tokens en geeft elk token een waarschijnlijkheidscore en kiest vervolgens het beste token en dat wordt getoond in de chatbot aan de gebruiker.
Let op! Bovenstaand proces (van de prompt tot en met het tonen van het antwoord) moet net zo vaak worden doorlopen als het aantal woorden waaruit het antwoord bestaat… Een antwoord van 10 woorden maakt het dus noodzakelijk om 10 keer het volledige proces te doorlopen:
1. Input: <prompt> Output: <woord 1>
2. Input <prompt + woord1> Output <woord 1, woord 2>
3. Input <prompt + woord 1, woord 2> Output <woord 1, woord 2, woord 3>
4. …
10. Input <prompt + woord 1, woord 2 … woord 9> Output <woord 1, woord 2 … woord 10>
Enkele bespiegelingen
Voelt dit omslachtig? Dat komt omdat het zo is. Je zou bijna de opdracht “hou het kort” aan elke prompt willen toevoegen, uit schaamte voor de natuur en uit het schuldgevoel dat je hiermee de korenwolf om zeep hebt geholpen.
Klinkt ingewikkeld? Dat komt omdat het ingewikkeld is. We hebben een krankzinnig complexe machine gebouwd om antwoord te geven op een vraag. Een gigantische moderne versie van de Mechanical Turk (you can Google that) die overigens net als de antieke versie niet kan werken zonder niet-aflatende mensenlijke interventie (lees: Ghost Work, Data Grab, The Age of Extraction, Empire of AI), waarmee de broodnodige menselijke intelligentie wordt toegevoegd, maar dit terzijde.
Voelt het stom? Dat komt omdat het zo is. En als Dario Amodei CEO Anthropic), Sam Altman (CEO OpenAI) en Elon Musk (CEO van van alles en nog wat, ex DOGE) in koor roepen dat ze bang zijn voor hun eigen software, dan weet je dat ze lopen te raaskallen. En omdat je ook weet die drie musketiers zelf in het geheel niet stom zijn, weet je dat ze een andere agenda nastreven.
Nee, we hoeven niet bang te zijn voor pompeuze software die alleen maar op hele dure GPU’s draait. Maar we moeten de acties en vooral de uitspraken van Big Tech CEO’s met enorme achterdocht volgen.
1 Emily M. Bender, et.al. 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?