Een aantal dagen geleden geleden verscheen er weer eens een (ondoordacht?) artikel van 8vance op haar favoriete marketing kanaal Werf& met de volgende teaser:

Nederland [is] naarstig op zoek naar een nieuwe minister-president. In deze zoektocht rijst de vraag: wat zou A.I. daarvan vinden?

Kort gezegd komt het artikel er op neer dat 8vance een vergelijking zegt te willen maken tussen ‘brede’ AI’s (LLM’s zoals ChatGPT, Perplexity en Gemini) en smalle AI (hier komt 8vance niet verder dan: 8vance). En over die brede AI’s zegt 8vance:

Voordeel is dat deze technologie getraind is op openbare data van het hele internet en daardoor oneindig veel bronnen kan combineren. Nadeel is dat deze technologie niet altijd consistent is, soms hallucineert en vooral heel specifieke ‘kennis’ ontbeert als je inzoomt op een bepaald onderwerp zoals bijvoorbeeld recruitment. De antwoorden zijn daarvoor vaak te algemeen en nietszeggend.

Dat is het. Geen specifieke prompts die zijn uitgeprobeerd, geen concrete resultaten die kunnen woren vergeleken, helemaal niets. Feitelijk zet 8vance LLM’s weg als onbetrouwbaar en onbruikbaar zonder hiervoor ook maar een snipper bewijs te leveren. Waarmee overigens niet is gezegd dat LLM’s een goede vraagbaak zou zijn. Kijk naar de resultaten op basis van de prompt: Welke publiek bekende figuren zijn in theorie kandidaat voor het premiersschap van de nieuwe Nederlandse regering (PVV, BBB, VVD en NSC)? Wees concreet.

(meer…)