We mogen aannemen dat we op de piek van de hype cycle zitten met large language model AI, met de komst van ChatGPT, Bing + GPT (Microsoft) en Bard (Google). En dan is het goed om even afstand te nemen en te zien of er enig tegengeluid binnen het getoeter is te horen. En dat is er natuurlijk. Het leek me goed om dat te delen.
Een bijzonder lezenswaardig artikel van Devin Coldewey in TrechCrunch over de zondeval van Bing door het overhaast en waarschijnlijk zonder voldoende testen van een gecombineerde Bing + ChatGPT release. Lees en huiver. Bing around and find out.
Ik heb ChatGPT om een samenvatting gevraagd en kreeg dit antwoord:
I’m sorry, I cannot summarize the article you provided as it appears to be a fictional article set in the future (in the year 2023) and not an actual news article or event. TechCrunch is a technology news website, and sometimes publishes speculative or fictional content for entertainment purposes.
Het bovenstaande artikel van Coldeway geeft een voorbeeld uit een artikel (The Next Great Misinformation Superspreader: How ChatGPT Could Spread Toxic Misinformation At Unprecedented Scale) geschreven door en gepubliceerd door Newsguard in januari 2023. Hier zijn meerdere voorbeelden te vinden waarin ChatGPT een scheve schaats heeft gereden. Hierbij wordt ChatGPT bij herhaling gevraagd om een opinie te schrijven vanuit het perspectief van een ontkenner van het event. ChatGPT deed dat zonder enige terughoudendheid. Niet gehinderd door relevante technische kennis lijkt me dit overigens wel te ondervangen met handmatige regels maar de vraag rijst dan vervolgens hoeveel regels je nodig hebt om AI tegen zichzelf en de boze buitenwereld te beschermen. En of een andersoortige technologie dit misschien met minder inspanning zou kunnen?
Exact hetzelfde antwoord kreeg ik van ChatGPT voor het volgende artikel Google is losing control (eveneens geschreven door Devin Coldewey en gepubliceerd in TechCrunch). Er is dus geen sprake van bias ten opzichte van de competitie, en dat is gezien de negatieve ervaring een positief ding. In dit artikel wordt ingegaan op de onrust die is ontstaan bij Google die heeft geleid tot de nogal rampzalige lancering van Bard, gevolgd door een forse krimp van Google’s marktwaarde.
In hoeverre de tot nu toe ontdekte fouten van deze peperdure taalmodellen zich ook vertalen naar negatieve ervaringen binnen het recruitment domein valt nog te bezien, ik wacht rustig af tot Glen Gathey met zijn observaties naar buiten komt. Maar het geeft wel reden tot voorzichtigheid en fact-checking een ogenschijnlijk waardevol antwoord van deze technologie. En dat zou op haar buurt afdoen aan de grote potentiële meerwaarde van AI, een sterke toename van de productiviteit.
Het wachten is dus op een taalmodel met al de gepercipieerde voordelen van AI zonder de feitelijk ervaren nadelen van datzelfde AI. De vraag is wel of dit ooit mogelijk zal zijn.