Zoals ondertussen bekend mag worden veronderstelt, heeft het Adviescollege ICT-toetsing op 18 februari haar rapport Advies Bemiddelingsservice (BMS) publiek toegankelijk gemaakt. Ik heb er ondertussen twee blog postings aan gewijd:

• Adviescollege ICT-toetsing velt negatief oordeel over UWV, 1

• UWV en Adviescollege ICT-toetsing: een gevalletje van de slager die haar eigen vlees keurt?

Vandaag dan de derde blog posting; dit keer gericht op een kwalitatieve evaluatie van het rapport. En ik ben bang dat het niet de laatste posting zal zijn, niet in de laatste plaats omdat UWV nog met een reactie moet gaan komen op het rapport.

Ik begin met een introductie van de twee/drie fasen van het UWV project, gevolgd door een evaluatie van het adviesrapport:

Fase 1
Volgens de (in juni 2025 herijkte) planning loopt fase 1 (matching voor 3.000 UWV adviseurs) door tot en met april 2026. De start van fase 1 lag in juli 2024, maar voor die tijd was er ook nog een fase 0 geweest, die meer dan een jaar heeft geduurd (het contract met 8vance is volgens UWV op 10 maart 2023 getekend). Volgens het rapport van het Adviescollege is de datum van april 2026 voor de afronding van fase 1 niet realistisch. Hetgeen betekent dat UWV meer dan 3 jaar na de start van het BMS project nog niets live heeft. Laat dat even bezinken.

Fase 2
En dan is er nog fase 2 van het project. Deze tweede fase is aanzienlijk groter en ambitieuzer. Allereerst vanwege de doelgroep; werkzoekenden. Hoewel UWV niet van werkzoekenden spreekt maar van cliënten. Dit zijn minimaal 200.000 werkzoekenden met een uitkering (CBS: januari 2026) oftewel een factor 100 meer dan het aantal UWV adviseurs. En ten tweede omdat in deze fase de bestaande legacy systemen (Sonar, WBS, ELISE en Vera) moeten worden afgesloten, althans na implementatie van de functionaliteit voor werkzoekenden. Het is, mede door het rapport van het Adviescollege onzeker wanneer (en misschien zelfs wel of) fase 2  van start gaat. Het lijkt onzeker dat een (eventuele) start vóór eind 2026 ligt.

Bevindingen van het Adviescollege
Het Adviesbureau komt met een drietal overkoepelende bevindingen:

1. De aanpak past niet bij het vernieuwende karakter van het project
2. Het lukt UWV niet om grip te krijgen op de kwaliteit
3. Het project loopt uit in geld en tijd

1. De aanpak past niet bij het vernieuwende karakter van het project
Adviescollege is van mening dat er in het project meerdere vernieuwingen samenkomen:

1. UWV koppelt profielen nu aan vacatures op basis van opleiding, werkervaring en reisafstand, maar gaat met het nieuwe systeem werken op basis van vaardigheden, competenties en ambities
2. UWV is gewend te werken met grote leveranciers voor de ondersteuning van haar primaire processen. 8vance is dit niet
3. UWV heeft geen ervaring met de implementatie van een SaaS-platform in een eigen cloudomgeving
4. UWV wil dat de leverancier aansluit op de taxonomie CompetentNL. De leverancier werkt nu met een eigen taxonomie.
5. De AI-verordening is nieuwe regelgeving waar UWV voor het eerst aan moet voldoen.

Ad.1. Zoekcriteria zijn zoekcriteria, laten we het niet moeilijker proberen voor te stellen dan het is. Waarom is dit een vernieuwing?

Ad.2. UWV maakt gebruik van matchleverancier WCC (ELISE) en dat is bepaald geen grote leverancier… Geen verniewing

Ad.3. Daar zijn vast capabele mensen voor beschikbaar. Waarom is dit een vernieuwing?

Ad.4. CompetentNL is een taxonomie en 8vance heeft ervoor getekend dit te integreren. Geen vernieuwing (wel een (te ferme?) uitdaging voor 8vance

Ad. 5. Ligt op geen enkele wijze op het kritieke pad en is door UWV bewust naar voren geschoven. Geen vernieuwing

Waarom zoekt Adviescollege rechtvaardiging van problematiek door vernieuwingen te fabuleren?
Maar wacht, er is meer. Zo heeft het Adviescollege ook geconstateerd dat de wijze van aansturing en implementatie niet past bij de aard van het project, en heeft daarvij de volgende constateringen:

1. UWV heeft een standaardpakket geselecteerd. Daarbij is het best practice dat het pakket zoveel mogelijk wordt ingezet zoals het is bedoeld en ontworpen. Wij zien echter dat UWV ervoor kiest de software aan te laten passen. Daarbij moeten functionele wijzigingen getest worden die niet goed zijn beschreven.
2. Er wordt hard gewerkt aan de op te leveren producten maar de kwaliteit van wat wordt opgeleverd wordt te weinig structureel besproken of er wordt onvoldoende op geacteerd.
3. Teams werken onvoldoende in samenhang doordat gemeenschappelijke ontwerpen ontbreken. Als gevolg daarvan begrijpen de mensen die moeten samenwerken elkaar niet. Of ze zijn niet op de hoogte van elkaars werkzaamheden en uitgangspunten.
4. Agile werken is nog niet volwassen. De implementatie gaat uit van een snelle, gefaseerde landelijke uitrol zodra het projectresultaat aan alle acceptatiecriteria voldoet. En niet van een geleidelijke, experimentele uitrol van werkende onderdelen in kleine stappen.

Ad.1. Hier heb ik nog eens hartelijk om moeten lachen! Hoor ik iemand Sonar roepen? Ja, dat hoor ik inderdaad… Nuf said. Oftewel, er is geen lerend vermogen binnen de UWV organisatie. Dat lijkt me een eerlijker constatering.

Ad.2. Geen kwaliteitscontrole? Dat diskwalificeert de projectorganisatie per direct

Ad.3. Nog een dikke vette min voor de projectorganisatie, of liever gezegd de program – en projectmanagers.

Ad.4. Sinds wanneer is agile werken de standaard in ICT-projectenland? UWV houdt niet van scrummen maar is nog lekker aan het watervallen? Fijn…

2. Het lukt UWV niet om grip te krijgen op de kwaliteit
Onder deze bevinding zegt het Adviescollege het volgende:

Doordat de focus niet ligt op leren en evalueren krijgt UWV geen grip op de kwaliteit. Wij zien een complexe oplossing waaraan steeds nieuwe eisen worden gesteld. Intussen is het niet duidelijk of de matchingsresultaten voldoende toegevoegde waarde bieden voor UWV.

Hier lazerde ik bijna van mijn stoel. Drie jaar na aanvang van het project is het niet duidelijk of de matchingresultaten voldoende toegevoegde waarde bieden? Wat the flying fuck?! Het BMS project gaat eerst en vooral om één ding: matchen. Om het nog schrijnender te maken, dit staat in UWV’s Uitnodiging voor Informatie voor dit project dd. eind 2021:

Uitnodiging voor Informatie – UWV

Heb je de geel gearceerde stukjes gelezen?

In deze fase willen wij toetsen of de aangeboden oplossing ook daadwerkelijk voldoet in relatie tot de technische oplossing , inpasbaarheid binnen de UWV-informatie-architectuur en de functionele werking van de oplossing binnen de context van het matchingsproces en het voldoen aan de voornaamste eisen uit het PvE.

In de Proof of Delivery heeft UWV dus al moeten hebben vastgesteld dat de gekozen oplossing (8vance) aan al deze voorwaarden voldeed. Toch? TOCH?? Dus hoe kan het Adviescollega dan tot de uitspraak komen dat het niet duidelijk is of de matchingsresultaten voldoende toegevoegde waarde bieden voor UWV??

Ik heb niet echt verder kunnen lezen, maar voor de volledigheid toch nog even de constateringen van het Adviescollege onder haar bevinding dat het het UWV niet lukt op grip te krijgen op de kwaliteit:

• De oplossing bij UWV wordt complexer dan nodig:
• UWV heeft gekozen voor near real-time datasynchronisatie van BMS met informatie uit de bestaande systemen. Eenvoudiger alternatieven, zoals informatie alleen via een batchproces inlezen, zijn niet gekozen.
• Aanvullen van vaardigheden, competenties en ambities binnen het platform van de leverancier heeft voor extra complexiteit gezorgd.
• De installatie van een nieuwe release is nog onvoldoende geautomatiseerd
• UWV is niet altijd bereid haar werkwijze aan te passen om het werken met een standaardpakket mogelijk te maken.
• Het Programma van Eisen biedt onvoldoende houvast om de benodigde functionaliteit en kwaliteit vast te stellen. Voorbeelden hiervan zijn:
• Het Programma van Eisen geeft geen antwoord op de vraag of matching op basis van opleiding, beroep en ervaring mogelijk moet zijn, naast matchen op vaardigheden, competentie en ambities.
• Het Programma van Eisen definieert niet hoe kan worden bepaald of het matchen met BMS voldoende kwaliteit heeft en ook niet wat de verwachte verbetering is van het matchen.
• De eenmalig uitgevoerde vergelijking tussen de matchresultaten van WBS en BMS is van onvoldoende kwaliteit en omvang om zekerheid te geven over de juiste werking in de praktijk.
• Eisen aan de koppelvlakken blijken te vrijblijvend te zijn geformuleerd.
• De relatie tussen de acceptatiecriteria, het Programma van Eisen en het contract zijn niet duidelijk.
• De kwaliteit van de dienstverlening na acceptatie kan pas worden vastgesteld als deze is vastgesteld in een dienstenniveau-overeenkomst (SLA). Ten tijde van ons onderzoek is deze nog niet afgerond.
• Er is geen structureel werkende kwaliteitsmonitoring op de werking van BMS:
• De leverancier van BMS kan geen geautomatiseerde test voor gebruikersinteractie en integraties uitvoeren in de omgeving van UWV. UWV vangt dit op met een systeemtest op de maandelijkse release waar nog veel bevindingen uitkomen. Hierdoor krijgen ontwikkelaars van de leverancier met vertraging feedback op de kwaliteit van hun werk. Dit is geen houdbare werkwijze.
• UWV beoordeelt de werking van de applicatie met controles op de in- en output van de applicatie en heeft onvoldoende kennis van de gebruikte algoritmen om de kwaliteit vast te stellen. Hierdoor weet UWV niet in hoeverre de nieuwe manier van matching beter is dan de hiervoor gehanteerde werkwijze in WBS en in welke mate de nieuwe werkwijze meer mensen aan werk helpt.
• De AI-verordening stelt eisen aan de kwaliteitsmonitoring van BMS.

Hierboven staan maar liefst dertien bevindingen van het Adviescollege op basis waarvan datzelfde Adviescollege stelt: Het lukt UWV niet om grip te krijgen op de kwaliteit. Pop quizz: wat vind je er zelf van? Hierboven wordt dertien keer een brevet van onvermogen afgegeven aan het UWV. Het is een foutenfestival dat lachwekkend zou zijn tot je bedenkt dat hiermee gemeenschapsgeld wordt verjubeld door een stelletje verklaarde incompententen. Maar we zijn nog niet klaar…

3. Het project loopt uit in geld en tijd
Met onderstaande bevindingen:

• De geplande live-datum is met tien maanden overschreden. De koppelingen werken nog steeds niet goed: niet alle gegevens komen aan in de doelapplicatie en gegevens gaan niet terug naar de bronsystemen.
  MD: Binnen drie jaar bijna een overrun van 1 jaar, zonder concrete implementatiedatum
• De planning blijft onzeker. De haalbaarheid van de huidige planning wordt door de verschillende stakeholders verschillend ervaren. In zijn algemeenheid zien wij dat het optimisme toeneemt naarmate de persoon hoger in de hiërarchie van de organisatie zit.
  MD: Ik zou dit het management Dunning-Kruger effect willen noemen. Hoe hoger in de hierarchie, des te lager de inhoudelijke kennis maar hoe groter het vertrouwen in de eigen beoordelingscapaciteiten. Ergo: de techneuten maken het onnodig complex, het kan vast (zonder argumentatie) veel simpeler en daardoor sneller.
• De uitloop van de planning zorgt volgens UWV voor een stijging van de projectkosten met € 4,7 miljoen. Deze budgetverhoging is ten tijde van ons onderzoek nog niet toegekend.
• De onderbouwing van het budget is onvoldoende, waardoor de projectkosten onzeker zijn:
• Invulling van het budget voor de beheerfase is nog onduidelijk. 
• De kosten voor fase 2 zijn nog onduidelijk doordat veel ontwerpkeuzes nog moeten worden gemaakt. Ook is onduidelijk in hoeverre UWV in fase 2 een aanbiederrol gaat vervullen in het kader van de AI-verordening en in welke mate dan aan de eisen kan worden voldaan.
• Het project stuurt onvoldoende op het realiseren van baten die in verhouding staan tot de investering:
• In het contract zijn weliswaar prestatieverplichtingen vastgesteld maar die zien wij in de projectsturing niet expliciet terugkomen. Het behalen van de prestatieverplichtingen wordt niet verbonden aan de betaling van de maandelijkse facturen van de leverancier tijdens de implementatie.
• De afgesproken licentiekosten voor fase 1 zijn niet gerelateerd aan daadwerkelijk gebruik want het maximale aantal mogelijke gebruikers is gelijk aan het minimumaantal te factureren licenties.
  MD: Als ik mij niet vergis gaat het hier om de contractwaarde uit de tender. Je weet wel, die van EUR 7 miljoen is gestegen naar EUR 70 miljoen… 
• De hoogte van de licentiebedragen zijn wel beperkt met maximale winstmarges. Het solvabiliteitsonderzoek naar de winstmarges van de leverancier is echter van onvoldoende diepgang.

Goeie god. Wat een teringzooi! Dit beperkt zich niet tot een projectorganisatie, hier is ook een Raad van Bestuur verantwoordelijk (terzijde, had Nathalie van Berkel als lid van de RvB niet de portefeuille van het UWV WERKbedrijf?) en het ministerie van SZW. Goed dat er een nieuwe minister is aangetreden; nieuwe bezems vegen schoon. Misschien kan deze minister in navolging van zijn rol in Groningen ook in Amsterdamk de kraan komen dichtdraaien. Hopelijk net op tijd voordat het tijd wordt voor een volgende parlementaire enquete…

O ja, het Adviescollege geeft in haar rapport ook nog een aantal adviezen. Ongetwijfeld goedbedoeld, maar het lijkt me toch echter verstandiger om de stekker uit dit project te trekken, projectmedewerkers hartelijk bedanken voor hun inspanningen en collectief LinkedIn gaan bijwerken waarbij het voor de langer zittenden nog wel een dingetje kan zijn om dit zwarte gat uit het profiel te poetsen. Misschien kan Nathalie van Berkel hier mee helpen. Tijd en ervaring genoeg