Gábor Kishimók werkt als postdoc aan UvA en doet nog meer interessants. Althans, op Youtube vond ik een boeiende presentatie over OntoHR, een initiatief van het Center of Job Knowledge Research, dat probeert om op basis van semantics een optimale match te maken tussen opleidingscurricula en arbeidscompetenties. De paper op het terrein van Learning Analytics waarvan hij co-auteur is staat ook online.
De presentatie van Kishimok werd een onverwacht genoegen, want was een introductie in het mij nog onbekende terrein van de learning analytics. Het vakgebied gaat over de optimalisatie van opleidingen op basis van data-analyse, ten behoeve van wetenschap, onderwijs en arbeidsmarkt.
Bij learning analytics worden verschillende soorten data. Je denkt als eerste natuurlijk aan examencijfers en dergelijke, maar ook behavioral data (clicks, views, shares), fysiologische data (hersenactiviteit, hartslag) en arbeidsmarktdata (vacatures, economische indicatoren) worden toegepast. Europa ligt nogal achter op dit terrein, de VS lopen voorop.
Kishimók geeft een casus van Purdue University in Indiana waar op basis van learning data een voorspelling wordt gegeven van de dropout rate en retentie van studenten. En de data genereren ook nog eens adviezen over interventie voordat een student de studie opgeeft.
Kishimók en zijn collega’s hebben een experimentele app ontwikkeld waarmee studenten zelf hun studieresultaten kunnen managen. Wat sowieso blijkt is dat het stellen van doelstellingen de studieperformance verhoogt. Wat ook blijkt is dat studenten nog zelden in termen van doelstellingen denken. Tot bijna niemand dringt door dat ze zelf in de driver’s seat horen te zitten wat betreft hun eigen studie. Wat ook nog nauwelijks blijkt door te dringen tot studenten is dat de nauwe relaties kunnen worden gelegd tussen studieprestaties en arbeidsmarktkansen. Door die informatie inzichtelijk te maken zullen de studieresultaten vermoedelijk stijgen en zal de studie sowieso efficiënter worden.
Kishimók sluit zijn presentatie af met de vijf grootste uitdagingen in de learning analytics:
1. Shooting on a moving target. De maatschappij verandert snel, het terrein van de datatoepassingen is zelfs een rollercoaster (volgens Welling), maar de opleidingensector is nog enorm conservatief. Resultaten meten gaat bij wijze van spreke nog met de ganzenveer.
2. Opleidingsinstellingen zijn veel te complexe organisaties. Er zijn veel te veel stakeholders. Hij laat een plaatje zien van de stakeholders in de Universiteit van Amsterdam en ik kreun zachtjes. Dat soort organisaties is nauwelijks resultaatgericht te managen. De behoefte aan learning analytics komt meestal op vanuit de leraar, maar het management levert er doorgaans geen voldoende antwoord op. Er is ook veel angst vanuit de organisatie om dingen meetbaar te maken.
3. Definitieproblemen. Tussen neus en lippen laat Kishimók weten dat er maar liefst 161 verschillende arbeidsmarkt-taxonomieën zijn. De definitie van skills bijvoorbeeld is ook enorm ambigu.
4. Mensen vertrouwen het niet. Algoritmes zijn niet transparant. Mensen vertrouwen geen intransparante algoritmes. Het voorstel van Kishimók is om alle educational algoritmes openbaar te maken. Een black box is niet nodig. (Mijn gedachte: vaak worden algoritmes geheim gehouden om te af te schermen van manipulatie. Of dat in learning analytics een gevaar zou kunnen worden laat zich raden.) Educational data is vaak nauwelijks ontsloten. Op Uva zijn er 65 learning databases op verschillende systemen. Veel organisatorische tegenwerking. Data is macht en het spel om data is een machtsspel.
5. Ethiek en privacy. Dit is een lastige balans: wat geeft de doorslag: privacy of persoonlijke ontwikkeling? Kishimók draait het ook om: is het wel ethisch om data waarover de organisatie beschikt niet te gebruiken als de persoonlijke ontwikkeling daarmee bevorderd kan worden?
Dit gastblog is geschreven door Kaj Jalving