Communiqué naar aanleiding van de Arlande themabijeenkomst digitaal examineren en diplomeren in het mbo

18 november 2020

Door: Rieks Oosting, Kasper Nobel, Onno-Hans NoteboomHenk Jan Quarré | Leestijd: 7 minuten.

Op donderdag 29 oktober vond een themabijeenkomst plaats over digitaal examineren en diplomeren voor managers en specialisten examinering in het mbo. In totaal waren er 30 deelnemers aanwezig: ROC Nijmegen, ROC Friesland College, Horizon College, Alfa-College, ROC De Leijgraaf, Graafschap College, Drenthe College, ROC Ter AA, ROC Rijn IJssel, mbo Rijnland, MBO Amersfoort, Clusius College, Nova College, Regio College, Summa College, Citaverde, SintLucas en Arlande.

De aanleiding voor deze digitale themabijeenkomst vormde de wens om te flexibiliseren en digitaliseren, in combinatie met veranderende richtlijnen die grote impact hebben op het diplomeren en examineren binnen het onderwijs. Relatiemanager voor het onderwijs, Rieks Oosting, zat de bijeenkomst voor en sprak de hoop uit elkaar deze middag te informeren en vooral te inspireren.

Voorafgaand aan de themabijeenkomst hebben de deelnemers een survey ingevuld die inzage gaf in examineren en diplomeren in het nu. De rapportage van deze benchmark is te downloaden via deze link.

Flexibilisering en digitalisering in het mbo

Met de opkomst van flexibiliseren en digitaliseren in het onderwijs, het meer summatief en formatief toetsen, ontstaat een belangrijk kantelpunt voor het examineren en diplomeren in het mbo. Onderwijsprocessen, waaronder dus het examineren en diplomeren, dienen georganiseerd en ingeregeld te zijn, zowel op decentraal- (opleidingen) als centraal niveau (bedrijfsvoering en ICT). Anno 2020 is er veel mogelijk op digitaal gebied maar worden veel kansen nog niet ten volle benut in het mbo.

Met het proces architectuur-examineren als basis en een procesanalyse als onderzoekinsteek, kan inzicht verkregen worden in de ketenprocessen vanuit verschillende disciplines. Hiermee wordt een integraal beeld gecreëerd waarmee examineringsprocessen als geheel ingericht kunnen worden (en niet per losstaande activiteit), met de juiste inzet van digitale middelen en met een helder beeld wat ervoor nodig is om dit te organiseren. Door inzet van data-analytics kan de onderwijsinstelling zich richten op de juiste onderwijsteams die aandacht nodig hebben, wordt inzichtelijk gemaakt in welke examens geïnvesteerd moet worden (om digitaal af te nemen) en welke examenprocessen en formulieren gedigitaliseerd moeten worden.

Digitale bijeenkomst

Tijdens de themabijeenkomst werden de opgedane ervaringen en toekomstige uitdagingen aan de hand van praktijkvoorbeelden met knelpunten en oplossingen vanuit o.a. ROC Nijmegen en SintLucas toegelicht aan de hand van de procesarchitectuur examineren mbo. Hierbij werd een verdieping aangebracht op basis van de uitkomsten van de benchmark waarin de verschillende deelgebieden van de procesarchitectuur examineren uitgelicht en besproken werden.

De volgende drie onderwerpen gaven de onderwijsbijeenkomst vorm:

  1. Grip op de processen van examineren.
  2. Inrichten van digitaal examineren.
  3. Examineren en diplomeren in 2030.

Daarnaast werd de themabijeenkomst werd verrijkt met diverse open vragen die via Mentimeter beantwoord werden.

Verwachtingen - terminologie - houding 

De belangrijkste reden voor de onderwijsinstellingen om deel te nemen was om kennis te delen over het inrichten van veilige (met o.a. oog voor privacy) digitale examens die plaats- en tijdonafhankelijk kunnen plaatsvinden.

Het is niet eenvoudig om tot een eenduidige visie en aanpak te komen omtrent dit onderwerp. Dat was ook niet de insteek. Een breed pallet aan thema’s is aan de orde gekomen: examineren met inzet van technologie, optimaal digitaal ondersteunen van processen, digitaal afnemen van examens, digitaal opslaan van dossiers, uitzetten-afnemen-beoordelen, een adequaat systeem voor opslag en proces, digitale workflows, papierloos werken, PE digitaal inrichten met tools in een veilige omgeving, dossiervormingsprocessen en het beheersbaar en bestuurbaar maken van opleiden tot examineren. Duidelijk werd dat de deelnemers naar samenhang tussen deze afzonderlijke thema’s zoeken.

Het merendeel van de aanwezigen ervaart hun eigen onderwijsinstelling zowel actief als reactief als het gaat om digitaal examineren en diplomeren. Slechts een aantal ervaart de organisatie proactief.

Resultaten survey en leer-en ontwikkelvragen

Volgens de deelnemers heeft het afnemen en beoordelen van examens de meeste aandacht nodig. Kwaliteitsborging en diplomeren scoren ook hoog.

Qua richtlijnen waar het misgaat bij het afnemen van examens wordt genoemd: te late vaststelling, beveiligde omgeving, afname in de beroepspraktijk, rolonduidelijkheid assessoren, planning ten aanzien vaststelling, aanvraag versus tijdpad, externe beoordelaars, onafhankelijkheid, onduidelijke richtlijnen, scheiding rollen, gebrek aan deskundigheid, telfouten, software/systeemfouten en fouten van examinatoren.

Onderwerp 1: Grip op processen van examineren

Henk Jan Quarré, consultant examineren

Procesarchitectuur examinering

De procesarchitectuur examinering creëert overzicht, duidelijkheid en biedt een gemeenschappelijke taal binnen het ketenproces examinering. Deze gemeenschappelijke taal helpt examencommissies, beleid en onderwijs om gezamenlijk problemen en oplossingen te definiëren. Daarom is het aan te bevelen dat examencommissies, beleid, onderwijsdirecteuren, teamleiders, taakdocenten examinering en docenten de procesarchitectuur examinering toepassen tijdens het zorgen en borgen van examenprocessen.

Figuur 1: "Procesarchitectuur examinering" bron: pe.onderwijsenexaminering.nl

Het jaarplan, de risicoanalyse en de agenda-indeling op basis van de procesarchitectuur examinering (zoals gepresenteerd tijdens de bijeenkomst van 29 oktober) dragen bij aan een gemeenschappelijke taal en zijn ondersteunend tijdens overleg tussen examencommissie (borgen) en directie, teamleiders en taakdocenten (zorgen).

Onderwijsinstellingen met meerdere examencommissies kunnen de procesarchitectuur examinering als mappenstructuur gebruiken waardoor het uitwisselen van informatie en personele wisselingen eenvoudiger opgevangen kunnen worden.

Input vanuit de Mentimeter

Onderstaande redenen werden door de deelnemers genoemd waarom digitalisering van examineren nog niet op orde is:

  • Geen prioritering, wettelijk kader ontbreekt.
  • Onduidelijkheid over veiligheid.
  • Veranderangst, onbekendheid, transitie van analoog naar digitaal is erg groot, geen ervaring.
  • Tijdsdruk.
  • Onvoldoende interne afstemming, waar beginnen? Wat is nodig?
  • Op orde brengen van de examenorganisatie heeft prioriteit.
  • Inzet financiële middelen en resources.
  • Gebrek aan visie, diverse meningen, ketenintegratie wordt niet onderkend.
  • Privacy, beveiliging, kwaliteitsborging, randvoorwaarden niet duidelijk.

Medewerkers van bedrijfsvoering en ICT worden als het meest digitaal vaardig gezien. Medewerkers van bestuur & beleid, de examenorganisatie, het onderwijs en de onderwijskundigen scoren vergelijkbaar lager op dit deel.
Diverse trends en ontwikkelingen zien de deelnemers op zich afkomen ten aanzien van digitaal examineren en diplomeren. De belangrijkste:

  • Toename van aantal digitale examens.
  • Meer maatwerk, gepersonaliseerd leren.
  • Toename ‘bring your own device’.
  • Examenleveranciers die digitaliseren.
  • Samenwerken met andere instellingen.
  • Opkomst Onderwijs op afstand.
  • Dringende behoefte aan veiligheid.
  • Iedereen is digitaal vaardig tegenwoordig.
  • Wens voor een digitaal examendossier (examenkluis).

De belangrijkste knelpunten en frustraties ten aanzien van digitaal examineren en diplomeren vormen de complexiteit van het onderwerp, zoals eiland denken, langs elkaar heen werken, veel papierwerk, ontbreken samenhang, daadkracht, zelfde einddoel en eigenaarschap, verschil in blikveld tussen bedrijfsvoering en onderwijs, lange workflows, lokale niet doordachte initiatieven, stroperige processen en te weinig faciliteiten.

Succesbepalende factoren rondom digitaal examineren en diplomeren binnen de examenorganisaties zijn: kennis van de PE, draagvlak, rolvastheid, deskundigheid actoren, examenkluis, overzichtelijk dashboard, duidelijke processen, structureel overleg en het zoeken van de verbinding met alle disciplines binnen de organisatie. Communicatie is de sleutel.

De belangrijkste verbetering denkt men te kunnen vinden in reductie van complexiteit en kwantiteit van het aantal examens, betere communicatie, betere digitale processen, met de hele sector optrekken in dezen en een integraal dashboard voortkomend uit een nieuw te bouwen suite van instroom tot aan

Digitaal examineren begint niet bij het examenplan. De meningen zijn verdeeld over dat flexibilisering van het onderwijs begint bij het examenplan.

Onderwerp 2: Inrichten van digitaal examineren

Kasper Nobel, consultant onderwijslogistiek

Creëren van een integraal beeld rondom examen-processen

Dit is over het algemeen afhankelijk van je aanleiding en doelstelling. Waarom wil je inzicht? Wat wil je bereiken? Onderstaand overzicht weergeeft de gebieden die toegepast zijn in een praktijkcasus bij een mbo-instelling.

Figuur 2: "Integraal examinering beeld creatie model"

Organisatie
Inzicht krijgen in de onderwijsteams, locaties en afdelingen en actoren.

Beveiliging
Hoe worden examens nu beveiligd, BYOD, richtlijnen veiligheid en faciliteiten.

Inzicht digitale afnames
Kwantitatief en kwalitatief inzicht in de (digitale) examenmomenten (op niveau van planeenheden).

Ketenprocesanalyse
Volgordelijke weergave processen en activiteiten, wie doet wat, welke applicatie ondersteunt wat, verbeter- en aandachtspunten.

Digitalisering
Huidige applicaties, mogelijkheden en grenzen, prioritering wat, architectuur nu en toekomst.

Toekomst en afhankelijkheden
Waar moet je rekening mee houden, wat is de ambitie.

Inzicht in digitale examens met behulp van Power BI, welke basis ingrediënten zijn nodig?

Door een lijst van de Centraal Register Beroepsopleidingen (crebo’s) samen met de opleidingen vast te stellen samen met een export van je examenboom (of examenplannen), kun je een basismodel maken in een data-analyse tool. Op basis van dit basismodel kun je maatwerk vragenlijsten opstellen die je kunt uitzetten in je organisatie.

Denk het proces van tevoren goed door, inclusief de verwerking van de vragenlijsten en wat je wil bereiken.

Figuur 3: "Power BI" & Figuur 4: "Data-analyse basis ingredienten model"

De ketenproces-analyse zorgt voor inzicht en overzicht

Een basisraamwerk zorgt voor het juiste niveau van overzicht en inzicht. Ga in gesprek met de stakeholders, valideer wat je opgehaald hebt en geef het een plek in het model.

Figuur 5: "Ketenproces-analyse"

Aanpak met stuurgroep en verbeterinitiatieven

Alle aandacht- en verbeterpunten in je analyse kun je clusteren in verbeterthema’s. Deze thema’s zijn afhankelijk van de inhoud van je analyse. Een mooie gedachte is om de indeling van je werkgroepen te koppelen aan tijdsdimensies, bijvoorbeeld nu, straks en later.

Figuur 6: "Model Verbeterthema's"

Input vanuit de Mentimeter

De inzet van data-analytics in het onderwijs is relatief laag terwijl de toegevoegde waarde ervan wel degelijk als belangrijk wordt gezien.

De instellingen voeren weinig ketenoverleg ten aanzien van examineren en diplomeren. Het ketenproces is ook niet goed inzichtelijk.

De belangrijkste doelen en ambities ten aanzien van examineren en diplomeren zijn:

  • Alle examens in één beheer voor uitgifte.
  • Ketens in kaart en in overleg met elkaar.
  • Lean aanpak vanuit management.
  • Eenduidig werkend proces waar grip op is waar iedereen zijn verantwoordelijkheid kent.
  • Heldere visie, step by step verbeteren.
  • Minimaal gebruik van papier.
  • Delen tussen de instellingen onderling.
  • Georganiseerde gegevenslogistiek.

Onderwerp 3: Examineren en diplomeren in 2030, evaluatie

Onno-Hans Noteboom, adviseur onderwijsinnovatie

Na de presentaties van Henk-Jan en Kasper werd op een interactieve manier via de mentimeter een verkenning gestart hoe examineren er in de toekomst uitziet.

De processen (PE-architectuur) en de studenttevredenheid scoren het meest volwassen ten aanzien van examineren en diplomeren. Het laagst scoren de competenties van de mensen, de organisatie, leiderschap en cultuur. Strategie & beleid, systemen en informatie scoren gemiddeld.

Belangrijke verbeterinitiatieven die na de themabijeenkomst op worden gepakt zijn:

  • Gedegen analyse maken.
  • Ketenproces inzichtelijk maken.
  • Examencommissie en CvB betrekken over de mogelijkheden die er zijn.
  • De keten compleet maken en iedereen aan tafel brengen.
  • Stip op de horizon zetten en roadmap maken.
  • Inzicht in omvang en soort examens creëren.
  • Proceseigenaarschap inrichten.
  • Rust brengen in proces en minder brandjes blussen.
  • Betere werkverdeling maken tussen examencommissie en jaarplanning.
  • Good practices halen bij andere instellingen.

De themasessie werd door de deelnemers geprezen vanwege de inspirerende informatie-uitwisseling, de herkenbare ervaringen en gedeelde knelpunten, nieuwe inzichten en de opgedane kennis. De gemiddelde beoordeling van de themabijeenkomst was een 8.

Deelnemen in 2021?

Begin 2021 wordt er een soortgelijke bijeenkomst georganiseerd. Wil je geïnformeerd worden wanneer dit plaatsvindt of een inhoudelijke toelichting op getoond materiaal wensen graag een bericht naar roosting@arlande.nl.

Wil je meer weten?

Vul onderstaand formulier in en we brengen je in contact met onze collega's.

 
1 Begin 2 Voltooid