De klassieke instrumenten voor evaluatie en monitoring binnen de overheid zijn vaak gericht op beoordeling, risicovermijding en voorspelbaarheid en daarmee niet helemaal geschikt voor innovatieve projecten. Want innoveren is ook systematisch uitproberen en leren. Continue leren uit de zaken die gelukt zijn, maar zeker ook uit zaken die mislukt zijn, en die kennis meteen opnieuw toepassen in een vervolgtraject.

Het INO-team zette daarom een leertraject op met alternatieve methodes om te monitoren en evalueren in samenwerking met IDEA Consult en collega’s van GO! onderwijs van de Vlaamse Gemeenschap, Agentschap Overheidspersoneel, Departement Omgeving en Departement Economie, Wetenschap en Innovatie. Deze presentatie(PDF bestand opent in nieuw venster) geeft een korte beschrijving van dit leertraject. Verdere duiding is terug te vinden in een praktijkbijdrage (PDF bestand opent in nieuw venster)in het Vlaams Tijdschrift voor Overheidsmanagement (2021/4).

Hierin kwamen de volgende methoden ter sprake:

Reflexieve monitoring is een dynamisch en adaptief proces dat uitgaat van Leren door doen, doen door leren. Evaluatie en monitoring maakt zo integraal deel uit van het proces en wordt doorlopend bijgestuurd op basis van wat er geleerd wordt.

Deze vorm van monitoring komt uit de transitiepraktijk en is geschikt voor reflectie en actie in complexe maatschappelijke systemen. Enkele transitieprioriteiten onder Visie 2050 werken hiermee.

Concreet

Enkele praktische instrumenten die een reflectieve aanpak helpen faciliteren zijn: een tijdslijnoefening, een eye-opener workshop of een dynamische leeragenda.

Meerwaarde

Reflexieve monitoring helpt je om systematisch en op een natuurlijke manier een leerlens op te zetten bij (de uitwerking van) je projecten. De instrumenten brengen naar boven wat vaak onuitgesproken blijft en helpen je om positief met deze feedback aan de slag te gaan.

Meer weten

• Theoretische achtergrond: Handboek “Reflectieve monitoring in actie. Handvaten voor de monitoring van systeeminnovatieprojecten”(2010)(opent in nieuw venster)
• Praktijkvoorbeeld: Project UrbanByNatur van stad Genk(opent in nieuw venster)

Theory of change (ToC) is vorm van theoriegedreven evaluatie of programmaevaluatie. In een ToC maak je samen met je stakeholders alle onderdelen van je innovatieproject expliciet. Je ontdekt black boxes, expliciteert beoogde resultaten en creëert gedeeld begrip.

Concreet

In een gesprek met je stakeholders definieer je:

• de bouwstenen van het project: de beoogde impact, resultaten, activiteiten en mechanismes
• de logische verbinding tussen deze bouwstenen.

Een ToC kan zowel in het begin, tijdens of op het einde van een project zinvol zijn.

Meerwaarde

Wanneer je systematisch de veronderstellingen in een project expliciteert en bevraagt, spoor je mogelijke denkfouten op nog voor ze onwerkbaar worden. Werken met een visualisatie van je ToC geeft in één oogopslag een makkelijk communiceerbaar overzicht van je project.

Meer weten

Voorbeelden van modellen en handleidingen:

• Theoretische achtergrond (in het Engels): Theory-based Approaches to Evaluation: Concepts and Practices(opent in nieuw venster)
• Praktisch handboek (in het Engels): Theory of Change in 10 Steps(opent in nieuw venster)
• Praktijkcase (PDF bestand opent in nieuw venster): toepassing in het kader van strategisch beleidskader Gemeenschapsonderwijs

Outcome mapping legt de focus op de nodige gedragsverandering bij de partners waarmee je rechtstreeks samenwerkt in je project (‘boundary partners’) om uiteindelijk de beoogde effecten bij je finale doelgroep (‘ultimate beneficiaries’) tot stand te brengen.

Concreet

Met outcome mapping zet je een participatief proces op waarbij je, in dialoog met je stakeholders, observatiesleutels (‘progress markers’) voor de gewenste gedragsverandering afbakent. Hierna wordt afgesproken welke interventies (‘strategy map’) het projectteam opzet om de gewenste gedragsverandering te ondersteunen. Dit kan gecombineerd worden met ‘outcome harvesting’ waarbij je doorheen je project regelmatig terugkijkt en reflecteert over wat je hebt zien veranderen en hoe dit door de interventies is beïnvloed.

Meerwaarde

Outcome mapping houdt expliciet rekening met de complexiteit van een maatschappelijke uitdaging. Je brengt klaarheid in een complex netwerk van relaties en interacties en hoe deze zich verhouden tot verwachte en onverwachte gedragsveranderingen.

Meer weten

• Meer toelichting rond Outcome Mapping : “Outcome Mapping : Building Learning and Reflection into Development Programs(opent in nieuw venster)”, en rond Outcome Harvesting : “Outcome Harvesting: Principles, Steps, and Evaluation Applications(opent in nieuw venster)”

Grootschalig luisteren is een leergerichte monitoring en evaluatiemethode die ervan uitgaat dat de realiteit het best te begrijpen is via de verhalen en ervaringen van mensen. In deze onderzoeksmethode geven de leden van een doelgroep, als verhalenverteller, zelf betekenis aan hun eigen getuigenis. De methode is in beginsel kwalitatief, hoewel bij een voldoende grote groep bevraagden ook in beperkte mate kwantitatieve uitspraken mogelijk worden.

Concreet

Respondenten worden uitgenodigd om een verhaal te delen aan de hand van een open vraag (‘triggervraag’). Aan dit verhaal geven ze betekenis aan de hand van een reeks ‘interpretatievragen’. Dit gebeurt via persoonlijke interviews, gefaciliteerde groepssessies of onlinebevragingen. Het verzamelde materiaal wordt dan verder kwantitatief en kwalitatief geanalyseerd. Zo worden patronen en tendensen zichtbaar en die toelaten om conclusies te vormen rond impactvolle ervaringen.

Meerwaarde

Deze methode genereert informatie over zaken die moeilijker te meten zijn met gewone vragenlijsten zoals gedrag, drijfveren, waarden, percepties en achterliggende dynamieken.

Meer weten

• Onderzoeksrapport over het belang van ‘luisteren in organisaties’: “Creating an Architecture of Listening in Organizations: The Basis of Engagement, Trust, Healthy Democracy, Business Sustainability, and Social Equity(opent in nieuw venster)”

• Praktijkvoorbeeld : Grootschalig luisteren bij Iedereen Verdient Vakantie

Waarderend onderzoek (‘Appreciative Inquiry - AI’) is een manier van leren en veranderen door dialoog en onderzoek met een focus op de sterktes, successen en mogelijkheden uit verleden en heden. Het principiële uitgangspunt hierbij is dat een systeem zich positief ontwikkelt zodra mensen gezamenlijk gaan onderzoeken wat er werkt, wat ze graag willen voor de toekomst, en in het licht daarvan manieren verkennen om die gewenste toekomst te realiseren.

Concreet

Een AI-traject is een participatieve actie-onderzoeksmethode en verloopt steeds cyclisch in vijf stappen. In de eerste Define-fase wordt de respondent uitgenodigd om te verwoorden wat de gewenste ontwikkeling is. Daarna, in de Discovery-fase, kijkt het onderzoek naar waar de gewenste situatie zich al voordeed. Hieruit ontstaat in de Dream-fase een gewenst toekomstbeeld. Daarna nodigt het onderzoek uit om hefbomen en ambities te formuleren; dit is de ‘Design’-fase. In de laatste ‘Discovery’-fase worden acties en projecten omschreven om deze ambities waar te maken.

Meerwaarde

Waarderend onderzoek is een methode die uitnodigt om probleemsituaties te herkaderen. Door te denken in kansen en mogelijkheden boor je intrinsieke motivatie aan en roepen veranderings- en vernieuwingstrajecten minder weerstand op.

Meer weten

• Handboek over Waarderend Onderzoek: “Waarderend veranderen. Appreciative Inquiry in de dagelijkse praktijk van managers(PDF bestand opent in nieuw venster)”

• Handboek over AI als evaluatiemethode: “Impactonderzoek. Samen in kaart brengen wat een leertraject oplevert(opent in nieuw venster)”

• Praktijkvoorbeeld : binnen het Agentschap Onroerend Erfgoed werden enkele technieken van AI gebruikt in archeologisch onderzoek bij de ontwikkeling van ondergrondse leidingen (contactpersoon Jonas Van Looveren, jonas.vanlooveren@vlaanderen.be)