hoofdstuk 8 / 9

8. Evaluatie

Introductie

Een professionele rekenkamer gaat regelmatig na wat het effect is van haar werk en streeft er naar dit steeds verder te verbeteren. De NVRR onderscheidt drie evaluatievormen: evaluaties van eigen onderzoek, evaluaties van de resultaten en effecten (‘doorwerking’) van eigen onderzoek en evaluaties van het eigen functioneren als rekenkamer.1 Door te evalueren kunnen verbeterpunten en succesvolle werkwijzen worden achterhaald.

Aandachtspunten

  • Bespreek op gezette tijden de interne samenwerking binnen de rekenkamer.
  • Benut contactmomenten met anderen om informeel feedback te vragen over de rekenkamer.
  • Besef dat je opereert in een politiek-bestuurlijke context. Verwacht van raadsleden, bestuurders en/of ambtenaren geen objectief eenduidig antwoord op de vraag of het werk bruikbaar of nuttig is (‘where you stand, depends on where you sit’).
  • Evalueer na afloop van elk onderzoek (met onderzoekers, maar eventueel ook met ambtelijke organisatie en raad).
  • Het onderzoeken van de doorwerking van je werk is ook een vorm van evaluatie, als je daarbij nagaat welke factoren bepalend zijn voor doorwerking.
  • Het college moet jaarlijks aan de raad laten weten wat er met de aanbevelingen aan het college is gedaan (art.185a gemeentewet). Bespreek met college en raad hoe dat gebeurt, en ook hoe wordt gerapporteerd over de afhandeling van aanbevelingen aan de raad.
  • Benut het opstellen van het jaarverslag om intern het functioneren van de rekenkamer te evalueren. Ga na of je de dingen goed doet, maar ook of je de goede dingen doet die passen bij je ambities en doelen. En bespreek of de ambities en doelen nog passen.
  • Betrek in een evaluatie ook de werkwijze, regels en normen. Ga na of deze nog bijdragen aan je doel en aan professioneel werken.
  • Spreek zo mogelijk een vast format en planning af voor (externe) evaluaties. Een ver van tevoren vastgelegd evaluatiemoment geeft eenieder voorbereidingstijd, en is minder beladen dan een ad hoc evaluatie (die uitstraalt dat er blijkbaar iets mis is).
  • Organiseer je eigen lerend vermogen met een leercyclus, waarin bovenstaande aandachtpunten een plek krijgen.

Afwegingen

  • Evalueren, terugblikken, wordt vaak gezien als corvee en krijgt meestal eerder te weinig dan te veel aandacht. Bepaal daarom samen bewust hoe intensief je de evaluatieprocedures maakt. Maak je een zware evaluatieprocedure (met als risico dat die in de praktijk nooit wordt gevolgd) of begin je met een lichte evaluatieprocedure (zwaarder kan altijd nog)?
  • Op welk moment ga je evalueren: kort na oplevering van elk onderzoek, enige tijd later en/of enige jaren later?
  • Zijn de lessen uit je evaluaties in principe altijd openbaar, of alleen bij uitzondering?
  • Evalueer je ook de rol van de andere actoren (raadsleden, collegeleden, ambtenaren et cetera) die een belangrijke factor zijn in de mate van effectiviteit van het rekenkamerwerk?
  • Evalueer je het proces tot het moment van oplevering van het rapport of kijk je verder? Is bijvoorbeeld de navolging van door de raad overgenomen aanbevelingen een zaak van de raad, of heeft de rekenkamer daarin een rol? En is duidelijk wie bewaakt dat toezeggingen worden nagekomen en wie de daadwerkelijke doorwerking bewaakt?2
  • Wil je ook expliciet aanspreekbaar zijn op je gedrag, bijvoorbeeld door een klachtenregeling in te stellen (of aan te sluiten bij de gemeentelijke klachtenregeling), zodat mensen die ontevreden zijn over (hun behandeling door) de rekenkamer daarover terecht kunnen?
  • Evalueer je zelf, of maak je de evaluatie onafhankelijk(er) door een bureau in te huren, of de evaluatie samen met een of meer andere rekenkamers uit te voeren?

Voorbeelden

  • Zie vooral ook de NVRR Handreiking (zelf)Evaluatie met tips en praktijkvoorbeelden (zoals de Rekenkamer Oost-Nederland die na afloop altijd met een enquête de statenleden vraagt naar kwaliteit en bruikbaarheid van het onderzoek, de rekenkamercommissie Vallei en Veluwerand die na afloop alle betrokkenen vraagt een evaluatieformulier in te vullen, of de Algemene Rekenkamer die een nagesprek organiseert met de externe contactpersonen).
  • De rekenkamercommissie van Alphen aan den Rijn bespreekt in haar vergaderingen altijd als agendapunt kort de samenwerking.
  • Onderzoek ook de doorwerking (opvolgingsonderzoek). Je vindt vele praktijkvoorbeelden te als je in de NVRR-bibliotheek zoekt op trefwoorden Opvolging, Nazorg en/of Doorwerking. Er is ook een model voor het meten van doorwerking.
  • De rekenkamer Rotterdam trok lessen uit 10 jaar onderzoek en de rekenkamer Nijmegen keek terug op 20 jaar rekenkameronderzoek.
  • Deelname aan de Goudvinkprijs van de NVRR levert (gratis) feedback op je onderzoek. Je kunt ook zonder deelname de beoordelingscriteria benutten om je onderzoek(sopzet) aan te scherpen.
  • Benut ook het vertrek van een lid van je rekenkamer: een exitgesprek is een prima moment voor evaluatie. Vraag bijvoorbeeld: welk advies wil je jouw opvolger meegeven? Of: wat heb je niet kunnen doen wat je wel wilde doen? Of zelfs: waarvoor komt ruimte nu jij weggaat? Je kunt het vertrekkende lid ook vragen een afscheidsbriefje te schrijven.

Werkvormen voor Evaluatie: 

A. Al schrijvend tot inzicht

(Hiermee kun je op een simpele manier dieper dan normaal terugblikken op een onderzoek of ervaring)

Een eenvoudige manier voor (zelf)evaluatie is: schrijven. Deze werkvorm vraagt niets meer dan een stapel papier, een prettig schrijvende pen en een timer. De vorm zorgt ervoor dat je inzichten die ‘onder de oppervlakte’ zitten, boven tafel krijgt. Je kiest een onderwerp waar je op terug wilt kijken, bijvoorbeeld de samenwerking, een conflict, een bepaald onderzoek. Dan zet je allemaal je pen op papier en schrijft 20 minuten lang onafgebroken door. De uitdaging is om te blijven schrijven, zonder te stoppen. Je schrijft door, ook als je denkt dat het niet helemaal coherent is wat je schrijft, of als er iets op papier komt dat niets met het onderwerp te maken heeft. Spelling en interpunctie zijn ondergeschikt. Na 20 minuten stop je allemaal met schrijven. Je kijkt naar je eigen tekst en licht daar uit de inzichten die volgens jou van nut zijn voor de evaluatie. Die deel je met de groep. Daarover kun je het gesprek voeren. (Wees niet verrast als het jou persoonlijk ook iets oplevert!)

B. Waarderend interviewen

(Hiermee kun leren van eerder successen en kijken hoe je dat vaker voor elkaar krijgt)

Waarderend interviewen komt voort uit Waarderend onderzoeken. Deze kwalitatieve onderzoeksmethode focust op leren van het verleden, op het vergroten van wat goed gaat en doorontwikkelen op successen (in plaats van onderzoeken wat niet goed gaat, fouten corrigeren en oefenen op zwaktes). Zie ook de NVRR-wiki over waarderend onderzoeken). Je kunt die methode ook inzetten voor evaluatie van jullie eigen werk.

  • De startvraag is: “Vertel een verhaal over die keer dat je echt trots was op wat we met rekenkamer hebben bereikt. Wat is het verhaal en wat maakte het succes mogelijk?”
  • Vorm duo’s. Eentje is de interviewer en de andere vertelt, ze letten op wat het succes mogelijk heeft gemaakt 7–10 min p.p. (15-20 min totaal)
  • Vorm van alle tweetallen nu viertallen. In groepen van 4 vertelt elke deelnemer het verhaal van zijn of haar duopartner. Vraag de deelnemers om te zoeken naar patronen in omstandigheden/middelen die het succes ondersteunde of mogelijk maakte (15 min)
  • Verzamel inzichten en patronen op een flip-over kan zien. Vat samen indien nodig. (10-15 min)
  • Vraag aan de hele groep: “Hoe investeren we in de middelen en voorwaarden die ons succes bevorderen?” En “Welke kansen zien jullie om dit nog veel vaker te doen?”

Op deze manier kun je onderling evalueren, maar je kunt dit ook doen met raadsleden, de driehoek of zelfs nog breder met mensen met wie jullie samenwerken. Of organiseer eens een bijeenkomst met rekenkamers uit je regio en interview elkaar.

Voetnoten

  1. Zie:https://www.nvrr.nl/nieuws/77706/Handreiking-voor-zelf-evaluaties
  2. Zie hiervoor NVRR Handreiking onderzoek 2008: 61.