hoofdstuk 8 / 8

8. Evaluatie

Introductie

Een professionele rekenkamer gaat regelmatig na wat het effect is van haar werk en streeft er naar dit steeds verder te verbeteren. De NVRR onderscheidt drie evaluatievormen: evaluaties van eigen onderzoek, evaluaties van de resultaten en effecten (‘doorwerking’) van eigen onderzoek en evaluaties van het eigen functioneren als rekenkamer.1 Door te evalueren kunnen verbeterpunten en succesvolle werkwijzen worden achterhaald.

Aandachtspunten

  • Bespreek op gezette tijden de interne samenwerking binnen de rekenkamer.
  • Benut contactmomenten met anderen af en toe om informeel feedback te vragen over de rekenkamer.
  • Besef dat je opereert in een politiek-bestuurlijke context. Verwacht van raadsleden, bestuurders en/of ambtenaren geen objectief eenduidig antwoord op de vraag of het werk bruikbaar of nuttig is (‘where you stand, depends on where you sit’).
  • Evalueer na afloop van elk onderzoek (met onderzoekers, maar eventueel ook met ambtelijke organisatie en raad).
  • Het onderzoeken van de doorwerking van je werk (rapporten of aanbevelingen) is ook een vorm van evaluatie, als je daarbij nagaat welke factoren bepalend zijn voor doorwerking.
  • Benut het opstellen van het jaarverslag om intern het functioneren van de rekenkamer te evalueren. Ga na of je de dingen goed doet, maar ook of je de goede dingen doet die passen bij je ambities en doelen. En bespreek of de ambities en doelen nog passen.
  • Betrek in een evaluatie ook de werkwijze, regels en normen. Ga na of deze nog bijdragen aan je doel en aan professioneel werken.
  • Spreek zo mogelijk een vast format en planning af voor (externe) evaluaties. Een ver van tevoren vastgelegd evaluatiemoment geeft eenieder voorbereidingstijd, en is minder beladen dan een ad hoc evaluatie (die uitstraalt dat er blijkbaar iets mis is).
  • Organiseer je eigen lerend vermogen met een leercyclus, waarin bovenstaande aandachtpunten een plek krijgen.

Afwegingen

  • Evalueren, terugblikken, wordt vaak gezien als corvee en krijgt doorgaans eerder te weinig dan te veel aandacht. Bepaal daarom samen bewust hoe intensief je de evaluatieprocedures maakt. Maak je een zware evaluatieprocedure (met als risico dat die in de praktijk nooit wordt gevolgd) of een vooralsnog erg lichte evaluatieprocedure (meer kan altijd nog)?
  • Op welk moment ga je evalueren: kort na oplevering van elk onderzoek, enige tijd later en/of enige jaren later?
  • Zijn de lessen uit je evaluaties in principe altijd openbaar, of alleen bij uitzondering?
  • Evalueer je ook de rol van de andere actoren (raadsleden, collegeleden, ambtenaren et cetera) die een belangrijke factor zijn in de mate van effectiviteit van het rekenkamerwerk?
  • Evalueer je het proces tot het moment van oplevering van het rapport of kijk je verder? Is bijvoorbeeld de navolging van uitvoering van de aanbevelingen na het raadsbesluit een zaak van de raad geworden, of heeft de rekenkamer daarin een rol? En is duidelijk wie bewaakt dat toezeggingen worden nagekomen en wie de daadwerkelijke doorwerking bewaakt?2
  • Wil je ook expliciet aanspreekbaar zijn op je gedrag, bijvoorbeeld door een klachtenregeling in te stellen (of aan te sluiten bij de gemeentelijke klachtenregeling), zodat mensen die ontevreden zijn over (hun behandeling door) de rekenkamer daarover terecht kunnen?
  • Evalueer je zelf, of maak je de evaluatie onafhankelijk(er) door een bureau in te huren, of de evaluatie samen met een of meer andere rekenkamers uit te voeren?

Voorbeelden

  • Zie vooral ook de NVRR Handreiking (zelf)Evaluatie met tips en praktijkvoorbeelden (zoals de Rekenkamer Oost-Nederland die na afloop altijd met een enquête de statenleden vraagt naar kwaliteit en bruikbaarheid van het onderzoek, de rekenkamercommissie Valei en Veluwerand die na afloop alle betrokkenen vraagt een evaluatieformulier in te vullen, of de Algemene Rekenkamer die een nagesprek organiseert met de externe contactpersonen).
  • De rekenkamercommissie van Alphen aan den Rijn bespreekt in haar vergaderingen altijd als agendapunt kort de samenwerking.
  • Onderzoek ook de doorwerking (opvolgingsonderzoek). Je vindt vele praktijkvoorbeelden te als je in de NVRR-bibliotheek zoekt op trefwoorden Opvolging, Nazorg en/of Doorwerking. Er is ook een model voor het meten van doorwerking.
  • De rekenkamercommissie van Heusden beschrijft in haar jaarverslagen de stand van zaken rond opvolging van de aanbevelingen. De tekst hiervoor levert het college aan.
  • De rekenkamer Nijmegen neemt in jaarverslag tot drie jaar na afronden van een onderzoek op hoe het gaat met de uitvoering van aanbevelingen / toezeggingen door het college / besluiten van de raad. En voegt bij het jaarverslag een brief met specifieke aandachtspunten voor de raad.
  • Deelname aan de Goudvinkprijs van de NVRR levert (gratis) feedback op je onderzoek. Je kunt ook zonder aan de prijsvraag deel te nemen gebruik maken van de beoordelingscriteria om je onderzoek(sopzet) aan te scherpen.
  • Benut ook het vertrek van een lid van je rekenkamer: een exitgesprek is een prima moment voor evaluatie. Vraag bijvoorbeeld dingen als: welk advies wil je jouw opvolger meegeven? Of: wat heb je niet kunnen doen wat je wel wilde doen? Of zelfs: waarvoor komt ruimte nu jij weggaat? Je kunt het vertrekkende lid ook vragen een afscheidsbriefje te schrijven.
  • Hieronder zie je een suggestie voor een werkvorm om binnen je rekenkamer te evalueren.

Voorbeeld van een werkvorm voor Evaluatie: Al schrijvend tot inzicht

Een eenvoudige manier voor (zelf)evaluatie is: schrijven. Deze werkvorm vraagt niets meer dan een stapel papier, een prettig schrijvende pen en een timer. De vorm zorgt ervoor dat je inzichten die ‘onder de oppervlakte’ zitten, boven tafel krijgt. Je kiest een onderwerp waar je op terug wilt kijken, bijvoorbeeld de samenwerking, een conflict, een bepaald onderzoek. Dan zet je allemaal je pen op papier en schrijft 20 minuten lang onafgebroken door. De uitdaging is om te blijven schrijven, zonder te stoppen. Je schrijft door, ook als je denkt dat het niet helemaal coherent is wat je schrijft, of als er iets op papier komt dat niets met het onderwerp te maken heeft. Spelling en interpunctie zijn ondergeschikt. Na 20 minuten stop je allemaal met schrijven. Je kijkt naar je eigen tekst en licht daar uit de inzichten die volgens jou van nut zijn voor de evaluatie. Die deel je met de groep. Daarover kun je het gesprek voeren. (Wees niet verrast als het jou persoonlijk ook iets oplevert!)

Voetnoten

  1. Zie:https://www.nvrr.nl/nieuws/77706/Handreiking-voor-zelf-evaluaties
  2. Zie hiervoor NVRR Handreiking onderzoek 2008: 61.