Berichten getagd ‘SMART’
Normenkader als meetlat in rekenkameronderzoek | 31 augustus 2022
Het opstellen van een goed normenkader is een belangrijk element in rekenkameronderzoek, maar waarom? De Gemeentewet stelt op grond van artikel 182 dat een rekenkamer de doelmatigheid, de doeltreffendheid en de rechtmatigheid onderzoekt van het door het gemeentebestuur gevoerde bestuur. Rekenkameronderzoek toetst of beleid aan de normen voldoet, waarbij een normenkader in het onderzoek centraal staat. Het normenkader zorgt voor sturing in de uitvoering van het onderzoek om uiteindelijk een oordeel te kunnen geven over de praktijk.
In deze blog gaat onze collega Janneke dieper in op het belang van een normenkader en hoe een dergelijk kader tot stand komt.
De functie van een normenkader
Het opstellen van een normenkader vindt plaats na het vooronderzoek en de ontwikkeling van het onderzoeksopzet. Het normenkader zorgt voor sturing omdat de andere onderdelen van het rekenkameronderzoek (bevindingen, analyse, conclusies en aanbevelingen) naadloos moeten aansluiten op het opgestelde en/of geldende normenkader. Een goed normenkader schept duidelijkheid over de normen waaraan beleid dient te voldoen en daarmee op welke aspecten het onderzoek focust, met als gevolg dat het onderzoek effectiever verloopt. De onderzoekers maken namelijk bewuste keuzes bij het opstellen van de normen over wat wel en niet belangrijk is en waar het beleid aan moet voldoen. Dit zorgt ervoor dat er afbakening plaatsvindt en helder is wat de onderzoekers onderzoeken.
Het is afhankelijk van het soort onderzoek of een normenkader van nut is. Zo is een normenkader bij een beschrijvend of verkennend onderzoek bijvoorbeeld geen gebruikelijk onderdeel van het onderzoek. Indien het gaat om een onderzoek waar gevraagd wordt om een oordeel, zoals een rekenkameronderzoek, dient een normenkader als meetlat waarlangs onderzoekers oordelen. Omdat een normenkader een uitwerking is van eisen die gesteld worden aan (doelmatig, rechtmatig en/of doeltreffend) beleid, dient een normenkader als geschikt meetlat in rekenkameronderzoek.
De totstandkoming van een normenkader
Een belangrijk deel van het opstellen van het normenkader is inzicht verschaffen in waar de normen vandaan komen. Het normenkader wordt vaak door de onderzoekers opgesteld als onderdeel van het onderzoeksproces. Unravelling stelt een normenkader op die aansluit bij de geformuleerde deelvragen van het onderzoek. Over het algemeen formuleren we bij iedere deelvraag een of meerdere normen, zodat duidelijk is wat per deelvraag wordt onderzocht. Vaak vergt dat in eerste instantie wat zoekwerk voor de onderzoekers omdat de normen niet duidelijk in het gemeentebeleid zijn geformuleerd en daaruit afgeleid kunnen worden. Ook zijn de doelen vaak niet meetbaar (SMART) geformuleerd. De onderzoekers dienen daarom in andere stukken op zoek te gaan naar (bruikbare) normen.
Een normenkader voor rekenkameronderzoek komt normaliter tot stand door het bestuderen van wet- en regelgeving, beleidsdocumenten, wetenschappelijke vakliteratuur of door professionele inzichten. Indien normen niet kunnen worden afgeleid uit voorgenoemde bronnen kunnen normen worden opgesteld aan de hand van jurisprudentie, criteria uit een wetenschappelijke of een beleidsmatige theorie, of als dat laatste niet helder geformuleerd is, door het reconstrueren van een beleidstheorie. Van belang is dat het normenkader actueel is en, in het geval van nieuwe wet- en regelgeving, daarop aangepast wordt.
Betrekken ambtelijke organisatie
Voor het in kaart brengen van de zwakke punten in het normenkader, kan het zinvol zijn om de ambtelijke organisatie te betrekken bij het opstellen van het normenkader. Dat kan bijvoorbeeld door te spreken met vakspecialisten, ambtenaren, college- en/of raadsleden. Ten eerste krijgen de onderzoekers op deze manier informatie over het onderzoeksonderwerp. In het begin van het onderzoek ontstaat dan al meer duidelijkheid over de eventuele zwaktes binnen het beleid, zoals knelpunten in de uitvoering van het beleid in de praktijk of kennisverschillen. Dit helpt bij het bepalen van de richting van het onderzoek en zorgt ervoor dat het normenkader wordt verbeterd.
Ten tweede kan het spreken van betrokkenen uit de ambtelijke organisatie (meer) draagvlak voor het onderzoek creëren. Uiteindelijk is het doel van de onderzoekers dat het onderzoek niet in de la beland, maar leidt tot verbetering van het beleid. Om dit te bereiken is het van belang dat de conclusies en aanbevelingen van het rekenkameronderzoek door de ambtelijke organisatie worden herkend en geaccepteerd.
Tot slot stelt het betrekken van de ambtelijke organisatie de betrokkenen in de gelegenheid om (kritische) kanttekeningen te plaatsen bij het onderzoek. Dat geeft de onderzoekers een beeld van waar gevoeligheden liggen en waar mogelijk tijdens of na het onderzoek (nog meer) vragen en/of opmerkingen over kunnen komen. Aanvullend is dit nuttige informatie voor de onderzoekers om in hun achterhoofd te houden om hierop in te kunnen gaan bij het formuleren van bevindingen, analyses en aanbevelingen om meer draagvlak te creëren.
Een goed normenkader loont
Kortom, het normenkader in rekenkameronderzoek zorgt voor sturing en fungeert als een meetlat. Aan de hand van het normenkader kan het beleid effectief worden getoetst. Dit voorkomt dat het onderzoek onsamenhangend is en meer tijd kost dan noodzakelijk. Daarbij kan het verstandig zijn om de ambtelijke organisatie te betrekken bij de totstandkoming van het normenkader. Dat vergroot het draagvlak voor het onderzoek en verkleint de kans dat het onderzoek in de la belandt. Besteed als onderzoekers dus voldoende tijd en energie aan het opstellen van een normenkader.
Deze blog is geschreven door Janneke Wijkmans. Meer weten over het betrekken van burgers bij lokale rekenkamers? Neem dan contact op met haar of met Shauni Drost.
Blogserie wettelijke taken gemeentelijke rekenkamers: doeltreffendheid | 23 feb 2022
In deze blogserie gaan we in op de wettelijke taken van gemeentelijke rekenkamers. In deze eerste blog door Miriam Dorigo lees je meer over het doen van onderzoek naar doeltreffendheid van beleid, een van de wettelijke taken van gemeentelijke rekenkamers. Wat houdt doeltreffendheid in, en hoe ziet het doen van onderzoek naar doeltreffendheid van beleid eruit?
De wettelijke taak van de rekenkamer: doeltreffendheid
Sinds 2006 moet iedere gemeente een rekenkamer of rekenkamerfunctie hebben. Dit versterkt het dualisme in de gemeentelijke politiek. Het dualisme bij de lokale overheid is ingevoerd naar voorbeeld van de landelijke overheid en maakt dat ieders rollen en verantwoordelijkheden afgescheiden en duidelijk zijn. Het college van B&W bestuurt en de gemeenteraad controleert en stelt kaders. Door onafhankelijk onderzoek te doen naar de doelmatigheid, doeltreffendheid en rechtmatigheid van het gemeentelijk beleid geeft de rekenkamer de raad handvatten om deze taken beter uit te voeren. De rekenkamer levert informatie en inzichten waarmee de raad het college kan controleren en kaders kan stellen.
In deze miniserie bespreken we wat de termen doelmatigheid, doeltreffendheid en rechtmatigheid inhouden en hoe Unravelling daar onderzoek naar doet. Onderzoek naar de doeltreffendheid, ofwel effectiviteit van het beleid, is de basis van rekenkameronderzoek. Beleid moet immers eerst bestaan en effectief zijn, voordat het zinvol is om na te gaan of het ook doelmatig of rechtmatig is.
Doeltreffendheid van gemeentelijk beleid
Doeltreffendheid of effectiviteit gaat over de mate waarin een in het beleid gesteld doel behaald wordt. Onderzoek naar doeltreffendheid bestaat uit een aantal stappen. De eerste stap is nagaan of er überhaupt beleid is en of daarin doelen worden gesteld. Helaas zien wij in de praktijk dat dit vaak niet het geval is. Ook kan het beleid verouderd zijn en daarom niet meer aansluiten bij de praktijk. Ten tweede moet worden vastgesteld of de doelen zodanig geformuleerd zijn dat ze haalbaar zijn. Anders gezegd; de doelen moeten SMART zijn, anders kunnen ze nooit behaald worden. SMART staat voor Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden. Ten derde gaan we na of de uitvoering aansluit bij het beleid en de daarin gestelde doelen. Ten slotte onderzoeken we de resultaten van het beleid en of die overeenkomen met de beleidsdoelen. Met andere woorden: of de doelen behaald worden.
Uitvoering van onderzoek naar doeltreffendheid
Een belangrijk onderdeel voordat het eigenlijke onderzoek begint, is het normenkader. Daarin staan de normen waaraan het beleid wordt getoetst om te bepalen of er sprake is van doeltreffendheid. Wij formuleren deze normen waar mogelijk SMART. Het normenkader geeft richting aan het onderzoek doordat het formuleert wat er onder doeltreffend beleid verstaan wordt in de context van het onderwerp van onderzoek en de betreffende gemeente. Alleen als de normen SMART-geformuleerd zijn, kunnen wij vaststellen of ze behaald worden, en dus vaststellen of het beleid doeltreffend is. Het normenkader zorgt er kortom voor dat het onderzoek neutraal en navolgbaar is.
Bij een onderzoek naar de doeltreffendheid van beleid raadplegen wij altijd een aantal bronnen. Ten eerste voeren we een documentstudie uit. Het beleid zelf is vastgesteld in één of meer documenten, waarin vaak de achterliggende visie van het beleid uiteen wordt gezet. Ook horen bij de documentstudie documenten over de uitvoering van het beleid.
Naast de documentstudie loont het om een aantal interviews te plannen. Het verantwoordelijke collegelid kan een toelichting geven op hetgeen er in de documenten is gevonden, met name wat betreft de achterliggende visie en de doelen. Ook gesprekken met betrokken ambtenaren, zowel in beleid als uitvoering, voegen veel waarde toe aan dit type onderzoek. Zo kunnen we vaststellen of zij bekend zijn met het beleid en de doelen en hoe zij in de uitvoering borgen dat de doelen daadwerkelijk worden bereikt. Uit zowel de documentstudie als de interviews kan blijken of de uitvoering aansluit bij het beleid en de doelen. Door deze aanpak, met het gebruik van diverse onderzoeksbronnen, ontstaat een genuanceerd beeld van de situatie in een gemeente.
Naast deze vaste onderdelen bestaan er een aantal optionele stappen die onderdeel kunnen zijn van het onderzoek. Zo kan gesproken worden met raadsleden, met de gemeentesecretaris of de griffier, naar gelang het onderwerp van het onderzoek en de precieze onderzoeksvragen. Ook is het mogelijk om inwoners of organisaties te spreken die te maken hebben met (de uitvoering van) het beleid. Een voorbeeld: bij onderzoek naar de doeltreffendheid van subsidiebeleid gaat het dan over de subsidie-ontvangende organisaties. In het geval van beleid op het gebied van mobiliteit of afval kan een enquête onder inwoners van de gemeente een goede aanvulling zijn. Deze en andere aanvullende stappen hangen af van het thema en de precieze onderzoeksvragen.
Onderzoek leidt tot beter beleid
Door middel van een samenhangend onderzoek lukt het om het beleid en de uitvoering aan het normenkader te toetsen. Daardoor kunnen de onderzoeksvragen beantwoord worden en kan beoordeeld worden of het beleid doeltreffend is. Dit levert voor het college en de raad conclusies en aanbevelingen op waarmee zij stappen kunnen zetten voor beter beleid.
Rekenkamers selecteren veelal onderzoeksthema’s waarvan ze vermoeden dat de doeltreffendheid niet goed is. Daardoor wordt er niet altijd onderzoek naar doelmatigheid of rechtmatigheid gedaan. Desondanks is ook dit onderzoek van groot belang. Hierover schrijven we meer in de komende weken.
Meer weten over het doen van onderzoek naar doeltreffendheid van beleid? Neem dan contact op met Miriam Dorigo.