Stap 6 Interpreteren van informatie

Hou bij het interpreteren van onderzoeksinformatie rekening met de volgende aspecten:

• Gevoeligheid: De kwaliteit van monitoring en evaluatie hangt sterk af van de mate waarin met de instrumenten verschillen te meten zijn tussen de tijdstippen waarop gemonitord wordt. Dit wordt de ‘gevoeligheid’ van de instrumenten genoemd. Pas op bij het vergelijken van gegevens die zijn verkregen met twee verschillende instrumenten. Het mondeling of schriftelijk afnemen van een vragenlijst kan bijvoorbeeld al verschillende uitkomsten geven.
• Causaliteit: Het directe verband tussen inspanningen en resultaten wordt causaliteit genoemd. Tijdens het interpreteren van de uitkomsten is het vaak niet te zeggen of de gemeten veranderingen op gemeenteniveau ook daadwerkelijk komen door het uitgevoerde beleid, of dat er andere (omgevings)factoren een rol spelen die de veranderingen positief dan wel negatief beïnvloeden. Het helpt wel als de uitkomsten van de verschillende programma’s en interventies dezelfde kant opwijzen als de uitkomsten van het gevoerde beleid.
• Generalisatie: De conclusies van de onderzoeksgegevens kunnen niet altijd zomaar veralgemeniseerd worden. Dit hangt af van de vraag of de respondenten een goede afspiegeling (representatief) van de grotere populatie zijn (bijvoorbeeld alle inwoners in de gemeente).
• Geldigheid: Bedenk of de informatie juist is of dat uitkomsten vertekend kunnen zijn. Deelnemersaantallen van een activiteit kunnen anders zijn dan het werkelijke aantal. Dat geldt bijvoorbeeld wanneer deelnemers die te laat zijn binnengekomen niet meer geregistreerd worden. Lidmaatschap cijfers van sportverenigingen geven niet altijd weer hoeveel personen er ook daadwerkelijk bewegen. En houd bij tevredenheidsmetingen bijvoorbeeld ook rekening met het feit dat negatieve berichten de overhand kunnen hebben, omdat ontevreden mensen eerder geneigd zijn om hun mening te geven. Houd ook rekening met sociaal wenselijke antwoorden. Dit is niet altijd te voorkomen, maar wel belangrijk om over na te denken bij het interpreteren van bevindingen.
• Korte termijn versus lange termijn: De beoogde beleidseffecten worden pas vaak langzaam zichtbaar over een langere tijd. De begrotingscyclus is echter in de meeste gemeenten één jaar. Omdat de gegevens uit de monitors ook gebruikt worden voor verantwoordingsdoeleinden, bestaat het gevaar dat er éénjarige cycli ontstaan van informatievoorziening, waarbij de lange termijn over het hoofd wordt gezien. Om een goed inzicht te krijgen in de daadwerkelijke maatschappelijke effecten van het beleid moet over een langere tijdsspanne worden gemeten.