Bevor es ins Dickicht der Wirkung geht, möchten wir einige zentrale Begriffe erläutern: Wirkunganalyse, Monitoring und Evaluation.
Wirkungsanalyse
Der Begriff Wirkungsanalyse lässt sich in einem engeren und in einem weiteren Sinne verstehen.
- Wirkungsanalyse im engeren Sinne heißt, dass ausschließlich die Wirkungen eines Projekts betrachtet werden – also OutcomeOutcomes sind die Wirkungen des Projekts auf Ebene der Zielgruppen. Sie gehören zum zentralen Bestandteil der Wirkungslogik und untergliedern sich in drei Stufen: Veränderungen im Wissen, in Einstellungen und in Fähigkeiten (Stufe 4); im Verhalten (Stufe 5) oder in der Lebenslage/dem Status der Zielgruppe (Stufe 6). Outcomes und ImpactSoziale oder ökonomische Veränderungen auf gesellschaftlicher Ebene. Da der Bezug auf die gesamte Gesellschaft meist weder sinnvoll noch möglich ist, beziehen sich die Veränderungen meist auf einen Teil der Gesellschaft oder eine Region. Impact. Bei dieser ergebnisorientierten Betrachtung bleibt allerdings völlig unklar, wodurch diese Wirkungen erzielt wurden und welche Maßnahmen dazu maßgeblich beitrugen (und welche nicht).
- Insofern möchten wir Sie für eine Wirkungsanalyse in einem weitergefassten Sinn begeistern, die neben den Wirkungen (Outcomes und Impact) auch die erbrachten Leistungen ( OutputsAngebote und Produkte eines Projekts sowie deren Nutzung durch die Zielgruppe. Outputs bilden die Grundlage dafür, dass ein Projekt Wirkung erzielt. Outputs) und deren Qualität hinterfragt sowie die grundlegenden Wirkungsannahmen betrachtet, auf denen das Projekt fußt.
-
Wirkungsmessung?
Oft wird auch der Begriff Wirkungsmessung genutzt. Der Begriff suggeriert, dass sich Wirkungen exakt messen lassen. Das Gegenteil ist der Fall. Wirkungen sind in der Realität komplex und sind keineswegs berechenbar, und schon gar nicht aufs Komma.
Ähnlich, aber doch verschieden: Monitoring und Evaluation
Monitoring heißt, regelmäßig Informationen zu erheben, um die Fortschritte des Projekts zu beobachten und um zu prüfen, ob Qualitätsstandards eingehalten werden.
Das Monitoring eignet sich dafür, Inputs, Outputs und leicht zu erfassende Wirkungen zu dokumentieren. Systematisch betrieben, lässt das Monitoring später auch Aussagen über das gesamte Projekt zu – das kann insbesondere bei solchen Projekten relevant sein, bei denen eine Evaluation aus Gründen nicht möglich ist.
Schwerer zu erfassende Daten werden dagegen meist mittels Evaluationen erhoben. Verraten die im Monitoring gewonnenen Daten, dass ein Projekt nicht wie geplant läuft, lässt sich mittels einer Evaluation feststellen, warum das so ist. Eine Evaluation begutachtet und bewertet Prozesse, Ergebnisse und Wirkungen. Sie kann zu verschiedenen Zeitpunkten des Projekts durchgeführt werden.
Zur besseren Übersicht nochmal im Vergleich:
Monitoring | Evaluation | |
| Was wollen Sie wissen? | Was passiert im Projekt? | Warum passiert etwas, in welcher Güte und mit welchen Konsequenzen (Wirkungen)? |
| Warum? |
|
|
| Wer? | intern, Projektmitarbeitende | intern oder extern |
| Wann? | durchgehend (während des gesamten Projekts) | während des Projekts, zum Projektende oder einige Zeit nach Projektabschluss |
| Für welche Etappe in der Wirkungslogik wichtig? | Schwerpunkt auf Inputs, Outputs und leicht festzustellenden Wirkungen (Outcomes) | Schwerpunkt auf Wirkungen (Outcomes und Impact) |
Evaluationen ersetzen kein Monitoring
In vielen Projekten wird kein regelmäßiges Monitoring betrieben, weil es an Kapazitäten oder Kompetenzen mangelt. In solchen Fällen wird das Projekt schlechterdings genau einmal evaluiert, und zwar nach Projektende.
So wichtig diese Evaluation natürlich ist, möchten wir Sie aber für ein stetes und systematisches Monitoring begeistern! Denn konsequentes Monitoring ist das Frühwarnsystem für unerwartete Entwicklungen – ohne Monitoring können Sie nicht adäquat auf Planabweichungen und Unvorhergesehenes reagieren. Und eine Evaluation bringt Ihnen erst hinterher Gewissheit, die Sie vorher benötigt hätten ...
Im Übrigen muss ein regelmäßiges Monitoring keinesfalls aufwändig und teuer sein. Kostengünstige Mittel und Methoden stellen wir im Kapitel Erhebungsmethoden im Überblick vor.