Bevor Sie sich ans Datensammeln machen, sollten Sie sich über zwei Aspekte klar werden:
- Wann ist der richtige Zeitpunkt, an dem Sie die Daten erheben? – Sammeln Sie fortlaufend? Oder einmalig nach jedem Meilenstein, nach Abschluss einer Maßnahme o.ä.? – Diese Fragen müssen Sie individuell beantworten. Der richtige Zeitpunkt hängt natürlich auch davon ab, ab wann sich Daten überhaupt erheben lassen, also ab welchem Zeitpunkt überhaupt belastbare Informationen vorliegen.
- Nicht minder ist Ihr Erkenntnisinteresse: Was genau wollen Sie eigentlich herausfinden und welche Daten helfen Ihnen ganz konkret (und welche helfen Ihnen nicht)?
Auf Ebene der Prozesse und OutputsAngebote und Produkte eines Projekts sowie deren Nutzung durch die Zielgruppe. Outputs bilden die Grundlage dafür, dass ein Projekt Wirkung erzielt. Outputs (Leistungen) kommt es darauf an, dass Sie zeitnah herausfinden, ob Geld und Zeit noch im Plan liegen. Deswegen sollten Sie solche Daten regelmäßig erheben – je nach Spielart wöchentlich, monatlich, vierteljährlich. Denn nur so können Sie bei Abweichungen gegensteuern.
Auf Ebene der Wirkungen ( OutcomeOutcomes sind die Wirkungen des Projekts auf Ebene der Zielgruppen. Sie gehören zum zentralen Bestandteil der Wirkungslogik und untergliedern sich in drei Stufen: Veränderungen im Wissen, in Einstellungen und in Fähigkeiten (Stufe 4); im Verhalten (Stufe 5) oder in der Lebenslage/dem Status der Zielgruppe (Stufe 6). Outcomes und ImpactSoziale oder ökonomische Veränderungen auf gesellschaftlicher Ebene. Da der Bezug auf die gesamte Gesellschaft meist weder sinnvoll noch möglich ist, beziehen sich die Veränderungen meist auf einen Teil der Gesellschaft oder eine Region. Impacts) geht es meist um mittel- und langfristige Resultate. Diese lassen sich im Allgemeinen schwerer feststellen als bspw. Output-Informationen. Allerdings gibt es auch auf dieser Ebene Informationen, die Sie vergleichsweise leicht und regelmäßig erheben können, wie etwa die Veränderung von Schulnoten.
-
Kontinuierlich anstatt punktuell
Ganz wichtig: Egal, welche Daten Sie ermitteln – die Wirkungsanalyse ist ein kontinuierlicher Prozess. Das heißt, es genügt nicht, Daten erst zum Projektende hin zu erheben. Sie können dann nämlich weder aus diesen Daten lernen noch adäquat gegensteuern.
Wann Sie evaluieren, hängt vom Einzelfall ab.
Die Evaluation zu Beginn des Projekts dient der Bedarfs- und Umfeldanalyse. Sie können so die Bedarfe der Zielgruppe erfragen, diese mit den Projektzielen abgleichen und prüfen, ob die geplante Vorgehensweise tatsächlich die richtige ist.
(Ab-)Schlussevaluationen werden, wie es der Name schon sagt, am Ende eines Projekts durchgeführt. Hierbei wird oft, aber nicht immer, das gesamte Projekt bewertet.
Natürlich ist es sinnvoll, nach Projektabschluss Bilanz zu ziehen. Doch abgesehen von Abschlussberichten an Geldgebende hat eine Evaluation am Ende des Projekts oft wenig Nutzen. Denn wenn die Ergebnisse endlich vorliegen, sind Mitarbeitende meistens längst mit anderen Projekten beschäftigt.
Außerdem ist es im Nachhinein nicht mehr möglich, auf die Erkenntnisse der Evaluation zu reagieren. Wenn sich also mittendrin die Möglichkeit einer Zwischenevaluation bietet – dann nutzen Sie sie!
Bei Projekten, die kein geplantes Ende haben, sollten Sie von sich aus Zeitpunkte identifizieren, an denen Sie eine umfassende Auswertung vornehmen – etwa, wenn Sie ein neues Projektmodul entwickeln oder das Projekt an andere Orte verbreiten möchten.
Eine Ex-Post-Evaluation findet einige Zeit nach Abschluss des Projekts statt. Sie hat zum Ziel, herauszufinden, welche Wirkungen ein Projekt auch über sein Ende hinaus entfaltet. Ein Beispiel für eine Ex-Post-Evaluation wäre eine Verbleibstudie, die ermittelt, was aus den ProjektabsolventInnen wurde.
Ganz unabhängig vom Zeitpunkt sollten Sie über eine Evaluation nachdenken, wenn die Monitoringdaten auf signifikante Abweichungen gegenüber Ihrer Planung hinweisen. (Dazu mehr im Kapitel "Indikatoren entwickeln: Vom IST zum SOLL ...")
-
Wirkungsanalyse bei PAFF
PAFF erhebt systematisch Daten. Vor allem werden die erbrachten Leistungen dokumentiert, wie etwa die Anzahl der Nachhilfestunden.
Auf Ebene der Wirkungen werden die Veränderungen bei den Schulnoten festgehalten.
Um festzustellen, wie sich die Projektteilnahme auf das Sozialverhalten der Jugendlichen auswirkt, wird nach zweieinhalb Jahren evaluiert. Die Resultate helfen, das laufende Projekt weiterzuentwickeln und das Folgeprojekt von vornherein optimal aufzusetzen.
Tipps, Workshops, Ausschreibungen, Termine – 4x jährlich im kostenlosen Newsletter. Datenschutzrichtlinie.