Es braucht vier Schritte, um die Auswertung in Handlungsempfehlungen umzumünzen.
Schritt 1: Daten aufbereiten und auswerten
Zunächst werden die Daten systematisiert und zusammengefasst.
Quantitative Daten lassen sich in Tabellen aufbereiten. Bei qualitativen Daten, die durch Interviews oder durch Fragebögen mit offenen Fragen erhoben wurden, werden die Kernaussagen extrahiert und zusammengefasst.
Schritt 2: auf Plausibilität prüfen
Im Anschluss sind die Daten auf Plausibilität zu prüfen. Der Plausibilitäts-Check ist ein kleiner, aber sehr wichtiger Schritt, denn auch kleine Fehler können eine Untersuchung stark verzerren.
Während die Datenauswertung (Schritt 1) nur durch einige wenige Personen erfolgen sollte, ist es sinnvoll, den Plausibilitäts-Check auf deutlich mehr Schultern zu verteilen. Vor allem sollten diejenigen einbezogen werden, die die Ergebnisse am ehesten fachlich einschätzen können: Projektverantwortliche, Projektmitarbeitende, externe Stakeholder mit Sachverstand.
Schritt 3: Daten analysieren
Die Auswertung der Daten in Schritt 1 ist rein deskriptiv, das heißt, die Ergebnisse werden 1:1 dargestellt: "30 Prozent der Jugendlichen besitzen einen Ausbildungsplatz".
Schritt 3 baut auf dieser Beschreibung auf und reflektiert die Ergebnisse. Dabei werden die Resultate zunächst verglichen (hierzu mehr im nächsten Abschnitt), und dann bewertet und interpretiert. Bewerten meint nicht, in "gut" oder "schlecht" zu unterscheiden, sondern die Resultate in einen Kontext zu setzen und festzustellen, ob das Projekt noch auf dem geplanten Weg ist.
Schritt 3 schafft die Grundlage dafür, um aus den Daten zu Lernen und Verbesserungen anstoßen zu können.
Schritt 4: Schlussfolgerungen ziehen,
Handlungsempfehlungen ableiten
Auch die aufwändigste Datenanalyse nützt nichts, wenn die Ergebnisse ungenutzt bleiben. Deswegen müssen die Ergebnisse breit kommuniziert und hinreichend besprochen werden. Wie bei der sonstigen wirkungsorientierten Projektsteuerung auch, kommt es darauf an, dass alle Beteiligten an den Schlussfolgerungen partizipieren.
Die Ergebnisse sollten daher mit den relevanten Stakeholdern diskutiert werden, ggf. auch mit FachexpertInnen, die Sie erst in diesem Schritt hinzu holen.
Schlussendlich fließen die Erkenntnisse in praxistaugliche Empfehlungen, mit denen das Projekt angepasst wird.
Auf PAFF gemünzt, sähe die Tabelle auf der vorherigen Site nach dem vierten Schritt in etwa so aus:
| Schritt 1 | Schritt 2 | Schritt 3 | Schritt 4 | |
Wie viele Jugendliche erhalten einen Ausbildungsplatz? Wie verändern sich ihre schulischen Leistungen? | Wurden die Daten einer Qualitäts- kontrolle unterzogen? | Stimmen Ziel und Plan überein? | Warum ist das so? Lassen sich Zusammenhänge erkennen? | Wie lässt sich das ändern? Muss das Projekt angepasst werden? |
50% der Teilnehmenden erhalten einen Ausbildungsplatz. Die Leistungen in den Kernfächern liegen bei einem Notenschnitt von 3,6. | Die Daten wurden im 4-Augen-Prinzip überprüft; die Ergebnisse diskutiert. | Das Projekt bleibt hinter dem Ziel zurück, 70% der Jugendl. in eine Ausbildung zu vermitteln. Die Leistungen in den Kernfächern haben sich nur minimal verbessert. | Jugendliche, die in den Kernfächern schlecht abschnitten, fanden keine Ausbildung. Offenbar sind gute Noten in den Kernfächern entscheidend bei der Jobsuche. | Die Jugendlichen benötigen Unterstützungsbedarf über die bestehenden Module hinaus. Deswegen schafft PAFF ein zusätzliches Nachhilfeangebot. |
Was tun bei schlechten Resultaten?
Ein systematisches Monitoring während des Projekts sollte eigentlich verhindern, dass Sie von schlechten Ergebnissen überrascht werden. Eigentlich. Denn natürlich kommt es in der Praxis häufig vor, dass manche Resultate nicht Ihren Erwartungen entsprechen werden.
Das können Sie tun:
Durchforsten Sie die Daten, auf denen die Auswertung basiert, auf Abweichungen hin – es ist durchaus denkbar, dass es bei der Auswertung zu Ungenauigkeiten kam, die das Bild verzerren.
Hilft das nichts, ordnen Sie das Resultat in den Gesamtkontext ein – hierbei hilft Ihnen womöglich der Problembaum aus der Bedarfsanalyse. Eventuell stellt sich das Resultat dann doch besser dar als zunächst befürchtet?
-
PAFF
Die Evaluation bei PAFF ergibt, dass die mangelnden Sozialkompetenzen der Jugendlichen ein entscheidendes Hemmnis bei der Jobsuche sind. Daher entschließen sich Projektleitung und Förderstiftung gemeinsam, ein weiteres Projektmodul "Sozialkompetenztraining" aufzusetzen.
Kommen Sie auch so nicht weiter, informieren Sie alle Stakeholder über den Stand der Dinge. Verdeutlichen Sie, warum Resultate hinter den Erwartungen zurückbleiben und welche Gegenmaßnahmen Sie planen. Im Idealfall unterstützen Ihre Geldgebenden Sie beim Lern- und Verbesserungsprozess (um den es Kapitel "Lernen und Verbessern" gehen wird).