Der Gedanke, die eigene Arbeit mit der von anderen zu vergleichen, löst häufig Unbehagen aus – sei es, weil das eigene Projekt als einmalig wahrgenommen wird oder die (leider berechtigte) Befürchtung existiert, dass Geldgebende ihre Förderzusage ausschließlich anhand von Vergleichsergebnissen treffen. Aus diesem Grunde bieten rein quantitative Vergleiche keine gute Entscheidungsgrundlage. Vielmehr kommt es darauf an, die Daten zu interpretieren und mittels qualitativer Aussagen in einen Kontext einzubetten.
Beispielsweise lassen sich Zahlenreihen zum Ausbildungsmarkt in strukturschwachen Regionen mit solchen in prosperierenden Landstrichen kaum vergleichen, ohne die Arbeitsmarktsituation im Ganzen zu berücksichtigen.
Und trotzdem: Vergleiche sind ein zentraler Bestandteil der Datenanalyse. Nur mithilfe von Vergleichen können Ergebnisse bewertet, diskutiert und weiterentwickelt werden!
Sie haben verschiedene Möglichkeiten, Daten miteinander zu vergleichen. In diesem Abschnitt stellen wir fünf Optionen vor und zeigen anhand des Projektbeispiels PAFF, welche Schlussfolgerungen sich daraus ergeben.
-
PAFF
Die PatenbetreuerInnen haben die Aufgabe, in regelmäßigen Abständen die Monitoringdaten zusammenzutragen, um diese dann an die Projektleitung weiterzuleiten.
Um eine gleichbleibende Datenqualität sicherzustellen, werden die PatenbetreuerInnen insbesondere vor und kurz nach dem Projektstart geschult. Zudem überprüft die Projektleitung alle Daten auf ihre Plausibilität hin.
1. Vorher-Nachher-Vergleich
Bei Vorher-Nachher-Vergleichen werden Veränderungen im Zeitverlauf dargestellt.
Sie möchten feststellen, ob sich bei den SchülerInnen innerhalb einer Schulklasse, die am Mathe-Nachhilfeangebot von PAFF teilnehmen, die Note geändert hat – und in welche Richtung.
Mögliche Schlussfolgerungen: Der Notendurchschnitt der Teilnehmenden hat sich innerhalb von zwei Schuljahren um 0,6 verbessert (von 3,5 auf 2,9). Um nun festzustellen, inwieweit die Veränderung auf PAFF zurückzuführen ist, braucht es eine Vergleichsmöglichkeit. Beispielsweise können die Noten innerhalb einer Klasse verglichen werden (linke Spalte), zwischen projektteilnehmenden SchülerInnen (mittlere Spalte) und nicht-teilnehmenden (rechte Spalte). Anderenfalls wäre es sonst denkbar, dass sich die Noten der gesamten Klasse verbessert haben, weil sie etwa von einer neuen Mathelehrerin unterrichtet wurden.
2. Soll-Ist-Vergleich
Soll-Ist-Vergleiche setzen die angestrebten Ziele mit den tatsächlichen Resultaten in Beziehung.
Beispiel 1: Sie möchten feststellen, ob sich der Prozentsatz der Jugendlichen, die direkt nach dem Schulabschluss einen Ausbildungsplatz finden, wie erhofft entwickelt hat.
Im ersten Jahr hat das Projekt seine Ziele nicht erreicht (Projektjahr 1, erste Zeile). Sie könnten also erwägen, Projektinhalte und -abläufe zu optimieren.
Gleichzeitig sollten Sie überlegen, ob die Ziele zu ambitioniert waren und ggf. angepasst werden müssen. Hier kann ein Vergleich mit ähnlichen Projekten hilfreich sein.
Nachdem im zweiten Jahr der Soll-Wert erreicht wurde (zweite Zeile), ist die Übergangsquote im dritten Jahr wieder gesunken (dritte Zeile). Kein Grund zur Unruhe, aber zur Aufmerksamkeit.
Die Gründe für das Verfehlen der Ziele können innerhalb oder außerhalb des Projekts liegen: Gab es einen Qualitätsverlust? Haben sich Bedarfe verändert, auf die reagiert werden sollte? Hat die Zahl der angebotenen Lehrstellen in der Region abgenommen?
Hilfreich kann hier auch ein Blick auf den Problembaum sein.
Beispiel 2: Sie möchten ermitteln, wir zufrieden die PatInnen mit den PatenbetreuerInnen sind.
40 Prozent der PatInnen sind mit der Betreuung unzufrieden (Spalten 3+4). Auch ohne expliziten Soll-Wert ist das zu hoch.
Woran kann die Unzufriedenheit liegen? Lässt sich herausfinden, ob es sich zum Beispiel um Patinnen und Paten handelt, die in ein- und derselben Patengruppe sind? Was kann getan werden, um deren Zufriedenheit zu steigern?
Beispiel 3: Sie möchten die Erwartungen der Teilnehmenden und PatInnen mit den tatsächlich erreichten Ergebnissen vergleichen.
Bei PAFF überlegen sich PatInnen und Mentees gemeinsam, welche Verbesserungen sie bei der Mathe- und Deutsch-Note erreichen wollen.
Angesichts der Ergebnisse könnten Patin oder Pate und Mentee zusammen überlegen: "Welche der gesteckten Ziele haben wir erreicht? Wo können wir uns auf die Schulter klopfen, an welcher Stelle müssen wir noch etwas tun? Braucht es zusätzliche Maßnahmen oder weitere Nachhilfeangebote?"
-
Achtung!
Eine rein zahlenbasierte Erfolgsmessung kann dazu verleiten, nur noch mit Personen der Zielgruppen zu arbeiten, bei denen ein erfolgreicher Projektabschluss wahrscheinlich ist.
3. Vergleiche zwischen verschiedenen Projektkonzepten
Ein Projekt lässt sich meistens auf verschiedenen Wegen realisieren. Vergleicht man diese verschiedenen Wege miteinander, lässt das auch Rückschlüsse auf die Erfolgsfaktoren zu.
Wurde etwa das Projektkonzept nach einer ersten Evaluation geändert, können die Ergebnisse der ersten Evaluation mit denen der zweiten Evaluation verglichen werden: Welche Veränderungen haben zu anderen bzw. besseren Resultaten geführt?
Beispiel: Festgestellt werden soll, ob die Jugendlichen, die zusätzlich zu der Patenschaft noch ein Bewerbungstraining hatten, mehr Erfolg bei der Lehrstellensuche haben.
Mögliche Schlussfolgerungen: Das zusätzliche Bewerbungstraining scheint einen positiven Effekt auf die Übergangsquote zu haben. Ein Gefühl, dass das so sein könnte, hatten die Projektverantwortlichen schon vorher. Die Daten bestätigen diese Vermutung nun.
Wenn zunächst unklar klar ist, welchen Faktoren bei der Analyse tatsächlich relevant sind, ist Spürsinn gefragt:
- Welche verschiedenen Bestandteile (Bewerbungstrainings, Nachhilfe) und Qualitätsfaktoren (ausgebildete Lehrkräfte) gibt es im Projekt? Lassen sich daraus Rückschlüsse auf die Erfolgskriterien ziehen?
- Haben diejenigen, die einen Ausbildungsplatz fanden, ein Bewerbungstraining durchlaufen?
- Waren die Jugendlichen, deren Schulnoten sich deutlich verbessert haben, diejenigen, die den Nachhilfeunterricht bei einer ausgebildeten Lehrkraft hatten?
Im Beispiel von PAFF wurde beschlossen, die Nachhilfe durch ausgebildete Lehrkräfte zu bewerkstelligen anstatt, wie zuvor, durch Studierende.
4. Vergleiche zwischen Zielgruppen
Hilfreich sein kann auch die Differenzierung nach verschiedenen Zielgruppen bzw. Unterzielgruppen.
Beispiel: Es soll festgestellt werden, ob alle (Unter-) Zielgruppen wie geplant erreicht werden.
Mögliche Schlussfolgerungen: PAFF hatte während der Bedarfsanalyse Jugendliche mit Migrationshintergrund als Zielgruppe mit erhöhtem Förderbedarf identifiziert. Die Auswertung belegt, dass PAFF vor allem Jungen mit Migrationshintergrund erreicht, Mädchen mit Migrationshintergrund hingegen deutlich schlechter.
Hier ist nach den Gründen zu fragen: Spiegelt die Zahl die Verteilung und die Bedarfe in den derzeit betreuten Klassen wider? – Es kann ja durchaus sein, dass es in einer Jahrgangsstufe wenig Schülerinnen mit Migrationshintergrund gibt, die für die Teilnahme am Patenprojekt in Frage kommen. Oder muss überlegt werden, wie man gezielt bei dieser (Unter-) Zielgruppe eine Projektteilnahme fördern kann?
-
Die Daten sind da. Und nun?
Wie man Daten geschickt und verständlich aufbereitet:
5. Vergleiche zwischen Projekten/Benchmarking
Benchmarking ist eine besondere Form des Lernens zwischen Organisationen. Benchmark lässt sich übersetzen mit Maßstab oder Bezugsgröße.
Mit Benchmarking ist ein kontinuierlicher Vergleich von Kosten, Resultaten oder Wirkungen mit vergleichbaren Projekten gemeint – eigener oder fremder.
Benchmarking kann das gesamte Projekt umfassen oder, was sinnvoller ist, nur einen bestimmten Teilaspekt.
Von wenigen Ausnahmen abgesehen, wird es kaum ein Projekt geben, das sich mit überhaupt keinem anderen vergleichen lässt. Um ähnliche Projekte zu finden, helfen Ihnen womöglich Ihre Rechercheergebnisse aus der Umfeldanalyse.
-
Austausch suchen!
Halten Sie die Augen gezielt nach Organisationen offen, die vergleichbare Projekte umsetzen. Vielleicht ergeben sich daraus Erkenntnisse, mit denen Sie Ihre eigenen Prozesse, Konzepte und Ergebnisse noch weiter verbessern können.
Wollen Sie ein methodisch korrektes Benchmarking durchführen, wird das sehr schnell sehr aufwändig (und sprengt den Rahmen dessen, was wir hier vorstellen können). Wir möchten aber einen Grundgedanken aufgreifen: Benchmarking kann eine Orientierungshilfe für die eigene Weiterentwicklung sein, weil Sie es für das Mit- und Voneinanderlernen nutzen können.
Beispiel: Vergleich der Übergangsquoten in Ausbildung von drei Projekten
Mögliche Schlussfolgerungen: Der Vergleich mit zwei anderen Projekten ergibt, dass diese höhere Übergangsquoten erzielen als PAFF.
Deswegen ist zunächst zu ermitteln, ob die Ansätze tatsächlich vergleichbar sind: Arbeiten alle Projekte in derselben Region bzw. in miteinander vergleichbaren Regionen? Ist das Ergebnis repräsentativ oder sticht der untersuchte Jahrgang durch besondere Ergebnisse heraus?
Im zweiten Schritt sucht PAFF den Austausch mit den anderen Projekten, um herauszufinden, was deren Erfolgsfaktoren sind und inwieweit sich diese adaptieren lassen, z. B. über zusätzliche Trainings, Praktikumsangebote, eine längere oder intensivere Betreuung.
-
Keine falschen Schlüsse!
In Analysen spielen häufig persönliche Grundannahmen und Wertevorstellungen hinein. So kann etwa die Entscheidung einer Jugendlichen, Friseurin zu werden, von jemandem, der einer akademischen Laufbahn einen höheren Wert beimisst, als unbefriedigendes Ergebnis gewertet werden. Solche Fehleinschätzungen lassen sich nie gänzlich vermeiden, aber es hilft, sie sich zu vergegenwärtigen.
Übrogens: Wenn Sie herausfinden möchten, wie wirkungsorientiert Sie bereits arbeiten und an welchen Stellen Verbesserungspotenziale lauern: Machen Sie den Test mit dem Wirkometer.