Erhebungsmethoden im Überblick

Die mit am meisten verwendete Art der Datenerhebung, bewährt und effektiv. Mittels Fragebögen können Sie herausfinden, wie zufrieden Teilnehmende mit einem Angebot sind, welches Wissen sie erworben haben und ob sie es auch anwenden. Fragebögen mit geschlossenen Fragen lassen sich selbst in größerer Anzahl schnell auswerten; Fragebögen mit offenen Fragen liefern meistens nützliche Zusatzinformationen.

Vorteile:

• viele Befragungen in kurzer Zeit möglich
• Daten lassen sich gut zusammenfassen
• gewährleisten Anonymität 

Nachteile:

• Ausarbeitung erfordert Zeit und Know-how
• evtl. wenig Rücklauf
• Antwortmöglichkeiten eingeschränkt
• keine Möglichkeit für Nachfragen

PAFF erfragt einmal im Jahr per Fragebogen, ob die Jugendlichen zufrieden mit dem Projekt sind. Ein zweiter Fragebogen erfasst die Zufriedenheit der Patinnen und Paten mit ihrer Betreuung.

Einzelinterviews fangen verschiedene Perspektiven zu einem bestimmten Thema ein. Sie eignen sich ...

• für Befragungen während der Bedarfsanalyse,
• wenn ein neues Projektmodul entwickelt wird,
• um individuelles Feedback zu erfassen,
• um Verbesserungspotenziale zu ermitteln

Die Form des Interviews hängt von den Interviewten, den Fragen und dem Gesprächsziel ab. Semistrukturierte Interviews, also solche mit offenen und geschlossenen Fragen, sind eine gute Methode, um einen vertieften Einblick in ein Thema zu bekommen. Einzelinterviews eignen sich besonders für die Bedarfsanalyse oder wenn ein Konzept für ein Projektmodul erarbeitet werden soll.

Entscheidend ist auch, wer die Interviews durchführt: Leiten Projektmitarbeitende das Interview, besteht die Gefahr, dass die Befragten nur erwünschte Antworten geben. Fragt jemand Externes, kann es passieren, dass Befragte ihre Meinung lieber für sich behalten.

Achten Sie darauf, eine repräsentative, aber trotzdem nicht zu homogene Gruppe zu befragen. Nur so erhalten Sie aussagekräftige und belastbare Antworten.

Interviews sollten stets um einige wenige Kernfragen herum konzipiert werden. Ist das Gesprächsziel unklar, bleiben auch die Antworten schwammig.

Vorteile:

• Stakeholder werden einbezogen
• liefern relevante Daten
• weisen ggf. auf unerwartete Ergebnisse hin
• liefern wvtl. Aussagen, die in einer Gruppensituation nicht gemacht worden wären
• erlauben Nachfragen beim Interviewten

Nachteile:

• zeitintensiv
• InterviewerIn muss geschult sein
• Ergebnisse evtl. schwer auszuwerten und zu quantifizieren

PAFF befragt nach Projektende Jugendliche in Einzelinterviews, inwiefern sie vom Projekt profitiert und ob sie einen Ausbildungsplatz gefunden haben.

Hierunter versteht man Befragungen von ExpertInnen, EntscheidungsträgerInnen und Personen, die die Situation vor Ort und die Zielgruppe einschätzen können. Bei einem ExpertInnen-Interview steht nicht die oder der Befragte als Person im Vordergrund, sondern seine Funktion als ExpertIn in einem spezifischen Handlungskontext oder als RepräsentantIn einer Gruppe.

Sie können mit einzelnen ExpertInnen individuelle Interviews führen oder auch mit mehreren gleichzeitig, zum Beispiel am "Runden Tisch". Das macht sowohl bei der Planung eines Projekts Sinn als auch in regelmäßigen Abständen während des Projekts.

Vorteile:

• überschaubarer Aufwand
• preiswert
• Synthese von Meinungen
• Einbindung von EntscheidungsträgerInnen

Nachteile:

• Gefahr, dass Debatten zu abstrakt bleiben

PAFF setzt in verschiedenen Kontexten auf ExpertInnen-Interviews: Im Zuge der Bedarfsanalyse wurden der Leiter des Jugendamts, ein Mitarbeiter aus dem Jobcenter, eine Schuldirektorin und ein Unternehmer um ihre Einschätzung gebeten. Zusätzlich werden während des Projektverlaufs regelmäßig Interviews mit den KlassenlehrerInnen geführt.

Eine Fokusgruppe ist eine moderierte Diskussion zwischen mehreren Teilnehmenden, die sich inhaltlich zu einer eng eingegrenzten Frage austauschen. Im Idealfall beflügeln sich die Teilnehmenden gegenseitig und gelangen zu tiefergehenden Aussagen.

Fokusgruppen eignen sich v.a. dann, wenn gemeinsame Erfahrungen und Probleme erläutert und Lösungen erarbeitet werden müssen.

Entscheidend ist die Auswahl des Podiums: Können die Teilnehmenden offen miteinander sprechen? Repräsentiert die Gruppe verschiedene Sichtweisen? Kann sich eine ergiebige Diskussion entwickeln?

Vorteile:

• Stakeholder werden einbezogen
• liefern auch unerwartete Ergebnisse
• Mehrwert durch den Austausch der Teilnehmenden (verschiedenen Ansichten)
• Nachfragen möglich

Nachteile:

• mittlerer Zeitaufwand
• Expertise notwendig
• Ergebnisse schwer quantifizierbar bzw. kaum auswertbar
• Teilnehmende äußern sich evtl. nicht offen
• individuelle Meinungen und Erfahrungen treten in den Hintergrund

PAFF lädt die PatInnen alle sechs Monate zu einer Gruppendiskussion ein, in der über Erfahrungen, Probleme, Erfolge und die Wirkungslogik des Projekts gesprochen wird. Mithilfe der Fokusgruppe kann das Projekt kontinuierlich verbessert werden.

Informelle Gespräche umfassen alle Gespräche mit Teilnehmenden und Stakeholdern, die über ein "Guten Tag" und "Auf Wiedersehen" hinausgehen. Jede Form von Rückmeldung, Einschätzung und Bewertung kann hilfreich sein – unabhängig davon, ob sie in der Teeküche, im Seminar selbst oder auf dem Nachhauseweg erfolgt. In der Natur informeller Gespräche liegt es, dass sie insbesondere über ungeplante Ergebnisse Aufschluss geben, positive wie negative.

Entscheidend ist, dass Sie solche Informationen aus informellen Gesprächen regelmäßig und systematisch sammeln, und zwar während des gesamten Projektverlaufs.

Als außerordentlich nützlich haben sich hier Projekttagebücher erwiesen, die alle haupt- und ehrenamtlichen Mitarbeitenden führen. Hilfreich ist auch, Mitarbeitende zu ermuntern, in Projektmeetings über Anekdoten zu berichten, und diese zu protokollieren. Diese Aufzeichnungen sollten nicht in der Schublade verschwinden, sondern Thema regelmäßiger Treffen der ehrenamtlichen wie hauptamtlichen Mitarbeitenden sein.

Informelle Gespräche sind besonders geeignet, um die indirekten Zielgruppen des Projekts zu bespielen (z.B. Eltern).

Vorteile:    

• direkter Kontakt zur Zielgruppe
• liefern Informationen über ungeplante Effekte
• liefern Inhalte für die Kommunikation (Storytelling)
• keine Vorkenntnisse nötig, preiswert umzusetzen

Nachteile:

• Ergebnisse stark subjektiv
• schwer zu verallgemeinern

Die Art, wie Sie fragen, wirkt sich unmittelbar auf die Antworten aus. Über die Vor- und Nachteile offener und geschlossener Fragen verweisen wir auf diese Übersicht bei meinungsraum.at.

PAFF: Verschiedene PatInnen erfahren durch zufällige Gespräche mit den Eltern, dass ihre Kinder sich nicht nur schulisch verbessert hätten, sondern auch deren Aggressionspotenzial abgenommen habe. Ohnehin führt jeder der PatInnen ein Patenschaftstagebuch, das positive und negative Ereignisse festhält. Ein Austausch hierüber findet bei den regelmäßigen Patengruppentreffen statt.

Anstatt viel zu fragen, kann es in manchen Fällen sinnvoller sein, genau zu beobachten.

Bei systematischen Beobachtungen werden Ereignisse, Individuen, Gruppen und Sozialräume betrachtet. Systematische Beobachtungen bieten sich an, wenn Sie Antworten aus einer Befragung überprüfen wollen oder sich weitergehende, spezifische Erkenntnisse erhoffen.

Bei einer teilnehmenden Beobachtung nimmt die beobachtende Person an den Interaktionen des Felds, das beobachtet wird, mehr oder weniger aktiv teil.

Bei einer nicht-teilnehmenden Beobachtung bleibt die beobachtende Person außerhalb des Felds, das sie beobachtet. Mehr hierzu finden Sie unter www.eval-wiki.org/glossar/Beobachtung.

Vorteile:

• direkter Bezug zur Zielgruppe bzw. zum Sozialraum
• liefert ggf. kommunikative Inhalte (Storytelling)

Nachteile:

• sehr zeitaufwändig
• BeobachterInnen müssen geschult sein
• evtl. wird die Privatsphäre ausgehebelt

PAFF: Die externe Evaluatorin prüft die tatsächlichen Veränderungen im Sozialverhalten der Jugendlichen. Hierfür wertet sie die Befragungen der Jugendlichen und LehrerInnen aus. Zusätzlich hospitiert sie für einige Zeit an der Schule, um das Sozialverhalten der Jugendlichen im schulischen Kontext zu beobachten.

Tests und Messungen liefern an verschiedenen Punkten des Projektzyklus wichtige Informationen. Zum Projektstart etwa geben sie Auskunft über die Situation der Zielgruppe. Das könnten zum Beispiel Mathe-Tests bei SchülerInnen oder die Erhebung des Gesundheitsstatus bei Teilnehmenden eines Gesundheitsprogramms sein.

Tests bedienen sich oft quantitativer Methoden, es sind aber auch qualitative und gemischte Methoden möglich.

Vorteile:

• bilden Veränderungen im Zeitverlauf gut ab
• hohe Vergleichbarkeit bei standardisierten Tests

Nachteile:

• mittlerer Zeitaufwand
• braucht umfassende Expertise
• standardisierte Test eignen sich evtl. nicht für die spezielle Situation der Zielgruppe

PAFF testet vor Start und nach Ende der Bewerbungstrainings, über welchen Wissensstand die Teilnehmenden verfügen.

Bei Fallstudien stehen einzelne Teilnehmende oder eine ganz bestimmte, eng definierte Gruppe im Fokus.

Bei Fallstudien können eine Vielzahl von Methoden angewandt werden – halb-strukturierte Interviews, systematische Beobachtungen, Fokusgruppen etc.

Fallstudien eignen sich, wenn es darum geht, Wirkung beispielhaft darzustellen. Mit Zahlen & Daten verknüpfte Geschichten einzelner Personen ergeben ein sehr aufschlussreiches Bild über die Wirkung eines Projekts.

Vorteile:

• direkter Bezug zur Zielgruppe
• Liefert ggf. gute Inhalte auch für die Kommunikation (Storytelling)

Nachteile:

• unter Umständen schwer zu verallgemeinern

PAFF zeichnet den Weg des einstigen Problemkinds Jakob nach - von seinem ersten Gespräch mit dem PAFF-Paten bis zum Ende der Probezeit im Job. Hierbei werden die Daten aus dem Monitoring mit qualitativen Aussagen aus den Patenschaftstagebüchern verknüpft.

In vielen internen und externen Dokumenten finden sich wichtige Informationen für die Wirkungsanalyse.

Interne Dokumente sind Projektkonzeptionen, Berichte und Protokolle; in ihnen finden sich Ziele, Resultate, Abweichungen.

Externe Dokumente sind Studien, Surveys oder offizielle Statistiken; diese sind vor allem für die Bedarfs- und Umfeldanalyse und als Vergleichsmaßstab interessant.

Vorteile:

Interne Daten

• meistens schon vorhanden
• preiswert und schnell zu ermitteln
• Mitarbeitende werden einbezogen

Externe Daten

• preiswert
• methodisch meist zuverlässig
• bei regelmäßigen Erhebungen sind Vergleiche über die Zeit möglich

Nachteile:

Interne Daten

• evtl. schwer objektivierbar
• evtl. keine Informationen über Ursachen-/Wirkungszusammenhänge
• Informationen evtl. unaktuell oder unvollständig

Externe Daten

• oft nicht auf den Sozialraum bezogen und hoch aggregiert
• evtl. unaktuell

PAFF: Für die externe Evaluation hat die Evaluatorin auf die Projektkonzeption und auf die Daten aus dem Monitoring zurückgegriffen. Zu Projektbeginn hat PAFF bei der Analyse der Bedarfe die offiziellen Statistiken zur Jugendarbeitslosigkeit in der Region und Dokumente mit Informationen zur Situation des regionalen Ausbildungsmarkts genutzt.