Erhebungsmethoden im Überblick

Erhebungsmethoden gibt es wie Muscheln und Seepocken am Schiffsrumpf: viele und in jeder Größe.

Die Entscheidung für die passende Methode ist alles andere als einfach und erfordert in vielen Fällen Erfahrung. Deshalb ist es sinnvoll, sich mit Fachleuten auszutauschen oder Personen zu befragen, die in ähnlichen Projekten arbeiten.

Bei der Seereise macht es zum Beispiel einen großen Unterschied, ob Sie sehr genaue Koordinaten brauchen, um den sicheren Weg zwischen zwei gefährlichen Riffen hindurch zu finden, oder ob Sie Ihre persönlichen Eindrücke aufschreiben wollen, um Freunden eine Postkarte zu schicken. Zu überlegen ist also, wofür Sie die Informationen brauchen und wie aussagekräftig als auch belastbar die Daten sein müssen.


 

Richtige Methoden wählen

Die Methoden unterscheiden sich stark hinsichtlich Aufwand, Vorkenntnissen, Aussagekraft und Belastbarkeit der Aussage. Die folgende Abbildung verdeutlicht das:

Übersicht Datenerhebung Methoden

Die Entscheidung für oder gegen eine bestimmte Methode ist abhängig von ...

  • den Fragen, die Sie beantworten wollen, und
  • den Indikatoren, anhand derer Sie feststellen, ob und wie weit Sie ein Wirkungsziel erreicht haben.

Um die Komplexität zu reduzieren, können Sie folgende Übersicht zurate ziehen:

Illustration zur Übersicht von Fragestellungen zur Erhebung von Daten

Erhebungsmethode testen

Bevor Sie mit der Datenerhebung beginnen, ist es ratsam, dass Sie Ihre Instrumente testen, etwa mittels Fragebogen oder eines Interviewleitfadens. Das Augenmerk sollte dabei auf folgenden Punkten liegen:

  • Sind die Fragen klar und präzise?
  • Entspricht die Wortwahl dem Duktus der Zielgruppe?
  • Sind die Fragen positiv? Sind sie so formuliert, dass sie bei den Befragten kein Unbehagen oder eine Abwehrhaltung hervorrufen?
  • Sind die Anweisungen an die Personen, die mit der Erhebung betraut sind, klar und eindeutig?
  • Sind Länge und Umfang der Befragung bzw. des Fragebogens angemessen? – Zu lange Fragebögen und Interviews führen dazu, dass die Befragten ungeduldig und unkonzentriert werden, was sich wiederum negativ auf die Brauchbarkeit der Antworten auswirkt.

Am Anfang ist weniger übrigens mehr. Ist Ihr Budget klein oder stehen Sie ganz am Anfang, beginnen Sie am besten mit kleinen, übersichtlichen Maßnahmen, die Sie nach und nach erweitern. Die Ergebnisse sind anfangs vielleicht weniger exakt, aber sie sind in vielen Fällen ausreichend, um Lern- und Verbesserungsprozesse anzustoßen.

 

Illustration Wirkungsmessung

Die wichtigsten Erhebungsmethoden im Überblick

Die Liste enthält wesentliche, aber bei Weitem nicht alle Erhebungsmethoden, und sie veranschaulicht jeweils Vor- und Nachteile.

  • Fragebögen

    Die mit am meisten verwendete Art der Datenerhebung, bewährt und effektiv. Mittels Fragebögen können Sie herausfinden, wie zufrieden Teilnehmende mit einem Angebot sind, welches Wissen sie erworben haben und ob sie es auch anwenden. Fragebögen mit geschlossenen Fragen lassen sich selbst in größerer Anzahl schnell auswerten; Fragebögen mit offenen Fragen liefern meistens nützliche Zusatzinformationen.

    Vorteile:

    • viele Befragungen in kurzer Zeit möglich
    • Daten lassen sich gut zusammenfassen
    • gewährleisten Anonymität 

    Nachteile:

    • Ausarbeitung erfordert Zeit und Know-how
    • evtl. wenig Rücklauf
    • Antwortmöglichkeiten eingeschränkt
    • keine Möglichkeit für Nachfragen

    PAFF erfragt einmal im Jahr per Fragebogen, ob die Jugendlichen zufrieden mit dem Projekt sind. Ein zweiter Fragebogen erfasst die Zufriedenheit der Patinnen und Paten mit ihrer Betreuung.

  • Einzelinterviews

    Einzelinterviews fangen verschiedene Perspektiven zu einem bestimmten Thema ein. Sie eignen sich ...

    • für Befragungen während der Bedarfsanalyse,
    • wenn ein neues Projektmodul entwickelt wird,
    • um individuelles Feedback zu erfassen,
    • um Verbesserungspotenziale zu ermitteln

    Die Form des Interviews hängt von den Interviewten, den Fragen und dem Gesprächsziel ab. Semistrukturierte Interviews, also solche mit offenen und geschlossenen Fragen, sind eine gute Methode, um einen vertieften Einblick in ein Thema zu bekommen. Einzelinterviews eignen sich besonders für die Bedarfsanalyse oder wenn ein Konzept für ein Projektmodul erarbeitet werden soll.

    Entscheidend ist auch, wer die Interviews durchführt: Leiten Projektmitarbeitende das Interview, besteht die Gefahr, dass die Befragten nur erwünschte Antworten geben. Fragt jemand Externes, kann es passieren, dass Befragte ihre Meinung lieber für sich behalten.

    Achten Sie darauf, eine repräsentative, aber trotzdem nicht zu homogene Gruppe zu befragen. Nur so erhalten Sie aussagekräftige und belastbare Antworten.

    Interviews sollten stets um einige wenige Kernfragen herum konzipiert werden. Ist das Gesprächsziel unklar, bleiben auch die Antworten schwammig.

    Vorteile:

    • Stakeholder werden einbezogen
    • liefern relevante Daten
    • weisen ggf. auf unerwartete Ergebnisse hin
    • liefern wvtl. Aussagen, die in einer Gruppensituation nicht gemacht worden wären
    • erlauben Nachfragen beim Interviewten

    Nachteile:

    • zeitintensiv
    • InterviewerIn muss geschult sein
    • Ergebnisse evtl. schwer auszuwerten und zu quantifizieren

    PAFF befragt nach Projektende Jugendliche in Einzelinterviews, inwiefern sie vom Projekt profitiert und ob sie einen Ausbildungsplatz gefunden haben.

  • ExpertInnen-Interviews

    Hierunter versteht man Befragungen von ExpertInnen, EntscheidungsträgerInnen und Personen, die die Situation vor Ort und die Zielgruppe einschätzen können. Bei einem ExpertInnen-Interview steht nicht die oder der Befragte als Person im Vordergrund, sondern seine Funktion als ExpertIn in einem spezifischen Handlungskontext oder als RepräsentantIn einer Gruppe.

    Sie können mit einzelnen ExpertInnen individuelle Interviews führen oder auch mit mehreren gleichzeitig, zum Beispiel am "Runden Tisch". Das macht sowohl bei der Planung eines Projekts Sinn als auch in regelmäßigen Abständen während des Projekts.

    Vorteile:

    • überschaubarer Aufwand
    • preiswert
    • Synthese von Meinungen
    • Einbindung von EntscheidungsträgerInnen

    Nachteile:

    • Gefahr, dass Debatten zu abstrakt bleiben

    PAFF setzt in verschiedenen Kontexten auf ExpertInnen-Interviews: Im Zuge der Bedarfsanalyse wurden der Leiter des Jugendamts, ein Mitarbeiter aus dem Jobcenter, eine Schuldirektorin und ein Unternehmer um ihre Einschätzung gebeten. Zusätzlich werden während des Projektverlaufs regelmäßig Interviews mit den KlassenlehrerInnen geführt.

  • Fokusgruppen

    Eine Fokusgruppe ist eine moderierte Diskussion zwischen mehreren Teilnehmenden, die sich inhaltlich zu einer eng eingegrenzten Frage austauschen. Im Idealfall beflügeln sich die Teilnehmenden gegenseitig und gelangen zu tiefergehenden Aussagen.

    Fokusgruppen eignen sich v.a. dann, wenn gemeinsame Erfahrungen und Probleme erläutert und Lösungen erarbeitet werden müssen.

    Entscheidend ist die Auswahl des Podiums: Können die Teilnehmenden offen miteinander sprechen? Repräsentiert die Gruppe verschiedene Sichtweisen? Kann sich eine ergiebige Diskussion entwickeln?

    Vorteile:

    • Stakeholder werden einbezogen
    • liefern auch unerwartete Ergebnisse
    • Mehrwert durch den Austausch der Teilnehmenden (verschiedenen Ansichten)
    • Nachfragen möglich

    Nachteile:

    • mittlerer Zeitaufwand
    • Expertise notwendig
    • Ergebnisse schwer quantifizierbar bzw. kaum auswertbar
    • Teilnehmende äußern sich evtl. nicht offen
    • individuelle Meinungen und Erfahrungen treten in den Hintergrund

    PAFF lädt die PatInnen alle sechs Monate zu einer Gruppendiskussion ein, in der über Erfahrungen, Probleme, Erfolge und die Wirkungslogik des Projekts gesprochen wird. Mithilfe der Fokusgruppe kann das Projekt kontinuierlich verbessert werden.

  • Informelle Gespräche und Anekdoten

    Informelle Gespräche umfassen alle Gespräche mit Teilnehmenden und Stakeholdern, die über ein "Guten Tag" und "Auf Wiedersehen" hinausgehen. Jede Form von Rückmeldung, Einschätzung und Bewertung kann hilfreich sein – unabhängig davon, ob sie in der Teeküche, im Seminar selbst oder auf dem Nachhauseweg erfolgt. In der Natur informeller Gespräche liegt es, dass sie insbesondere über ungeplante Ergebnisse Aufschluss geben, positive wie negative.

    Entscheidend ist, dass Sie solche Informationen aus informellen Gesprächen regelmäßig und systematisch sammeln, und zwar während des gesamten Projektverlaufs.

    Als außerordentlich nützlich haben sich hier Projekttagebücher erwiesen, die alle haupt- und ehrenamtlichen Mitarbeitenden führen. Hilfreich ist auch, Mitarbeitende zu ermuntern, in Projektmeetings über Anekdoten zu berichten, und diese zu protokollieren. Diese Aufzeichnungen sollten nicht in der Schublade verschwinden, sondern Thema regelmäßiger Treffen der ehrenamtlichen wie hauptamtlichen Mitarbeitenden sein.

    Informelle Gespräche sind besonders geeignet, um die indirekten Zielgruppen des Projekts zu bespielen (z.B. Eltern).

    Vorteile:    

    • direkter Kontakt zur Zielgruppe
    • liefern Informationen über ungeplante Effekte
    • liefern Inhalte für die Kommunikation (Storytelling)
    • keine Vorkenntnisse nötig, preiswert umzusetzen

    Nachteile:

    • Ergebnisse stark subjektiv
    • schwer zu verallgemeinern

    Die Art, wie Sie fragen, wirkt sich unmittelbar auf die Antworten aus. Über die Vor- und Nachteile offener und geschlossener Fragen verweisen wir auf diese Übersicht bei meinungsraum.at.

    PAFF: Verschiedene PatInnen erfahren durch zufällige Gespräche mit den Eltern, dass ihre Kinder sich nicht nur schulisch verbessert hätten, sondern auch deren Aggressionspotenzial abgenommen habe. Ohnehin führt jeder der PatInnen ein Patenschaftstagebuch, das positive und negative Ereignisse festhält. Ein Austausch hierüber findet bei den regelmäßigen Patengruppentreffen statt.

  • Systematische Beobachtungen

    Anstatt viel zu fragen, kann es in manchen Fällen sinnvoller sein, genau zu beobachten.

    Bei systematischen Beobachtungen werden Ereignisse, Individuen, Gruppen und Sozialräume betrachtet. Systematische Beobachtungen bieten sich an, wenn Sie Antworten aus einer Befragung überprüfen wollen oder sich weitergehende, spezifische Erkenntnisse erhoffen.

    Bei einer teilnehmenden Beobachtung nimmt die beobachtende Person an den Interaktionen des Felds, das beobachtet wird, mehr oder weniger aktiv teil.

    Bei einer nicht-teilnehmenden Beobachtung bleibt die beobachtende Person außerhalb des Felds, das sie beobachtet. Mehr hierzu finden Sie unter www.eval-wiki.org/glossar/Beobachtung.

    Vorteile:

    • direkter Bezug zur Zielgruppe bzw. zum Sozialraum
    • liefert ggf. kommunikative Inhalte (Storytelling)

    Nachteile:

    • sehr zeitaufwändig
    • BeobachterInnen müssen geschult sein
    • evtl. wird die Privatsphäre ausgehebelt

    PAFF: Die externe Evaluatorin prüft die tatsächlichen Veränderungen im Sozialverhalten der Jugendlichen. Hierfür wertet sie die Befragungen der Jugendlichen und LehrerInnen aus. Zusätzlich hospitiert sie für einige Zeit an der Schule, um das Sozialverhalten der Jugendlichen im schulischen Kontext zu beobachten.

  • Tests und Messungen

    Tests und Messungen liefern an verschiedenen Punkten des Projektzyklus wichtige Informationen. Zum Projektstart etwa geben sie Auskunft über die Situation der Zielgruppe. Das könnten zum Beispiel Mathe-Tests bei SchülerInnen oder die Erhebung des Gesundheitsstatus bei Teilnehmenden eines Gesundheitsprogramms sein.

    Tests bedienen sich oft quantitativer Methoden, es sind aber auch qualitative und gemischte Methoden möglich.

    Vorteile:

    • bilden Veränderungen im Zeitverlauf gut ab
    • hohe Vergleichbarkeit bei standardisierten Tests

    Nachteile:

    • mittlerer Zeitaufwand
    • braucht umfassende Expertise
    • standardisierte Test eignen sich evtl. nicht für die spezielle Situation der Zielgruppe

    PAFF testet vor Start und nach Ende der Bewerbungstrainings, über welchen Wissensstand die Teilnehmenden verfügen.

  • Fallstudien (Case Studies)

    Bei Fallstudien stehen einzelne Teilnehmende oder eine ganz bestimmte, eng definierte Gruppe im Fokus.

    Bei Fallstudien können eine Vielzahl von Methoden angewandt werden – halb-strukturierte Interviews, systematische Beobachtungen, Fokusgruppen etc.

    Fallstudien eignen sich, wenn es darum geht, Wirkung beispielhaft darzustellen. Mit Zahlen & Daten verknüpfte Geschichten einzelner Personen ergeben ein sehr aufschlussreiches Bild über die Wirkung eines Projekts.

    Vorteile:

    • direkter Bezug zur Zielgruppe
    • Liefert ggf. gute Inhalte auch für die Kommunikation (Storytelling)

    Nachteile:

    • unter Umständen schwer zu verallgemeinern

    PAFF zeichnet den Weg des einstigen Problemkinds Jakob nach - von seinem ersten Gespräch mit dem PAFF-Paten bis zum Ende der Probezeit im Job. Hierbei werden die Daten aus dem Monitoring mit qualitativen Aussagen aus den Patenschaftstagebüchern verknüpft.

  • Dokumentenanalyse

    In vielen internen und externen Dokumenten finden sich wichtige Informationen für die Wirkungsanalyse.

    Interne Dokumente sind Projektkonzeptionen, Berichte und Protokolle; in ihnen finden sich Ziele, Resultate, Abweichungen.

    Externe Dokumente sind Studien, Surveys oder offizielle Statistiken; diese sind vor allem für die Bedarfs- und Umfeldanalyse und als Vergleichsmaßstab interessant.

    Vorteile:

    Interne Daten

    • meistens schon vorhanden
    • preiswert und schnell zu ermitteln
    • Mitarbeitende werden einbezogen

    Externe Daten

    • preiswert
    • methodisch meist zuverlässig
    • bei regelmäßigen Erhebungen sind Vergleiche über die Zeit möglich

    Nachteile:

    Interne Daten

    • evtl. schwer objektivierbar
    • evtl. keine Informationen über Ursachen-/Wirkungszusammenhänge
    • Informationen evtl. unaktuell oder unvollständig

    Externe Daten

    • oft nicht auf den Sozialraum bezogen und hoch aggregiert
    • evtl. unaktuell

    PAFF: Für die externe Evaluation hat die Evaluatorin auf die Projektkonzeption und auf die Daten aus dem Monitoring zurückgegriffen. Zu Projektbeginn hat PAFF bei der Analyse der Bedarfe die offiziellen Statistiken zur Jugendarbeitslosigkeit in der Region und Dokumente mit Informationen zur Situation des regionalen Ausbildungsmarkts genutzt.