Schwer zu erhebende Wirkungen

Wirkungen nachzuweisen, kann aus vielerlei Gründen eine große Herausforderung sein. Was können Sie also tun bei Wirkungen, die sich nur mit viel Aufwand ermitteln lassen?

Langfristige Wirkungen nachweisen

Viele soziale Projekte zielen auf Wirkungen, die erst nach einiger Zeit eintreten. Solche Wirkungen nachzuweisen ist aufwändig und schwierig. Das beginnt bereits bei der Datenbeschaffung, wenn Sie versuchen, ehemalige Teilnehmende womöglich nach Jahren wieder zu kontaktieren.

Außerdem stellt sich die Frage, inwiefern die festgestellten Wirkungen tatsächlich auf das Projekt zurückzuführen sind, denn in der Zeit zwischen Projektende und dem Eintreten der Wirkung ist einiges im Leben der Teilnehmenden passiert; sie waren sicherlich einer Vielzahl an Einflüssen ausgesetzt, von denen ein paar ganz sicher ebenfalls Wirkung zeigen.

Teilnehmende wollen oder können nicht befragt werden

In einigen Projekten ist es schwierig, Teilnehmende befragen zu können. Einige haben Vorbehalte, andere befürchten Nachteile (von Gewalt Betroffene oder StraftäterInnen etc.), wieder andere sind schlicht nicht in der Lage, Auskünfte zu erteilen (Kleinkinder, schwer Erkrankte u.a.).

Das können Sie tun:

Anonymität zusichern und gewährleisten
nahestehende Personen befragen (Eltern oder pflegende Angehörige)

Kampagnen & Advocacy

Ziel von Kampagnen ist es, EntscheidungsträgerInnen sowie die öffentliche Meinung zu beeinflussen und Prozesse anzustoßen, die sich in einer Veränderung des Bewusstseins und des Verhaltens ausdrücken. Beispiele sind Kampagnen gegen das Rauchen. Solche Wirkungen sind generell schwer zu erheben.

Ob eine Kampagne die erwünschte Wirkung auf gesellschaftlicher Ebene erzielt hat, lässt sich am ehesten in groß angelegten Studien (z.B. über den Gesundheitsstatus der Bevölkerung) ablesen, die für einzelne Organisation kaum durchführbar sind.

Das können Sie tun:

Definieren Sie entlang Wirkungslogik einzelne Teilziele, zu denen sich Daten erheben lassen. Beispielsweise lässt sich die Beeinflussung von EntscheidungsträgerInnen oder relevanter MultiplikatorInnen dadurch überprüfen, ob Forderungen aufgegriffen oder Argumente übernommen wurden, oder ob es eine verstärkte Berichterstattung zum Thema in den Medien gab.

Zielgruppe sind Organisationen

In Projekten, deren Zielgruppen Organisationen sind, ergeben sich die Wirkungen aus dem Nutzen, den diese Organisationen aus der Unterstützung durch das Projekt ziehen.

Die Veränderungen im Wissen und in der Arbeitsweise der Organisation sind mittelfristige Outcomes; eine langfristige Wirkung wäre, wenn die Organisation effektiver arbeiten könnte. Diese Wirkungen lassen sich vor allem über qualitative Daten abbilden.

Angenommen, ein Projekt unterstützt Organisationen dabei, ehrenamtliche MitstreiterInnen zu gewinnen und zu managen, dann ...

Wirkungen auf Impact-Ebene

Impacts zu erheben, ist in vielen Fällen schwer bis gar nicht möglich. Denn Veränderungen auf gesellschaftlicher Ebene treten in den allermeisten Fällen erst nach längerer Zeit auf. Zudem benötigen komplexe Probleme viele Impacts, die wiederum zahlreichen Einflüssen unterliegen.

Hier die Netto-Wirkung eines einzelnen Projekts herauszufiltern, kann gar nicht funktionieren. Das bedeutet allerdings nicht, dass Sie es nicht doch versuchen sollten!

Das können Sie tun:

Denken Sie den Impact in der Analysephase mit: Entwickeln Sie realistische Indikatoren, anhand derer Sie feststellen können, ob Ihr Projekt einen Einfluss auf das Gesamtgefüge hatte.
Zügeln Sie gegenüber GeldgeberInnen die Erwartungen, was Impacts angeht und verweisen Sie auf komplexe Zusammenhänge (hierfür können Sie etwa den Problembaum nutzen). Skizzieren Sie, welchen Anteil Ihr Projekt im gesamten Getriebe einnimmt und welche Wirkung realistisch möglich ist.

Offene Angebote

Offene Angebote für Kinder, Jugendliche oder ältere Menschen haben häufig Schwierigkeiten, Aussagen über ihre Wirksamkeit zu treffen, und geraten deshalb zum Teil unter einen Rechtfertigungsdruck.

Mal ist die Gruppe der Teilnehmenden sehr heterogen, mal nehmen diese nur unregelmäßig teil, sodass es schwierig erscheint, Wirkungsziele zu setzen und Wirkungen nachzuweisen.

Das können Sie tun:

Denken Sie um die Ecke: Warum nutzen die BesucherInnen Ihr Angebot?

Ein SeniorInnen-Treff wird nicht allein deshalb frequentiert, weil der Kaffee so gut und der Kuchen so preiswert sind, sondern weil die BesucherInnen Kontakte knüpfen und ihre Lebensqualität steigern wollen. Was wären hierfür ZieleBeabsichtigte Wirkungen eines Projekts, die für Personen, Gruppen, Organisationen oder die Gesellschaft zu physischen, finanziellen, institutionellen, sozialen oder ökologischen Verbesserungen beitragen. Wirkungsziele und IndikatorVon lat. indicare, etwas zeigen. Hinweis auf ein Ereignis bzw. einen Sachverhalt, der sich nicht unmittelbar beobachten lässt. Indikatoren sind unverzichtbar für das Messen komplexer Sachverhalte im Zuge von Monitoring und Evaluation. Indikatoren?

Auch wenn es im Freizeithaus vor allem darum geht Spaß zu haben, bauen Kinder und Jugendliche soziale und kulturelle Kompetenzen auf und lernen, Verantwortung zu übernehmen. Was wären Wirkungsziele und Indikatoren?

Setzen Sie auf qualitative Erhebungen, Fallstudien und Anekdoten. Unterfüttern Sie OutputsAngebote und Produkte eines Projekts sowie deren Nutzung durch die Zielgruppe. Outputs bilden die Grundlage dafür, dass ein Projekt Wirkung erzielt. Outputs mit Aussagen der Teilnehmenden, wie ihnen das Angebot gefallen hat.

Präventionsprojekte

Wenn Jugendliche nicht anfangen zu rauchen oder Mädchen nicht mit 14 schwanger werden, haben Präventionsprojekte ihr Ziel erreicht. Nur: Wie lässt sich nachweisen, dass diese Wirkungen auf das jeweilige Projekt zurückzuführen sind?

Das können Sie tun:

Ermitteln Sie eine Vergleichsgruppe, die nicht am Projekt teilgenommen hat. Das könnten zum Beispiel Jugendliche aus der Parallelklasse oder aus einer anderen Schule im Stadtteil sein.
Auch bei der Prävention lässt sich mit der Wirkungslogik argumentieren (siehe oben "Langfristige Wirkungen nachweisen").