Evaluation: Selbst machen oder auslagern?

Das MonitoringSystematisches und kontinuierliches Datensammeln während des Projektverlaufs. Ziel ist es, aktuelle Informationen für die Steuerung des Projekts zu erhalten. Monitoring sollte stets intern erfolgen. Die EvaluationSystematische und objektive Beurteilung eines laufenden oder abgeschlossenen Projekts oder Programms. Evaluation hingegen kann sowohl intern als auch durch externe Fachkräfte realisiert werden.

Ob Sie es selbst übernehmen oder jemand Außenstehendes die Daten auswertet, hängt davon ab,

  • ob Sie projektintern die erforderlichen Kompetenzen besitzen,
  • wie komplex der zu ermittelnde Sachverhalt ist und
  • welches Budget Ihnen zur Verfügung steht.
Illustration Matrose

Für eine interne Evaluation spricht, dass sie im Vergleich zu einer externen Evaluation günstiger ist. Zudem geht es bei der Wirkungsanalyse vor allem darum, aus den Erkenntnissen zu lernen, und das können Sie nur bis zu einem gewissen Grad nach außen abgeben.

Ein weiterer Pluspunkt besteht darin, dass die Mitarbeitenden schneller an relevante Informationen gelangen und mehr Sachkunde über das zu beurteilende Projekt besitzen – was allerdings problematisch werden kann, wenn diese Sachkunde in Betriebsblindheit ausartet oder persönliche Beziehungen zu einer Befangenheit führen. All das setzt natürlich voraus, dass Sie projektintern über die nötigen Kompetenzen verfügen, um eine qualifizierte Evaluation vornehmen zu können.

Eine Evaluation durch eine externe Fachkraft hat den Vorteil, dass sie in den meisten Fällen fachlich und methodisch sauberer ist, strukturierter umgesetzt wird (und eben nicht so nebenbei) und einen objektiven, überparteilichen Blick einbringt.

  • Qualifikationen

    Ein Evaluator sollte folgende Qualifikationen mitbringen:

    • Erfahrung mit Evaluationen im Themengebiet
    • gutes Methodenwissen und ein hohes Qualitätsbewusstsein
    • Kommunikationsfähigkeit & Integrität
    • Sensibilität im Umgang mit der Zielgruppe
Illustration Paddel 3
Nachteilig sind die höheren Kosten, die eine externe Evaluation verursacht. Außerdem kann es passieren, dass der Evaluator nicht an alle relevanten Informationen gelangt oder diese nicht einordnen kann – und damit dem Projekt kaum gerecht wird. Die Vor- und Nachteile im Überlick:  
 

Vorteile

Nachteile

Interne Evaluation
  • besseres Projektverständnis
  • Zugang zu Informationen
  • kaum Einarbeitungszeit
  • kostensparend
  • fehlende Distanz
  • Rollenkonflikte
  • ggf. mangelnde Kompetenzen
Externe Evaluation
  • Know-how
  • Methodenwissen
  • Neutralität
  • höhere Akzeptanz bei den Stakeholdern
  • inhaltliche Distanz zum Projekt
  • höhere Kosten
  • aufwändigerer Prozess

 

Eine Lösung für dieses Dilemma könnte in einer Mischform aus interner und externer Evaluation bestehen. Projektmitarbeitende arbeiten Hand in Hand mit einer externen EvaluatorIn, die Expertise und den Blick von außen mitbringt. Die Mitarbeitenden bauen so allmählich Kompetenzen auf, und die externe EvaluatorIn gewährleistet den neutralen Blick. So kommen die Vorteile aus beiden Ansätzen zusammen – vorausgesetzt, Rollen und Zuständigkeiten sind klar geregelt.

Unabhängig davon, ob es auf eine interne oder eine externe Evaluation hinausläuft: Innerhalb des Projektteams sollte klar sein, wer für die Wirkungsanalyse bzw. deren Koordination verantwortlich ist; bei dieser Person sollten alle Fäden zusammenlaufen.

  • So macht's PAFF

    Bei PAFF tragen die PatengruppenbetreuerInnen alle relevanten Informationen von den PatInnen, SchülerInnen und LehrerInnen zusammen. Die Projektleitung bereitet die Daten auf und wertet sie aus. Die Evaluation übernimmt eine Professorin vom Pädagogik-Lehrstuhl der Universität.

Wen Sie einbeziehen sollten

Grundsätzlich gilt: Wirkungsorientierte Projektsteuerung ist zum Scheitern verurteilt, wenn sie nicht von der Organisations- bzw. Projektleitung mitgetragen und gefördert wird.

Neben Ressourcen braucht es festgelegte Prozesse und Verantwortlichkeiten. Idealerweise laufen die Fäden an einem Ort bzw. bei einer Person zusammen. Das sollte allerdings nicht dazu führen, dass sich alle anderen nicht mehr um die Wirkungsanalyse kümmern. Sinn und Zweck einer Evaluation ist, gemeinsam aus den Ergebnissen zu lernen – deshalb sollten auch alle Mitarbeitenden einbezogen sein! Nicht fortwährend, aber eben doch regelmäßig.

Ebenfalls zu berücksichtigen sind die Stakeholder des Projekts. (Welche das sind, hatten Sie bereits während der Projektplanung ermittelt.) Indem Sie Ihre Stakeholder einbeziehen, stellen Sie die Ergebnisqualität sicher, legitmieren das Vorgehen und beugen etwaigen Widerständen vor.

  • Rolle der Stakeholder klären
    Bevor Sie Ihre Anspruchsgruppen einbinden, sollten Sie ermitteln, warum sie diese eigentlich einbinden:
    • Welche Rolle spielen die Stakeholder bei der Wirkungsanalyse? Illustration Steuerrad
    • Welche Informationen aus der Wirkungsanalyse sind für sie relevant?
    • Können sie unterstützen, beeinflussen, bremsen, verhindern? Haben sie besondere Hoffnungen, Interessen oder Befürchtungen hinsichtlich der Datenerhebung oder bestimmter Fragen?
    • Ergeben sich daraus Konsequenzen für die Erhebung? Müssen zum Beispiel andere Beteiligungsformen gewählt werden?
    Womöglich kommt Ihnen bei der Beantwortung dieser Fragen die Stakeholderübersicht aus der Umfeldanalyse zupass: Vorlage Stakeholderanalyse (PDF).
zurück Zeitpunkt
weiter Kosten