Evaluation

Seite 1: Methoden, Externe Evaluation

Die Evaluation (oder auch Evaluierung) eines Projekts zielt darauf ab, zu analysieren und zu bewerten, inwiefern das Projekt seine Ziele erreicht oder wie gut die Prozesse innerhalb des Projekts funktionieren.

Beispiel

Die gängigen Aufforderungen und Fragen in Antragsformularen lauten beispielsweise:

  • Welche Maßnahmen sind zur Evaluation des Projekts vorgesehen?
  • Was sind die Bewertungsmaßstäbe und -kriterien, anhand derer Sie den Erfolg des Vorhabens messen wollen?
  • Beschreiben Sie die geplanten Maßnahmen zur Sicherung der Qualität des Projekts.

Bei einer Projektförderung wird der Geber die inhaltliche Arbeit nur eingeschränkt kontrollieren. Deswegen möchte er von Ihnen wissen: Welche Maßnahmen ergreifen Sie, um die Qualität Ihrer Arbeit einer Bewertung zu unterziehen?

Das Thema Evaluation birgt einige Schwierigkeiten. Konstruktive und sinnvolle Evaluation ist im sozialen Bereich eher selten. Dies hat verschiedene Gründe, über die Sie sich zumindest im Klaren sein sollten:

  • Es ist im sozialen oder im Non-Profit-Bereich Bereich oft schwierig oder sehr aufwändig, Ziele zu operationalisieren, sprich: in eine messbare und überprüfbare Form zu bringen.
  • Die finanziellen Ressourcen der meisten Projekte reichen für eine ernsthafte wissenschaftliche Analyse von Projektergebnissen bei weitem nicht aus.
  • Die Evaluatoren und Evaluatorinnen werden von den Projektträgern und Projektträgerinnen beauftragt und bezahlt. Insofern kann nicht erwartet werden, dass diese neutral und unabhängig urteilen. Wer beisst schon die Hand, die einen füttert?


Aus diesem Grund wird Evaluation in der Praxis oft »pro forma« und repräsentativ betrieben. Überlegen Sie sich lieber, welche Aspekte Ihres Projektes Sie tatsächlich analysieren wollen – wovon versprechen Sie sich einen Erkenntnisgewinn?

Grundsätzlich kann man zwei verschiedene Arten von Methoden unterscheiden, die bei einer Evaluation eines Projekts zum Einsatz kommen können:

Qualitative Methoden, z. B.

  • Beobachtung,
  • Befragungen (Interviews),
  • Auswertung von Texten und Protokollen.


Quantitative Methoden, z. B.

  • Standardisierte Fragebögen,
  • Tests,
  • Auswertung von Messwerten.

Evaluierung von Projekten

In der Praxis wird Evaluation oft in einer dieser zwei Formen durchgeführt:

Evaluation durch Externe
Die Budgets größerer Projekte erlauben manchmal, eine externe Einrichtung zu beauftragen. Solche Einrichtungen sind zum Beispiel Forschungsinstitute oder Universitäten. Die etwas weniger aufwändige Alternative ist eine befreundete Person mit einem sozialwissenschaft­lichen Studienabschluss und Doktortitel.

Wenn Sie jemanden mit der Evaluation beauftragen, sollten Sie darauf achten, dass die Auftragnehmer/innen Erfahrung mit der Evaluation sozialer Projekte haben. Hier stellen sich völlig andere Anforderungen als bei der wissenschaftlichen Grundlagenforschung.

Wenn Sie Experten und Expertinnen mit der Evaluation beauftragen, können Sie von diesen Vorschläge einholen, welche Methoden bei der Evaluation des Projekts sinnvoll sind. Diese Vorschläge können sie in den Antrag aufnehmen. Manchmal sind Evaluatoren und Evaluatorinnen auch bereit, eine entsprechende Textpassage zum Antrag beizusteuern.

Seite 2: Externe Evaluation, Interne Evaluation, Beirat

Hier ein Auszug aus dem Antrag für ein Existenzgründer/innen-Projekt:

  • Die Evaluation des Projekts wird in Zusammenarbeit mit dem Lüneburger Institut für berufliche Bildung (LIB) durchgeführt. Das Institut erhält spätestens zwei Wochen nach Abschluss eines Quartals die dokumentierten Teilnehmer/innen-Daten und wertet diese nach ausgewählten Kriterien aus. Anhand der statistische Analyse der Teilnehmer/innen-Daten soll überprüft werden, ob das Beratungsangebot die Zielgruppe erreicht.Weiterhin führt das LIB bei allen Klienten und Klientinnen, drei Monate nach dem Austritt aus der Betreuung, eine telefonische Nachbefragung durch. Durch diese wird ermittelt, ob die Maßnahme tatsächlich zur erfolgreichen Existenzgründung geführt hat. Die Daten werden ebenfalls statistisch ausgewertet und in Form eines Berichts zusammengefasst, um nachzuweisen, dass die in Abschnitt 4 festgelegten Erfolgs- und Vermittlungsquoten erreicht werden.

 

Interne Evaluation
Bei kleineren Projekten zielt die Frage nach der Evaluation darauf ab, wie Sie sich selber vergewissern wollen, ob Sie gute Arbeit leisten. Bauen Sie in das Projekt Phasen der Reflexion und der Analyse ein. Hier genügt es, wenn Sie im Antrag einige Methoden vorschlagen.

Beispiele sind:

Beispiel
  • Regelmäßige Gesprächsrunden, in denen sich das Projektteam über den Projektverlauf austauscht (»wie läuft es?«),
  • Interviews und »Feedbackrunden« mit Teilnehmern und Teilnehmerinnen einer Maßnahme,
  • die Auswertung von Fragebögen, Protokollen und anderen Daten.

Sie haben gelernt, wie Sie »smarte Projektziele« definieren können. Wenn Sie Ihre Ziele operationalisiert (d. h. in eine messbare Form gebracht) haben, dann erleichtert Ihnen das die Evaluation.

  • Im Rahmen eines Projekts zur Existenzgründung sollen im Verlaufe eines Jahres 500 Klienten und Klientinnen beraten werden. Nach einem halben Jahr können Sie überprüfen, wie viele Klienten und klientinnen das Angebot in Anspruch genommen haben.
  • Ein Ziel einer Austauschmaßnahme ist, dass die Teilnehmer/innen den Austausch als persönlich bereichernd erleben. Nach der Rückkehr findet ein Auswertungsgespräch statt. Die Teilnehmer/innen werden dazu eingeladen, verschiedene Aspekte der Reise mit Schulnoten zu bewerten.


Eine entsprechende Passage im Antragsdokument könnte folgendermaßen aussehen. Im Beispiel geht es um eine internationale Jugendbegegnung:

Beispiel

»Drei Wochen vor dem Austausch erhalten die Teilnehmer/innen per E-Mail einen kurzen Fragebogen, in dem Sie aufgefordert werden, Ihre Erwartungen und Wünsche zu erläutern. Der Fragebogen dient außerdem dazu, besondere Bedürfnisse der Teilnehmer/innen zu ermitteln (wie z. B. Nahrungsmittelallergien), um sie bei der Planung des Jugendcamps berücksichtigen zu können.

Zu Beginn eines jeden Tages findet eine sogenannte Morgenrunde statt, während der die Teilnehmer/innen die Möglichkeit haben, Vorschläge, Wünsche und Kritik zu äußern. Am letzten Tag findet eine gemeinsame Auswertungsrunde statt. Bei dieser werden die verschiedenen Aspekte des Austausches bewertet und diskutiert. Zu den abgefragten Bereichen zählen die Qualität der Unterkunft und der Verpflegung, das fachliche Programm und das kulturelle Rahmenprogramm. Die Ergebnisse werden auf der Website und im Abschlussbericht veröffentlicht.«

Den Beirat hinzuziehen

Wenn Sie einen Beirat eingesetzt haben, kann dieser auch die Aufgabe haben, in regelmäßigen Abständen das laufende Projekt zu kontrollieren.

Die wichtigsten Tipps in Stichpunkten:

  1. Delegieren Sie die Evaluation bei einem größeren Projekt an Forschungseinrichtungen oder professionelle Evaluatoren und Evaluatorinnen.
  2. Listen Sie bei kleineren Projekten Maßnahmen zur Qualitätssicherung auf (wie z. B. Feedback-Runden, Fragebögen).