Die Wissenschaft und das Leben

Soziale Projekte finden nicht unter Laborbedingungen statt. Aufgrund der Komplexität der Realität kann es häufig sehr schwierig oder aufwendig sein, einen kausalen Zusammenhang festzustellen. In dem im Kapitel Erkenntnisorientierte Evaluation genannten Beispiel wurde festgestellt, dass 60 Prozent der Teilnehmer/innen des Seminars sich innerhalb von acht Wochen nach dem Seminar erfolgreich beworben haben. Lag das tatsächlich an Ihrem Bewerbungstraining? Vielleicht hätten die Teilnehmer/innen das auch ohne Sie und ihr Seminar geschafft.

Eigentlich sollten Sie einen Vergleich anstellen: Unterscheiden sich die Erfolgsquoten von Teilnehmer/innen Ihres Seminars mit denen von Nicht-Teilnehmer/innen? Wie kommen Sie an die Daten von Nicht-Teilnehmer/innen? Müssen Sie zusätzlich berücksichtigen, dass die Teilnahme an Ihrer Maßnahme freiwillig war (und Teilnehmer/innen deswegen insgesamt stärker motiviert waren als Nicht-Teilnehmer/innen)? Weiterhin: Nehmen wir an, die Erfolgsquote der Seminarteilnehmer/innen beträgt 60 % und diejenige der Nicht-Teilnehmer/innen 50 Prozent. Ist dieser Unterschied auf Ihr Seminar zurückzuführen oder ist er zufällig bedingt (Statistiker/innen würden die Frage aufwerfen, ob ein signifikanter Unterschied vorliegt)? Darüber hinaus können Geschehnisse auch von unabhängigen Faktoren beeinflusst werden. Vielleicht gab es vier Wochen nach Ihrem Seminar einen saisonbedingten starken Anstieg der Nachfrage nach Arbeitskräften. Die erfolgreichen Vermittlungen wären gar nicht auf Ihre Intervention zurückzuführen.

Sie merken: Wenn man beginnt, wissenschaftliche Kriterien an die Evaluation von Projekten anzulegen, wird die Angelegenheit schnell kompliziert. Wissenschaftler/innen lösen dieses Problem dadurch, dass Sie entweder mit isolierten Fragestellungen experimentieren oder sehr große und aufwendige Studien durchführen (z. B. Längsschnittuntersuchungen). Für Projektmanager/innen im gemeinnützigen Bereich ist das erste wenig interessant und das zweite nicht möglich.

Insofern bleibt Ihnen nichts anderes übrig, als bei der Planung von Evaluationsmaßnahmen pragmatisch vorzugehen. Die entscheidende Frage lautet: Können Sie die Evaluation innerhalb des Projekts so gestalten, dass sie erstens mit den zur Verfügung stehenden Ressourcen durchgeführt werden kann und Sie zweitens daraus nützliche Ergebnisse gewinnen?