Defensiver Umgang mit Evaluationsanforderungen

Arbeiten Sie mit staatlichen Institutionen zusammen oder beziehen Sie EU-Fördermittel, könnten Sie damit konfrontiert werden, dass Ihr Projekt extern evaluiert wird oder Sie es evaluieren müssen. Die fördernden Einrichtungen machen Ihnen bestimmte Vorschriften, die Sie berücksichtigen müssen, z. B. bei der Berichterstattung. Davon versprechen sie sich eine bessere Überprüfbarkeit der Ergebnisse und der Arbeitsweise von Organisationen (Stichwort »Qualitätssicherung«).

Leider hat Evaluation unter diesen Voraussetzungen in der Regel eine zwiespältige Rolle. Sie erfolgt defensiv, d. h. nicht aus einem aufrichtigen Erkenntnisinteresse, sondern weil es vorgeschrieben oder erwünscht ist. Wenn Sie Ihre Arbeit nicht evaluieren (lassen), dann drohen negative Konsequenzen. Ihre Einrichtung erhält eine Zertifizierung nicht und wird deswegen zu bestimmten Tätigkeiten nicht zugelassen, wodurch Ihnen Einnahmen entgehen. Ein Projektantrag, der nicht in ausreichender Form beschreibt, wie ein Projekt evaluiert werden soll, hat schlechtere Chancen, akzeptiert zu werden.
Daraus entstehen leider in der Praxis Formen von schlechter oder überflüssiger Evaluation:

  • Datenerfassung oder Dokumentationsprozesse haben keinen erkennbaren Sinn (man macht es »für die Statistik«).
  • Es werden Projekte »pro forma« evaluiert, also ohne tatsächliches Interesse an den Ergebnissen der Evaluation oder deren Korrektheit.
  • Die Evaluation dient eher der nachträglichen Legitimation einer Maßnahme.
  • Es werden über- oder unterdimensionierte oder methodische Verfahren eingesetzt oder solche, die der Fragestellung nicht angemessen sind.
  • Der Aufwand der Evaluation ist so groß, dass die damit verbundenen Anforderungen von den Mitarbeiter/innen als Belastung empfunden werden.

Diese Phänomene sind leider eher häufiger als seltener anzutreffen. Projektmanager/innen im gemeinnützigen Bereich müssen lernen, damit umzugehen. Wo aber liegen die Gründe dafür, dass man so häufig mit sinnloser oder schlechter Evaluation konfrontiert wird? Drei Gedanken dazu:

Überwachung von Vorschriften

Wenn Sie mit bürokratischen Institutionen zusammenarbeiten, dann haben diese häufig nur begrenzte oder keine Berührungspunkte mit der Praxis. Manche Vorgaben dieser Einrichtungen sind schlichtweg realitätsfern. Sie haben auch nicht die Aufgabe, Sinn und Zweck einer Maßnahme zu hinterfragen, sondern sollen politische Beschlüsse umsetzen und über die Einhaltung von Vorschriften wachen. Hinzu kommt etwas, dass in den Sozialwissenschaften Pfadabhängigkeit genannt wird. Innerhalb von Institutionen entstehen durch Beschlüsse oder Zufälle administrative Pfade, die alle Beteiligten beschreiten müssen. Selbst wenn sich die entsprechenden Prozeduren als ineffizient herausstellen oder sich die Welt verändert hat (so, dass das Ganze überflüssig geworden ist), muss der Ablauf eingehalten werden. Denn solange die Vorschrift besteht, gilt sie, und ihre Einhaltung wird überwacht. Den Verlauf eines solchen Pfades zu ändern oder einen bestehenden Prozess wieder abzubauen, erfordert hingegen zusätzliche Energie und dauert lange.

Legitimation

In der Logik der Verwaltung spielt es häufig eine untergeordnete Rolle, welche soziale Wirkung ein Projekt hat. Wichtiger ist es, das eigene Handeln (z. B. bei der Projektvergabe) zu legitimieren, falls dies erforderlich sein sollte. Sprich: Wir haben diese Maßnahme gefördert, und sehet her, sie war gut. Aus diesem Grund ist es hilfreich, einen Bericht in der Schublade zu haben, der bestätigt, dass das, was man getan hat, gut war. Bei diesem Prozess der Legitimation greifen bürokratische Einrichtungen gerne auf wissenschaftliche Expertisen oder wissenschaftlich anmutende Verfahren zurück (statistische Analysen, Erreichung von Kennzahlen o. Ä.).

Primat der Politik

Warum wird häufig »pro forma« evaluiert, oder warum spielen die Ergebnisse der Evaluation später nur noch eine geringe Rolle? – Primat (lat. Primus für der oder das Erste) bedeutet, dass etwas Vorrang hat. »Politik« bezieht sich hier nicht nur darauf, was in Regierungskreisen verhandelt wird. Auch in einer Gemeinde, innerhalb einer Organisation oder in einer Gruppe wird »Politik gemacht«. Dabei geht es letztendlich um die Verteilung von Macht und Ressourcen. Aus diesem Grund bleiben die Ergebnisse der Evaluation in der Schublade. Die Entscheidungen werden nach anderen Kriterien getroffen.

Wie gehen Sie als Projektmanager/in damit um, wenn Sie mit Vorschriften zur Evaluation konfrontiert sind, die Ihnen sinnlos erscheinen? Zuerst sollten Sie einschätzen, ob das Ergebnis des Evaluationsprozesses tatsächlich Auswirkungen auf Ihre Arbeit hat. Kommen Sie zu dem Schluss, dass dies nicht der Fall ist, dann ist es eine günstige Strategie, durch eine effiziente Gestaltung der administrativen Prozesse Ihren Aufwand zu minimieren. So schonen Sie Ihre wertvollen zeitlichen Ressourcen für die Projektarbeit. Sind Sie beispielsweise dazu verpflichtet, für jede/n Teilnehmer/in einer Fortbildungsmaßnahme eine Dokumentation anzulegen, sollten Sie sich überlegen, wie Sie den Prozess der Datenerfassung und Berichterstattung gestalten können, dass er möglichst wenig Zeit in Anspruch nimmt, aber gleichzeitig den Vorgaben entspricht.

Zwei Überlegungen sind wichtig, wenn ein solches Szenario vorliegt. Erstens: Die Vorgaben (z. B. der Prozess der Dokumentation, die Art der zu erhebenden Daten oder die zu erreichenden Kennzahlen) mögen unsinnig sein. Ihr Auftraggeber oder Förderer wird jedoch sehr genau überwachen, ob Sie den formalen Anforderungen nachkommen. Wenn Sie dies nicht tun, müssen Sie mit schwerwiegenden Konsequenzen rechnen! Zweitens: Ihr Auftraggeber oder Förderer wird sich zu einer Reaktion gezwungen sehen, wenn die Ergebnisse der Evaluation eindeutig schlecht sind. Ob das Ergebnis einer Evaluation hingegen hervorragend ist oder einfach nur gut, wird wahrscheinlich eine geringere Rolle spielen – siehe Primat der Politik.

Aus dem letzteren Punkt folgt übrigens auch: Selbst wenn Ihre Evaluation methodisch sorgfältig durchgeführt worden ist und Ihre Ergebnisse hervorragend sind, sollten Sie sich nicht darauf verlassen, dass daraus auch Schlussfolgerungen gezogen werden. Investieren Sie Zeit in die Netzwerkarbeit und die Pflege von Beziehungen. Erzielt Ihr Projekt hervorragende Ergebnisse, müssen Sie diese vermarkten.

Sollten Sie jedoch mit einer Einrichtung kooperieren, die Ihre dokumentierten Ergebnisse ernsthaft prüft und eine Fortführung der Zusammenarbeit davon abhängig macht, dann müssen Sie solche vorweisen können!

Mastodon