Vorschlag zur Gründung einer Arbeitsgruppe "systemische Analyse und Evaluation"
von Dirk Guenther und Stefan Silvestrini
Dirk Guenther, Leiter der Stabsstelle Evaluation der Welthungerhilfe, Bonn
Stefan Silvestrini, Bereichskoordinator Bildung und Entwicklungszusammenarbeit am Centrum für Evaluation, Saarbrücken
Auf der Frühjahrstagung 2008 des Arbeitskreises Entwicklungspolitik der DeGEval in Freiburg, wurde die Idee zu einer neuen AG „Systemische Analyse und Evaluation“ formuliert.
(Anmerkung: Mit „systemischer Analyse“ wird in diesem Zusammenhang die Untersuchung aller relevanten Wirkungszusammenhänge in der wirtschaftlichen, sozialen, politischen, kulturellen, ökologischen (etc.) Umwelt eines zu evaluierenden Programms oder Projekts verstanden. Dabei sind nicht nur alle von den Maßnahmen ausgelösten Veränderungen im „System“ zu betrachten, sondern darüber hinaus auch die Rückwirkungen der Umwelt (i.w.S.) auf die Programmumsetzung sowie auf die Nachhaltigkeit und weiteren Folgen der erzeugten Programmwirkungen.)
Im Folgenden soll die Idee zu diesem Thema kurz umrissen werden.
Projektplanung und Durchführung in der Entwicklungszusammenarbeit (EZ) und damit auch die Evaluation von EZ Vorhaben folgen meist der Logik von Wirkungsketten (zur Verknüpfung von Leistungen, Nutzung und Nutzen auf verschiedenen Ebenen). Wirkungsketten stellen ein stark vereinfachtes Model der menschlichen Wirklichkeit dar, da im Wesentlichen lineare Kausalbeziehungen abgebildet werden. Die reale Lebensumwelt wird dagegen von vielschichtigen und komplexen miteinander verbundenen Faktoren und Einflüssen, die fördernd, hemmend oder neutral aufeinander wirken, gebildet. Soziale Systeme der EZ stellen ein komplexes und offenes System von direkten und indirekten Wechselwirkungen dar.
Anders als in Forschungsfeldern wie der Ökonomie, der Ökosysteme, der Hydrologie oder den Technologiefolgen, werden zur Entwicklungszusammenarbeit bisher nur sehr wenige systemische Untersuchungen angestellt. Die Evaluationen (insbesondere Zwischen- und Endevaluation) der (projektumgebenden) EZ Sozialsysteme beruhen daher immer noch vorwiegend auf der spezifischen und praktischen Berufserfahrung der jeweiligen Gutachter, die hierbei „ihre“ System-Erfahrung in die Evaluation mit einbringen. Die Ergebnisse sind daher in hohem Maße subjektiv. Abweichungen zwischen Ergebnissen der von unterschiedlichen Gutachtern durchgeführten Schluss- und ex-post Evaluationen, die nicht auf (objektiv messbaren) Veränderungen im Untersuchungssystem zurückzuführen sind, sind daher häufig.
Obgleich die Notwendigkeit von systemischen Ansätzen bei der Programmplanung und bei ex-post Evaluationen zur ganzheitlichen Bewertung der Maßnahmenwirksamkeit vielerorts anerkannt wird, kommen diese aufgrund ihres i.d.R. erheblichen Ressourcenbedarfs bisher nur selten zum Einsatz. Der hierfür erforderliche zeitliche und personelle Aufwand, ist von Durchführungsorganisationen oftmals nicht zu leisten, da sie i.d.R. nicht über die hierfür erforderlichen Mittel und Kapazitäten verfügen.
Hier könnte sich ein interessantes Feld zur Zusammenarbeit zwischen Praxis und Forschung ergeben. So könnten Untersuchungen von komplexen Wirkungszusammenhängen in der EZ, deren besseres Verständnis von der Praxis benötigt wird, verstärkt von der wissenschaftlichen Forschung durchgeführt werden. Dies könnte eine objektivere Basis für zukünftige Evaluationen geben, da sich Gutachter stärker auf Forschungsergebnisse stützen könnten. Dies wäre gerade bei der Abschätzung potentieller Wirkungen und deren Nachhaltigkeit bei Zwischenevaluationen nützlich.
Ziel der hier angeregten AG wäre: „den Bedarf der Praxis an systemischer Untersuchung der Sozialsysteme der Entwicklungszusammenarbeit und die Möglichkeit der Forschung zur Untersuchung dieser herauszuarbeiten“. Die AG soll keine Forschung betreiben, sondern zur Verbesserung der Zusammenarbeit von Forschung und Praxis beitragen, und gerade dafür wäre die DeGEval eine gute Plattform.
Mögliche Schritte einer solchen AG könnten sein:
- Information (ggf. Fachvorträge) zu systemischer Untersuchung aus unterschiedlichen Themenfeldern um systemisches Denken aus verschiedenen Perspektiven darzustellen
- Herausarbeiten der Bereiche, in denen in der EZ Forschungsbedarf zu systemischer Untersuchung besteht.
- Identifikation möglicher Instrumente und Verfahren der verschiedenen Forschungstraditionen (z.B. Politikfeldanalyse, Technikfolgen-Abschätzung, Umweltforschung etc.)
- Das Produkt einer solchen AG könnte eine kurze Veröffentlichung sein, in der die Thematik dargestellt, der mögliche Bedarf an systemischer Forschung umrissen sowie mögliche Herangehensweisen zur Umsetzung entsprechender Analysen (sowohl durch die Forschung als auch durch Vertreter der EZ-Praxis) aufgezeigt werden.
Eine solche verbesserte Zusammenarbeit wäre nicht nur für größere Organisationen vorteilhaft (da Forschung nicht zu ihren Aufgaben gehört, wissenschaftliche Qualität in der Evaluation aber häufig gefordert wird). Gerade auch kleinere Organisationen, die sich solche Untersuchungen kaum leisten können, und freie Gutachter könnten auf solche Ergebnisse zurückgreifen. Letztendlich sollte sich ein Vorteil für die Akteure der Entwicklung ergeben, denn für Systeme, die man besser versteht, kann man auch sinnvollere Verbesserungsmaßnahmen durchführen.
Die genannte AG "systemische Analyse und Evaluation" könnte parallel zur anderen angedachten AG "Budgethilfe" innerhalb des AK EZ der DeGEval laufen. Es ergäben sich keine größeren Überschneidungen und auch der Interessentenkreis wäre sicher ein anderer.
Wir hoffen durch diese Darstellung Interesse an einer solchen AG und Interesse an der Verbesserung oder Weiterentwicklung der dargestellten Gedanken geweckt zu haben.
Kontakt:
Dipl.-Soz. Stefan Silvestrini
Bereichskoordinator Bildung und Entwicklungszusammenarbeit
Centrum für Evaluation (CEval), Universität des Saarlandes
Postfach 15 11 50, 66041 Saarbrücken
Tel.: 06 81 - 3 02 - 36 79
Fax: 06 81 - 3 02 - 38 99
E-Mail: s.silvestrini@ceval.de