Bisherige Aktivitäten

Nutzung von Evaluationen in transdisziplinären Kontexten – Was Evaluationen an der Grenze zwischen Wissenschaft und Praxis leisten können?

Moderation: Camilla Wanckel (Universität Potsdam), Karin Sassen (Polizei NRW), Markus Seyfried (Hochschule für Polizei und öffentliche Verwaltung, NRW)

Politik und Verwaltung sehen sich sowohl bei der Formulierung als auch bei der Implementation von Programmen und Maßnahmen mit unterschiedlichen Informationszugängen konfrontiert. Dabei treffen vielfach wissenschaftliche und außerwissenschaftliche Akteure aufeinander. Die jeweils unterschiedlichen Handlungslogiken haben maßgeblichen Einfluss auf die Erwartungshaltung gegenüber Evaluationen sowie der Nutzung von Evaluationsergebnissen. Der AK Verwaltung beschäftigt sich daher mit der Frage, was Evaluationen an der Grenze zwischen Wissenschaft und Praxis leisten können.

Mit Hilfe von beispielbezogenen Vorträgen, u.a. von Gästen der Landeshauptstadt Potsdam und dem Statistischen Bundesamt wurde den Fragen nachgegangen, wie sich die Nutzung von Evaluationen in Wissenschaft und Praxis gestaltet, welche Zielkonflikte sich ergeben und welche Implikationen das für die Durchführung von Evaluationen hat.

Ausschreibung und Vergabe von Evaluationsaufträgen

Das Programm sah vier Impulse vor:

• Dr. Maria Gutknecht-Gmeiner (Impulse - Evaluation und Organisationsberatung): Erfahrungsbericht zu Ausschreibungen von Evaluationsaufträgen

• Markus Seyfried (HSPV NRW): Erfahrungen und Empfehlungen zur Ausschreibung und Vergabe (Ergebnisse der Frühjahrstagung 2022)

• Christelle Nowack (DLR Projektträger): Herausforderungen aus der Praxis des Evaluations-Managements

• Reinhard Zweidler (ebp Schweiz AG): Vorstellung eines neuen Vademecums zur Vergabe von externen Studien- und Evaluationsaufträgen der Schweizerischen Evaluationsgesellschaft (SEVAL)

Daneben gab es viel Raum für Diskussionen in Kleingruppen und im Plenum. Ziel war es, ein Forum für einen praxisnahen Erfahrungsaustausch aus verschiedenen Perspektiven zu geben und gemeinsam zu überlegen, welche Hilfestellungen wir als AK geben könnten, um die Ausschreibungspraxis zu unterstützen.

Vielleicht noch ein paar Infos äquivalent zum AK Umwelt ergänzen?https://www.degeval.org/arbeitskreise/umwelt/aktuelles/

Was können Evaluationen leisten? Möglichkeiten und Grenzen evidenzbasierter Politik

Moderation: Prof. Dr. Markus Seyfried (Hochschule für Polizei und öffentliche Verwaltung, Nordrhein-Westfalen, HSPV NRW)

Eine stärkere Evidenzbasierung bei Entscheidungen, die von Politik und Verwaltung getroffen werden, wird schon seit Jahren gefordert. Evaluationen sind dabei ein wichtiges Instrument, da mit ihrer Hilfe ein bestimmter Gegenstand (z. B. ein Gesetz, eine politische Maßnahme oder ein Projekt) auf Grundlage von empirisch gewonnenen Daten systematisch und kriteriengeleitet untersucht werden kann. So kann beispielsweise überprüft werden, ob die Ziele eines Gesetzes erreicht wurden oder welche Auswirkungen sich durch die Umsetzung einer politischen Maßnahme ergeben haben. Die im Rahmen von Evaluationen gewonnenen Ergebnisse werden bewertet und auf dieser Grundlage Handlungsempfehlungen formuliert, die beispielsweise darlegen, wie negative Auswirkungen vermieden oder die Zielerreichung verbessert werden kann. Dieses idealtypische Verständnis von Evaluationen trifft in der Praxis oft auf schwierige Rahmenbedingungen: Die für die Evaluation benötigten Daten stehen nicht zur Verfügung oder können nur mit erheblichem Aufwand erhoben werden. Wenn beispielsweise die im Rahmen eines Evaluationsprozesses gewonnenen Daten nicht den strengen Gütekriterien empirischer Forschung entsprechen, aber für den untersuchten Bereich bislang keine empirischen Ergebnisse vorliegen, stellt sich die Frage, wie mit den Ergebnissen umgegangen werden soll.

Vor diesem Hintergrund beschäftigte sich die Session des AK Verwaltung mit der Frage, was Evaluationen für politische und administrative Entscheidungsprozesse tatsächlich leisten können. Anhand von zwei Vorträgen durch Torge Ziemer des Deutschen Forschungsinstituts für öffentliche Verwaltung sowie Renate Reiter vom Zentrum für Evaluation und Politikberatung (ZEP) wurde mit den Teilnehmerinnen und Teilnehmern der Session u.a. erörtert, welche methodischen Designs dabei helfen können, dass Evaluationen einen Beitrag für evidenzbasierte Entscheidungen leisten, welche Herausforderungen dabei im politisch-administrativen Kontext entstehen und welche Schwächen der im Rahmen einer Evaluation gewonnenen Ergebnisse (an die Auftraggeber) kommuniziert werden.   

Bei der Befragung haben sich folgende Themen als besonders relevant herausgestellt (siehe Abbildungen). Diese wurden auf der Jahrestagung in Potsdam weiter konkretisiert und priorisiert. In den folgenden Veranstaltungen soll auf diese Themen immer wieder Bezug genommen werden.

Typen der Interaktion zwischen Auftraggebern und Auftragnehmern und ihr Einfluss auf Evaluationsdesign und -ergebnis

Moderation: Axel Piesker

Bei allen Evaluationen ist eine zentrale Frage, wie die für die Bewertung der Auswirkungen eines Projektes, eines Gesetzes oder sonstiger Maßnahmen benötigten Daten gewonnen und ausgewertet werden können. Es geht also um die Wahl des Evaluationsdesigns, inkl. der Evaluationsziele und -methoden. Gleichzeitig spielt die Interaktion zwischen Beauftragenden und Beauftragten eine zentrale Rolle für das Gelingen von Evaluationsvorhaben. Bezüglich der Gestaltung des Prozesses lassen sich in der Praxis unterschiedlichste Formen der Zusammenarbeit zwischen Auftragnehmer und Auftraggeber finden: von strikten Vorgaben des Auftraggebers, über kooperative Aushandlungsprozesse bis hin zu großen Freiheiten des Auftragnehmers (laissez faire). In der Literatur knüpft dies in gewisser Weise an Konzepte von (strikter) „Steuerung“ einerseits und (mehr oder weniger loser) „Koordination“ andererseits an.

Der AK Verwaltung befasste sich im Rahmen seines Frühjahrsworkshops sowohl aus theoretischer als auch praktischer Perspektive mit der Frage, welche konkreten Herausforderungen sich im Zusammenhang mit dem Evaluationsprozess für Auftraggeber und Auftragnehmer ergeben und wie mögliche Konflikte, Unsicherheiten und andere Herausforderungen im Verhältnis von Auftraggebern und Auftragnehmern bewältigt werden können. Darüber hinaus wurde erörtert, welchen Einfluss dieses Verhältnis auf das Evaluationsdesign und das Evaluationsergebnis hat (bzw. haben kann). Auf Basis von Input-Vorträgen durch Renate Reiner sowie   Gottfried Konzendorf und Axel Piesker wurde auch darüber diskutiert, welchen Spielraum Aufträge bezüglich der Gestaltung des Evaluationsprozesse lassen, wie sich die Art der Interaktion zwischen Auftraggeber und Auftragnehmer auf die Bestimmung der Evaluationsziele, -methoden und -ergebnisse auswirkt und inwiefern sich unterschiedliche Formen der Interaktion ergänzen (komplementär sind) bzw. gegenseitig ausschließen (substitutiv sind).

Evaluationsvorhaben – (k)ein Ausschreibungsgegenstand wie jeder andere?

Moderation: Stephan Grohs und Axel Piesker

Die Planung und Durchführung von Evaluationen im Bereich der öffentlichen Verwaltung sieht sich starken institutionellen Zwängen ausgesetzt. Nicht nur die besonderen Herausforderungen rund um das Vergaberecht und öffentliche Ausschreibungen von Evaluationen, sondern auch deren inhaltliche Begleitung sowie deren Durchführung stellen verschiedenste Akteure vor mitunter enorme Herausforderungen. Diese ergeben sich nicht nur aus geltenden rechtlichen Bestimmungen und verbindlichen Ausschreibungstexten, sondern auch aus der besonderen Interaktion zwischen öffentlichen Auftraggebern und den Auftragnehmern. Aus diesem Grunde lohnt es sich, die Trias von vergaberechtlichen, politisch-administrativen und fachlich-methodischen Anforderungen, die an Evaluationen im Bereich der öffentlichen Verwaltung gestellt werden, genauer unter die Lupe zu nehmen.

Daher wurde im Rahmen der Frühjahrstagung insbesondere diskutiert, welche vergaberechtlichen Anforderungen und damit einhergehenden Probleme es bei der Ausschreibung von Evaluationen gibt, was Behörden daran hindert, Evaluationen auszuschreiben und wie sich Auftraggeber und Auftragnehmer vor der Durchführung von Ausschreibungsverfahren stärker abstimmen können, ohne sich in juristische Grauzonen zu bewegen. Aufbauend auf Vorträgen von Cornelia Foehrmann des Bundesinstituts für Berufsbildung (BIBB), Wolfgang Wendelmann vom Ministerium des Innern des Landes NRW sowie Oliver Schwab vom Institut für Stadtforschung und Strukturpolitik GmbH konnte mit den Teilnehmerinnen und Teilnehmern der Session gesamtperspektivisch diskutiert werden, welche nicht-intendierten Konsequenzen sich aus dem Spannungsverhältnis zwischen vergaberechtlichen, poltisch-administrativen und fachlich-methodischen Anforderungen ergeben.