Aktuelles

Der AK Verwaltung führt am 10. April 2025 eine Frühjahrstagung zum oben genannten Thema. Dabei soll es darum gehen zu ergründen, wie Evaluateure und Evaluateurinnen mit den Erwartungshaltungen ihrer Auftraggeberinnen und Auftraggeber umgehen. Die Online-Veranstaltung des AK Verwaltung ist kostenfrei.

Die Registrierung erfolgt über info[at]degeval.org

Der Workshop ist gleichermaßen Auftakt für die Jahrestagung der DeGEval in Saarbrücken im September 2025 (mit dem Thema “Institutionalisierung und Professionalisierung von Evaluation”) auf der auch wieder eine Session/Diskussionsrunde des AK Verwaltung veranstaltet werden soll.

Erwartungen und Anforderungen an Evaluation

Moderation: Ingo Dungs, Markus Seyfried & Camilla Wanckel

Evaluationen finden in organisationalen Kontexten statt, sodass an sie ganz unterschiedliche Erwartungen und Anforderungen geknüpft werden, die sich über die verschiedenen Standardgruppen von Evaluation erstrecken (die Nützlichkeit, die Durchführbarkeit, die Fairness und die Genauigkeit, sowie in den jeweiligen Präzisierungen der Standardgruppen, DeGEval 2016). Dementsprechend können die Erwartungen in Bezug auf bestimmte Standards sehr hoch sein und in Bezug auf andere wiederum sehr gering. Demgegenüber steht die Erfüllung oder die Nicht-Erfüllung dieser Erwartungen. Je größer dabei die Diskrepanz von Erwartung und Erfüllung ausfällt, desto problematischer dürfte sich dies für das Evaluationssetting erweisen.

Hinzu kommt, dass unterschiedliche Stakeholder divergierende und vermutlich auch von den Evaluationsstandards abweichende sowie sich möglicherweise widersprechende Erwartungen an Evaluateure stellen dürften. Daraus ergeben sich spezifische Herausforderungen für die Evaluateure, die im Rahmen von Evaluationen zu bewältigen sind. Sie können vermutlich dazu führen, dass innerhalb von Organisationen verschiedene Phänomene zu beobachten sind. Dazu gehören beispielsweise die Kommunikation unterschiedlicher Botschaften in Abhängigkeit der jeweiligen Zielgruppen, auch „double talk“ genannt (Schimank 2008) oder Abweichungen zwischen dem was kommuniziert, was entschieden und dem was schlussendlich getan wird (Brunsson 1991). Zudem haben Organisationen die Möglichkeit ihre Aktivitäten (Ablauforganisation) von ihren Formalstrukturen (Aufbauorganisation) oder eingesetzte Mittel von den geplanten Zwecken zu entkoppeln (Meyer & Rowan 1977; Bromley & Powell 2012). Auf diese Weise puffern sie die abweichenden und sich teilweise widersprechenden Erwartungen ihrer institutionellen Umwelt an die Evaluation ab, um sie mit den Evaluationsergebnissen und den sich daraus ergebenden Maßnahmen zu versöhnen. Dies dürfte aus der ex ante und der ex post Perspektive von Bedeutung sein. Ex ante, weil die Erwartungen an Evaluationen im Vorfeld schon so unrealistisch hoch sein können, dass sie kaum zu erfüllen sind. Ex post, weil die Ergebnisse von Evaluationen möglicherweise nicht dem entsprechen, was sich die Auftraggeber oder Auftraggeberinnen von der Evaluation erwartet haben. Demnach geht die Session den folgenden Fragen nach:

1. Welche Rolle spielen Erwartungen (ex post und ex ante) für die Durchführung von Evaluationen?
2. Welche unterschiedlichen Erwartungen gibt es und werden diese unterschiedlich priorisiert?
3. Welche Erwartungslücken lassen sich erkennen und inwieweit kann die Einführung von Standards zu gestiegenen Erwartungen führen?
4. Welche Zielkonflikte ergeben sich aus sich widersprechenden Erwartungen?
5. Welche Effekte haben Erwartungen sowie deren Erfüllung bzw. Nicht-Erfüllung auf die Institutionalisierung von Professionalisierung von Evaluation?

Folgende Beiträge sind für die Diskussionsrunde geplant:

Nicolina Kirby (Forschungsinstitut für Nachhaltigkeit, Potsdam): Von der Evaluierenden zur Evaluierten – was sich aus dem Perspektivwechsel in die Praxis lernen lässt.

Bürgerräte, basierend auf dem politikwissenschaftlichen Konzept der „mini publics“, sind seit ein paar Jahren in aller Munde. Auf nationaler Ebene wurden sie unter anderem bereits zu den Themen Demokratie, Außenpolitik und Ernährung durchgeführt. Den Bürgerrat zur deutschen Außenpolitik 2021 haben wir als Forschungskonsortium evaluiert. Heute, vier Jahre später, konzipieren wir als Wissenschaftler:innen zwei Bürgerräte auf lokaler Ebene. Was lässt sich aus der Evaluationserfahrung für die eigene Durchführung lernen? Welche Grenzen von Evaluationsmethoden werden dabei deutlich? Und was lässt sich hieraus für künftige Evaluationen lernen?

Ingo Dungs (ZEVA, LKA Düsseldorf): „Die Geister, die ich rief“ – wachsende Erwartungen an Evaluationen im polizeilichen Kontext

Der Zauberlehrling in Goethe’s Ballade entfesselte Magie, die er nicht beherrschen kann. Die Zentralstelle Evaluation (ZEVA) der Polizei in Nordrhein-Westfalen befasst sich seit nun über 20 Jahren exklusiv mit dem Thema Evaluation in der Polizei. Nach vielen Jahren der Orientierung, des Kompetenzaufbaus und wenig Resonanz „boomt“ das Thema seit Beginn der 2020er-Jahre, wird die ZEVA immer häufiger in den unterschiedlichsten Themenfeldern der Polizei angefragt. Der Nutzen von Evaluationen wird auch in hohen politischen Entscheidungsebenen erkannt, die Erwartungen steigen, ebenso die Anforderungen an Belastbarkeit und methodischer Tiefe in einer Organisation, die rund 50.000 Menschen beschäftigt?  Wie schafft das ein kleines Sachgebiet mit knapp sechs Mitarbeitenden?

Felia Hünecke (BRH): Der Bundesrechnungshof und Erwartungen an Evaluation

Der Bundesrechnungshof prüft die Haushalts- und Wirtschaftsführung des Bundes, dazu gehört schwerpunktmäßig die Evaluierung öffentlicher Programme und Projekte. Als unabhängige Kontrollinstanz macht er Probleme transparent und stellt Fakten offen dar. Die Transparenz ist dabei ein wesentlicher Faktor, um das Vertrauen in die Funktionsfähigkeit des Staates zu erhalten. Die Erwartungen an die Evaluierungen des Bundesrechnungshofes sind folglich geprägt von fehlerfreien und (politisch) neutralen Methodiken und Vorgehensweisen. Die Herausforderungen sind dabei die steigende Komplexität der zu prüfenden Sachverhalte und der sich wandelnde Informationsbedarf der Stakeholder. Der Vortrag zeigt die Erwartungen an den Bundesrechnungshof auf und beleuchtet dessen organisationsübergreifenden Maßnahmen um diesen gerecht zu werden.