Frühjahrstagung des AK Methoden

Die diesjährige Tagung des AK Methoden in der Evaluation wird am 10. und 11. Juli 2025 in München in Zusammenarbeit mit der Hanns Seidel Stiftung stattfinden. Untenstehend finden Sie den Ankündigungstext. Alle weiteren Informationen zum Programm und den Anmeldemodalitäten werden zeitnah an dieser Stelle veröffentlicht.

Wir freuen uns über reges Interesse!

TAGUNGSTHEMA: "best credible und nützlich - Methodische Qualität, Nützlichkeit und Nutzung von Evaluationen"

Evaluierungen können u.a. dann eine Wirkung entfalten, wenn sie von den beteiligten Stakeholder*innen und Adressat*innen ihrer Ergebnisse und Empfehlungen nicht nur als nützlich wahrgenommen, sondern auch faktisch genutzt werden. Dabei hängen die Nützlichkeitswahrnehmung und die Nutzung von Evaluationen von verschiedenen Faktoren ab: Aufseiten der Evaluierten beeinflusst beispielsweise die Bereitschaft zu organisationalem Lernen oder das Vorhandensein einer Evaluationskultur, aber auch das Timing bzw. der Zeitpunkt einer Evaluation, inwieweit eine Evaluation als nützlich empfunden und der Evaluierungsprozess bzw. die Evaluationsergebnisse genutzt werden. Zudem beeinflusst die Art und Weise, wie Stakeholder*innen in die Evaluierung eingebunden werden und wie während und über die Evaluation kommuniziert wird, ihre Nützlichkeit und Nutzung. Auch die Qualität der Evaluation selbst zahlt auf die Wahrnehmung ihrer Nützlichkeit und Nutzung ein (vgl. Mayne 2014; 3ie 2024). Insbesondere der angemessenen Auswahl und Umsetzung der Methoden im Evaluierungsdesign wird ein Einfluss auf die Einschätzung ihrer Nützlichkeit und die Nutzung zugeschrieben (z.B. Reed et al. 2021).

Im Hinblick auf Forderungen einer evidenzbasierten Steuerung von Vorhaben, erscheint die methodische Güte und Robustheit von Evaluationen als bedeutsamer Faktor für ihre wahrgenommene Nützlichkeit und ihre Nutzung. Quasi kontraintuitiv ist die Befundlage hierzu: So steht die (in Studien bzw. Meta-Evaluationen bewertete) Qualität einer Evaluation nach Bundi, Frey und Widmer (2021) sowie Silvestrini (2023) nicht in einem Zusammenhang mit der ihr zugeschriebenen Nützlichkeit bzw. Nutzung. Hingegen beeinflusst die von den Adressat*innen wahrgenommene Qualität einer Evaluation wiederum deren Nutzung (Bundi, Frey und Widmer 2021: 666ff.). Evaluierende stehen damit vor der Aufgabe, angemessene und an den Gütekriterien empirischer Forschung ausgerichtete Evaluationsmethoden anzuwenden, deren Beitrag für eine Evaluation herauszustellen und zu vermitteln und zugleich weitere Nützlichkeitsanforderungen zu berücksichtigen, um best credible evidence für eine bestmögliche Nutzung von Evaluation zu produzieren.

In der AK Methoden-Tagung 2025 widmen wir uns dem Verhältnis von methodischer Qualität einer Evaluation und deren wahrgenommener Nützlichkeit bzw. Nutzung: Wie können wir die Nützlichkeit und Nutzung unserer Evaluierungen auf Ebene des methodischen Designs fördern? Worauf gilt es hier zu achten und welche Methoden gibt es, die sich explizit zur Förderung von Nützlichkeit und Nutzung in Anschlag bringen lassen? Wie lassen sich die Stakeholder einer Evaluierung am besten bei Fragen zur methodischen Vorgehensweise einbinden, damit diese die Evaluierung auch nutzen, das Zustandekommen von Evaluationsergebnissen verstehen und aus diesen Erkenntnissen lernen können? Wie lässt sich darüber auch die Nutzung von Evaluationen fördern?
Zur gemeinsamen Diskussion und Beantwortung dieser Fragen richten wir den Blick einerseits auf die Sequenzierung und das Timing der methodischen Vorgehensweise sowie andererseits auf die Einbindung von methodischen Aspekten in Vermittlungsprozesse (z.B. Techniken der nutzerfreundlichen Ergebnisaufbereitung in Form von Evidenz-Repositorien/Evidence Gaps Maps). Außerdem diskutieren wir die Relevanz prospektiv ausgerichteter Foresight-Methoden und ihren Beitrag für eine bessere Nutzung von Evaluierungen. Solche Methoden sollen beispielsweise abschätzen, wie sich ein Evaluationsgegenstand künftig verändern wird. Dies soll dazu beitragen, die Empfehlungen einer Evaluation, die zwar in die Zukunft gerichtet sind, aber in der Regel auf ex post gewonnenen Evaluierungsbefunden beruhen, empirisch stärker prospektiv zu untermauern und damit potentiell nützlicher und nutzbarer zu machen.

Literatur:
Bundi, P., Frey, K., & Widmer, T. (2021): Does Evaluation Quality Enhance Evaluation Use? In: Evidence & Policy, 17 (4), S. 661-687.

Mayne, J. (2014): Issues in enhancing evaluation use. In: M. L. Loud, J. Mayne (Hrsg.): Issues in enhancing evaluation use (S. 1-14). SAGE Publications, Inc.

M.S. Reed, M. Ferré, J. Martin-Ortega, R. Blanche, R. Lawford-Rolfe, M. Dallimer, J. Holden (2021): Evaluating impact from research: A methodological framework. In: Research Policy, 50 (4), S. 104-147.

Silvestrini, S. (2023): Meta im Quadrat – was wir aus Meta-Evaluationen lernen können. In: Zeitschrift für Evaluation, 22 (1), S. 120-146.

3ie (International Initiative for Impact Evaluation) (2024): The TRIPS framework: A tool for improving evidence use in development institutions, Quelle: www.3ieimpact.org/sites/default/files/2024-05/TRIPS-guidance-note.pdf