Aktuelles

Die diesjährige Tagung des AK Methoden in der Evaluation wird am 10. und 11. Juli 2025 in München in Zusammenarbeit mit der Hanns Seidel Stiftung stattfinden. Untenstehend finden Sie den Ankündigungstext. Alle weiteren Informationen zum Programm und den Anmeldemodalitäten werden zeitnah an dieser Stelle veröffentlicht.

Wir freuen uns über reges Interesse!

TAGUNGSTHEMA: "best credible und nützlich - Methodische Qualität, Nützlichkeit und Nutzung von Evaluationen"

Evaluierungen können u.a. dann eine Wirkung entfalten, wenn sie von den beteiligten Stakeholder*innen und Adressat*innen ihrer Ergebnisse und Empfehlungen nicht nur als nützlich wahrgenommen, sondern auch faktisch genutzt werden. Dabei hängen die Nützlichkeitswahrnehmung und die Nutzung von Evaluationen von verschiedenen Faktoren ab: Aufseiten der Evaluierten beeinflusst beispielsweise die Bereitschaft zu organisationalem Lernen oder das Vorhandensein einer Evaluationskultur, aber auch das Timing bzw. der Zeitpunkt einer Evaluation, inwieweit eine Evaluation als nützlich empfunden und der Evaluierungsprozess bzw. die Evaluationsergebnisse genutzt werden. Zudem beeinflusst die Art und Weise, wie Stakeholder*innen in die Evaluierung eingebunden werden und wie während und über die Evaluation kommuniziert wird, ihre Nützlichkeit und Nutzung. Auch die Qualität der Evaluation selbst zahlt auf die Wahrnehmung ihrer Nützlichkeit und Nutzung ein (vgl. Mayne 2014; 3ie 2024). Insbesondere der angemessenen Auswahl und Umsetzung der Methoden im Evaluierungsdesign wird ein Einfluss auf die Einschätzung ihrer Nützlichkeit und die Nutzung zugeschrieben (z.B. Reed et al. 2021).

Im Hinblick auf Forderungen einer evidenzbasierten Steuerung von Vorhaben, erscheint die methodische Güte und Robustheit von Evaluationen als bedeutsamer Faktor für ihre wahrgenommene Nützlichkeit und ihre Nutzung. Quasi kontraintuitiv ist die Befundlage hierzu: So steht die (in Studien bzw. Meta-Evaluationen bewertete) Qualität einer Evaluation nach Bundi, Frey und Widmer (2021) sowie Silvestrini (2023) nicht in einem Zusammenhang mit der ihr zugeschriebenen Nützlichkeit bzw. Nutzung. Hingegen beeinflusst die von den Adressat*innen wahrgenommene Qualität einer Evaluation wiederum deren Nutzung (Bundi, Frey und Widmer 2021: 666ff.). Evaluierende stehen damit vor der Aufgabe, angemessene und an den Gütekriterien empirischer Forschung ausgerichtete Evaluationsmethoden anzuwenden, deren Beitrag für eine Evaluation herauszustellen und zu vermitteln und zugleich weitere Nützlichkeitsanforderungen zu berücksichtigen, um best credible evidence für eine bestmögliche Nutzung von Evaluation zu produzieren.

In der AK Methoden-Tagung 2025 widmen wir uns dem Verhältnis von methodischer Qualität einer Evaluation und deren wahrgenommener Nützlichkeit bzw. Nutzung: Wie können wir die Nützlichkeit und Nutzung unserer Evaluierungen auf Ebene des methodischen Designs fördern? Worauf gilt es hier zu achten und welche Methoden gibt es, die sich explizit zur Förderung von Nützlichkeit und Nutzung in Anschlag bringen lassen? Wie lassen sich die Stakeholder einer Evaluierung am besten bei Fragen zur methodischen Vorgehensweise einbinden, damit diese die Evaluierung auch nutzen, das Zustandekommen von Evaluationsergebnissen verstehen und aus diesen Erkenntnissen lernen können? Wie lässt sich darüber auch die Nutzung von Evaluationen fördern?
Zur gemeinsamen Diskussion und Beantwortung dieser Fragen richten wir den Blick einerseits auf die Sequenzierung und das Timing der methodischen Vorgehensweise sowie andererseits auf die Einbindung von methodischen Aspekten in Vermittlungsprozesse (z.B. Techniken der nutzerfreundlichen Ergebnisaufbereitung in Form von Evidenz-Repositorien/Evidence Gaps Maps). Außerdem diskutieren wir die Relevanz prospektiv ausgerichteter Foresight-Methoden und ihren Beitrag für eine bessere Nutzung von Evaluierungen. Solche Methoden sollen beispielsweise abschätzen, wie sich ein Evaluationsgegenstand künftig verändern wird. Dies soll dazu beitragen, die Empfehlungen einer Evaluation, die zwar in die Zukunft gerichtet sind, aber in der Regel auf ex post gewonnenen Evaluierungsbefunden beruhen, empirisch stärker prospektiv zu untermauern und damit potentiell nützlicher und nutzbarer zu machen.

Literatur:
Bundi, P., Frey, K., & Widmer, T. (2021): Does Evaluation Quality Enhance Evaluation Use? In: Evidence & Policy, 17 (4), S. 661-687.

Mayne, J. (2014): Issues in enhancing evaluation use. In: M. L. Loud, J. Mayne (Hrsg.): Issues in enhancing evaluation use (S. 1-14). SAGE Publications, Inc.

M.S. Reed, M. Ferré, J. Martin-Ortega, R. Blanche, R. Lawford-Rolfe, M. Dallimer, J. Holden (2021): Evaluating impact from research: A methodological framework. In: Research Policy, 50 (4), S. 104-147.

Silvestrini, S. (2023): Meta im Quadrat – was wir aus Meta-Evaluationen lernen können. In: Zeitschrift für Evaluation, 22 (1), S. 120-146.

3ie (International Initiative for Impact Evaluation) (2024): The TRIPS framework: A tool for improving evidence use in development institutions, Quelle: www.3ieimpact.org/sites/default/files/2024-05/TRIPS-guidance-note.pdf

In der Regel finden die Treffen der Mitglieder des Arbeitskreises im Rahmen der Frühjahrstagung des AK und der DeGEval-Jahrestagung statt.

Zurückliegende Treffen:

• 19. September 2024 in Potsdam
• 06. Juni 2024 in Saarbrücken
• 14. September 2023 in Magdeburg
• 19. Juni 2023 in Wiesbaden
• 15. September 2022

Die Entwicklung von Künstlicher Intelligenz (KI) hat das Potential, den Berufsstand der Evaluation stark zu verändern. In der Evaluationspraxis und -forschung ist das Thema gerade erst im Begriff, größere und regelmäßigere Aufmerksamkeit zu erlangen – unter anderem ausgelöst durch den Hype um Large Language Models wie den Text Roboter Chat GPT.  Die beiden DeGEval-Arbeitskreise „Methoden in der Evaluation“ und „Professionalisierung“ haben dieses dynamische und hoch aktuelle Thema aufgegriffen und verschiedene Veranstaltungsformate dazu organisiert. Weitere Informationen finden sich hier.

Die Entwicklung von Künstlicher Intelligenz (KI) hat das Potenzial, den Berufsstand der Evaluation stark zu verändern. In der Evaluationsforschung ist das Thema aber gerade erst im Begriff, größere und regelmäßigere Aufmerksamkeit zu erlangen – unter anderem ausgelöst durch den Hype um Large Language Models wie den Text Roboter Chat GPT. In einer gemeinsamen Session „Alles ChatGPT oder was? – Chancen und Herausforderungen Künstlicher Intelligenz (KI) in der Evaluation“ setzten sich die beiden DeGEval-Arbeitskreise „Methoden in der Evaluation“ und „Professionalisierung“ mit den Chancen und Herausforderungen des Einsatzes von KI in der Evaluierungsarbeit und für Evaluierende auseinander.

Ausgehend von dem großen Interesse und positiven Feedback zur Session haben die Veranstalter:innen Alexander Kocks und Franziska Heinze vom AK Methoden sowie Jessica Prigge vom AK Professionalisierung entschieden, zu einem digitalen Follow-Up-Austausch am Dienstag, 28.11.2023 um 17:00 bis 18:30 Uhr einzuladen. Alle Interessierten – auch diejenigen, die nicht an der Session teilnehmen konnten – sind herzlich willkommen, weiter über das Thema zu diskutieren! Beim ersten Treffen soll ausgelotet werden, wie weitere Formen des Austausches (z. B. Diskussionsforen), der Information (z. B. über Einblicke in die Arbeit mit KI; Erfahrungsberichte) und Zusammenarbeit (z. B. zur Frage von Leitlinien im Umgang mit KI in der Evaluation) aussehen und organisiert werden können. Interessierte melden sich gern bis zum 24.11.2023 unter der E-Mail-Adresse ak-methoden@degeval.org, um einen Zugangslink zu erhalten.

Für diejenigen, die nicht bei der Session dabei sein konnten, findet sich untenstehend eine Zusammenfassung über Inhalte und Diskussionen sowie die offizielle Sessiondokumentation:

Session: „Alles ChatGPT oder was? – Chancen und Herausforderungen Künstlicher Intelligenz (KI) in der Evaluation“ auf der DeGEval-Jahrestagung 2023

Mit einem Kurzinput wurde in der sehr gut besuchten Session (90 Teilnehmende) zunächst ein gemeinsames Verständnis darüber hergestellt, was unter KI zu verstehen ist und reflektiert, wie und unter welchen Bedingungen KI in der Evaluation zur Anwendung kommen kann. In seinem Impulsvortrag „Künstliche Intelligenz (KI) in der Evaluierungspraxis – von der technologischen Revolution in den Arbeitsalltag“ beleuchtete Kai Rompczyk, Deutsches Evaluierungsinstitut für Entwicklungszusammenarbeit (DEval), die jüngsten Fortschritte in dem Bereich KI, insbesondere die Entwicklungen von Sprachmodellen wie ChatGPT. Mit der Erfindung des Prinzips autonom lernender und handelnder KIs, gesteigerter Rechenleistung und Datenverfügbarkeit (Big Data) sowie sinkender technischer Kosten ist die Implementierung von KIs in unterschiedlichsten Anwendungsbereichen möglich geworden und verbreitet sich rasant. In immer mehr Teilbereichen übersteigen die KIs dabei die Kompetenzen von Menschen. Rompczyk demonstrierte die Nutzungsmöglichkeiten von KIs anhand von Beispielen wie automatisierte Aufbereitung von Evidenz, Qualitätssicherung oder Durchführung von statistischen Analysen (z. B. Regressionsanalysen). Dabei machte er deutlich, dass der Einsatz von KIs in allen Evaluierungsphasen nützlich sein kann. Ein großer Mehrwert bestehe darin, dass KIs unzählige Iterationen von analytischen Aufgaben aus unterschiedlichsten Perspektiven durchführen können. Abschließend wies er auf die Risiken der KI in der Evaluierungspraxis hin. Er betonte die wachsende Spannung zwischen Big Data und Datenschutz und fragte, ob die aktuellen Methoden zum Schutz sensibler Daten noch ausreichend sind. Er warnte vor Verzerrungen und Vorurteilen, die durch die Trainingsdaten entstehen können, und der Gefahr der Intransparenz durch die Blackbox-Natur vieler KI-Modelle. Rompczyk sprach auch die Herausforderungen an, die sich aus scheinbar menschlichen Kompetenzen mit nichtmenschlichen Fehlern ergeben, und die potenzielle Erosion des Vertrauens in etablierte Wissensnetzwerke durch den Einsatz von KI-Technologien wie Deepfakes. Er betonte schließlich die Notwendigkeit, bei der Verwendung von KIs in der Evaluierungspraxis die Einhaltung von Evaluierungsstandards zu überprüfen.

Davon ausgehend ermöglichte die Session einen strukturierten Austausch in Kleingruppen zu Chancen und Risiken des Einsatzes der Technologien mit Blick auf zentrale Evaluationsstandards (Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit) sowie zur Frage, was der Einsatz von KI für unsere Professionalität und weitere Professionalisierung als Evaluierende bedeutet. Die Ergebnisse wurden anschließend im Plenum zusammengetragen:

Zahlreiche Chancen und Potenziale von KI wurden genannt. Angesichts voranschreitender technischer Entwicklungen und sich zunehmend verbessernden Leistungen von KI-Lösungen wurden viele Vorteile mit Bezug zu Nützlichkeitsstandards gesehen (z. B. Berichterstattung, umfangreichere Datenanalysen, Rechtzeitigkeit). Weitere Potenziale wurden hinsichtlich der systematischen (Fehler-)Überprüfung und Genauigkeit von Datenauswertungen, bezogen auf Automatisierungs- und damit einhergehende Kostenvorteile oder in Bezug auf Möglichkeiten der systematischen Anonymisierung oder Zugänglichkeit von Evaluationsergebnissen (Fairnessstandards) betont.

Herausforderungen von KI wurden z.T. sehr grundsätzlich diskutiert, ohne dass bereits Lösungen gefunden worden wären. Dies betrifft beispielsweise das Verhältnis von menschlicher und Algorithmen-basierter Erkenntnis oder im Anschluss an den Kurzinput die mit der Anwendung von KI einhergehende Intransparenz, die zur Einschränkung des Datenschutzes und der Nachvollziehbarkeit von Ergebnissen führen kann.

Für den Umgang mit den benannten Herausforderungen wurden erste Lösungen vorgeschlagen, die sich vor allem auf Weiterbildungs- und Schulungsbedarfe, Erfahrungsaustausch, technische Lösungen (z. B. lokales Hosting) oder die Verständigung auf die Gültigkeit von Evaluationsstandards (Transparenz, Datenschutz, Möglichkeiten und Limitationen der Technologien kennen) bezogen.

Im Hinblick auf die Evaluation als Profession wurden Folgen für das Berufsfeld antizipiert, beispielsweise Risiken in der „Wegrationalisierung“ menschlicher Arbeit, sinkende Kompetenzen und Glaubwürdigkeit von Evaluierenden oder eine Stärkung größerer Evaluierungsinstitutionen. Außerdem wurden Bedarfe der Fort- und Weiterbildung in Evaluation formuliert, einerseits zur konkreten Anwendung (wie Prompts schreiben), andererseits wird ein reflexiver Umgang mit KI eingefordert (z. B. „Fehlerquellen antizipieren“) und sie dabei auch selbst zum Evaluationsgegenstand gemacht.

Gemeinsam wurde ausblickend der Frage nachgegangen, was es braucht, um Evaluation bzw. Evaluierende im Umgang mit Chancen und Herausforderungen von KI zu stärken. Vorschläge gingen einerseits in die Richtung, Erfahrungsaustausch zu stärken und zu fördern, eine Ad-hoc-Gruppe einzurichten sowie vor allem die (Selbst-)Vergewisserung im Umgang mit Ansprüchen der Evaluationsstandards im Hinblick auf Chancen, Herausforderungen und Professionalisierungsanforderungen zu stärken.