Zum Inhalt der Seite springen

Aktuelles

im AK Methoden in der Evaluation

Save-the-Date: Frühjahrstagung am 6./7. Juni 2024 in Saarbrücken

„Wissen was wirkt? Voraussetzungen für erfolgreiche Wirkungsuntersuchungen in Evaluationen“

Wirkungsuntersuchungen stehen im Zentrum vieler Evaluationen. Sie sollen beispielsweise den kausalen Nachweis erbringen, ob die zu evaluierenden Maßnahmen (z.B. Programme und Projekte) effektiv, wirksam und nachhaltig sind oder aufklären, welche Wirkmechanismen wie dazu beitragen, dass Wirkungen entfaltet werden. Dafür steht den Evaluierenden grundsätzlichen ein breites Set an Methoden der empirischen Sozialforschung und weiterer Bezugsdisziplinen (z.B. der Ökonometrie) zur Verfügung: Rigorose quantitative Kausalmessverfahren wie randomisierte Kontrollgruppendesigns (RCTs) und quasi-experimentelle Methoden kommen dabei ebenso zum Einsatz wie qualitative Methoden zur Eruierung von Wirkmechanismen, zur Aufklärung von Wirkzusammenhängen oder zur Erhebung von plausiblen Wirkungen (z.B. Process Tracing, Kontributionsanalyse oder Outcome Harvesting). Mit diesen Methoden gehen spezifische Vor- und Nachteile einher: Manche Methoden erlauben eine höhere Generalisierbarkeit der Ergebnisse, mit anderen lässt sich im Sinne des verstehenden Erklärens nach Weber (1972) theoriegeleitet erklären, warum etwas wirkt oder nicht wirkt. Zudem können verschiedene Methoden im Rahmen von Mixed Method Designs (Creswell & Clark, 2011; Mertens, 2017) und Multi-Methods Designs (Goertz 2017) miteinander kombiniert werden, um ihre jeweiligen methodischen Stärken umfassend in Wert zu stellen bzw. um sowohl fallübergreifende als auch fallspezifische (vertiefende) Evidenz im Sinne des Erkenntnisinteresses zu generieren.

Die Wahl des jeweils „richtigen“ Evaluations- bzw. Methodendesigns, das für die Wirkungsuntersuchung herangezogen wird, sollte sich weder nach wissenschaftstheoretischen und methodologischen Dogmen noch allein nach den methodischen Kompetenzen der Evaluierenden richten. Entscheidend ist zuvorderst, ob das gewählte Design gegenstandsangemessen ist. Verschiedenartige Untersuchungs- bzw. Evaluationsgegenstände sowie -fragestellungen verlangen dabei unterschiedliche, auf sie angepasste Evaluationsdesigns. Dabei ist auch das jeweilige „Wirkungsinteresse“ der Stakeholder einer Evaluation zu berücksichtigen (z.B. Wirkungsnachweis vs. Erklären (nicht-)intendierter Wirkungen sowie Lernerfahrungen zu „gescheiterten“ Wirkungsannahmen, Rekonstruktion von Wirkmechanismen, ex-post-Wirkungsnachweis vs. ex-ante Wirkungsabschätzung uvm.) (Bischoff et al. 2021).

In der Frühjahrstagung 2024 widmet sich der AK Methoden in der Evaluation der Frage nach den Voraussetzungen für eine gegenstandsangemessene, erfolgreiche Wirkungsuntersuchung in Evaluationen: Welche Voraussetzungen müssen wir auf verschiedenen Ebenen berücksichtigen, damit Wirkungsuntersuchungen dem Evaluierungsgegenstand und dem Erkenntnisinteresse der Stakeholder angemessen sind? Welche Anforderungen an Gütekriterien und Evaluationsstandards müssen wirkungsorientierte Evaluationen erfüllen? Dabei reflektieren/beleuchten wir gemeinsam relevante Voraussetzungen für erfolgreiche Wirkungsuntersuchungen („Erfolgsfaktoren“) auf drei Ebenen:

Stakeholderbezogene Voraussetzungen: Wie kommen wir zu geteilten Standards und einheitlichen Verständnissen unter den Stakeholdern darüber, welche Art der Wirkungsuntersuchung für die jeweilige Evaluation angemessen ist? Wie lassen sich Stakeholderperspektiven einfangen, beispielsweise wenn Beratungen mit Stakeholdern im Vorfeld nicht möglich sind (wie z.B. bei Akkreditierungsverfahrungen)?

Gegenstands- und kontextbezogene Voraussetzungen: Wann können und sollten wir mit welchen Evaluationsansätzen, -designs und -methoden Wirkungen erfassen? Wie leiten wir aus Evaluierungsgegenstand, -fragen und -kontext systematisch ein Design für die Wirkungsuntersuchung ab? Wie können wir ein solches Design (z.B. mit Blick auf Evaluierungen in fragilen Kontexten) möglichst adaptiv oder kontextrobust gestalten? Unter welchen Bedingungen können welche Methoden zum Einsatz kommen? Was ist das „richtige“ Maß zwischen Erkenntnisnutzen und methodischem Anspruch auf der einen Seite und Machbarkeit (Ressourcen, Timing, Kontext) auf der anderen Seite? Wie identifizieren wir vorhandene Evidenzen und Evidenzlücken für die richtige Methodenwahl?

Methodische Voraussetzungen: Welche methodischen Voraussetzungen braucht es, um wirkungsorientierte Evaluationsdesigns umzusetzen? Was sind dabei wichtige Anwendungsvoraussetzungen, Mindeststandards und Gütekriterien? Welche Fehler und Biases treten bei der Anwendung bestimmter Methoden regelmäßig auf und wie kann man diesen begegnen? Wie gehen wir in methodenintegrierten Designs damit um, wenn verschiedene Methoden zu unterschiedlichen Ergebnissen führen? Wie können wir Künstliche Intelligenz sinnvoll im Rahmen der Wirkungsuntersuchungen einsetzen und was sind die Voraussetzungen hierfür?

Die Frühjahrstagung 2024 des AK Methoden in der Evaluation wird am 6./7. Juni 2024 in Saarbrücken in Zusammenarbeit mit dem lokalen Organisationsteam des Weiterbildungsstudiengangs Master Evaluation in Kooperation von Universität des Saarlandes und HTW Saar stattfinden.

Weitere Informationen zum Programm und zur Anmeldung folgen zeitnah an dieser Stelle.

 

Literatur:

Bischoff, U., Zimmermann, E., & König, F. (2021). Erkennen, was wirkt. Die Erprobung von Ansätzen der Wirkungsuntersuchung in der Evaluation von Bundesprogrammen der Demokratieförderung und Extremismusprävention und die damit gemachten Erfahrungen. In: Milbradt, B., Greuel, F., Reiter, S., & Zimmermann, E. (Hrsg.): Evaluation von Programmen und Projekten der Demokratieförderung, Vielfaltgestaltung und Extremismusprävention. Beltz Juventa, 244-268.

Creswell, J.W., & Clark, V.L. (2011): Designing and Conducting Mixed Methods Research. 2nd Edition, Sage Publications, Los Angeles.

Goertz, G. (2017): Multimethod Research, Causal Mechanisms, and Case Studies. An Integrated Approach. Princeton, NJ: Princeton University Press.

Mertens, D.M. (2017): Mixed Methods Designs in Evaluation, Sage.

Weber, M. (1972): Wirtschaft und Gesellschaft. Grundriss der verstehenden Soziologie, Tübingen.


Aktivitäten rund um das Thema Künstliche Intelligenz in der Evaluation

Die Entwicklung von Künstlicher Intelligenz (KI) hat das Potential, den Berufsstand der Evaluation stark zu verändern. In der Evaluationspraxis und -forschung ist das Thema gerade erst im Begriff, größere und regelmäßigere Aufmerksamkeit zu erlangen – unter anderem ausgelöst durch den Hype um Large Language Models wie den Text Roboter Chat GPT.  Die beiden DeGEval-Arbeitskreise „Methoden in der Evaluation“ und „Professionalisierung“ haben dieses dynamische und hoch aktuelle Thema aufgegriffen und verschiedene Veranstaltungsformate dazu organisiert. Weitere Informationen finden sich hier.


Einladung zu einem Follow-up-Austausch zum Thema Künstliche Intelligenz in der Evaluation

Die Entwicklung von Künstlicher Intelligenz (KI) hat das Potenzial, den Berufsstand der Evaluation stark zu verändern. In der Evaluationsforschung ist das Thema aber gerade erst im Begriff, größere und regelmäßigere Aufmerksamkeit zu erlangen – unter anderem ausgelöst durch den Hype um Large Language Models wie den Text Roboter Chat GPT. In einer gemeinsamen Session „Alles ChatGPT oder was? – Chancen und Herausforderungen Künstlicher Intelligenz (KI) in der Evaluation“ setzten sich die beiden DeGEval-Arbeitskreise „Methoden in der Evaluation“ und „Professionalisierung“ mit den Chancen und Herausforderungen des Einsatzes von KI in der Evaluierungsarbeit und für Evaluierende auseinander.

Ausgehend von dem großen Interesse und positiven Feedback zur Session haben die Veranstalter:innen Alexander Kocks und Franziska Heinze vom AK Methoden sowie Jessica Prigge vom AK Professionalisierung entschieden, zu einem digitalen Follow-Up-Austausch am Dienstag, 28.11.2023 um 17:00 bis 18:30 Uhr einzuladen. Alle Interessierten – auch diejenigen, die nicht an der Session teilnehmen konnten – sind herzlich willkommen, weiter über das Thema zu diskutieren! Beim ersten Treffen soll ausgelotet werden, wie weitere Formen des Austausches (z. B. Diskussionsforen), der Information (z. B. über Einblicke in die Arbeit mit KI; Erfahrungsberichte) und Zusammenarbeit (z. B. zur Frage von Leitlinien im Umgang mit KI in der Evaluation) aussehen und organisiert werden können. Interessierte melden sich gern bis zum 24.11.2023 unter der E-Mail-Adresse ak-methoden@degeval.org, um einen Zugangslink zu erhalten.

Für diejenigen, die nicht bei der Session dabei sein konnten, findet sich untenstehend eine Zusammenfassung über Inhalte und Diskussionen sowie die offizielle Sessiondokumentation:

Session: „Alles ChatGPT oder was? – Chancen und Herausforderungen Künstlicher Intelligenz (KI) in der Evaluation“ auf der DeGEval-Jahrestagung 2023

Mit einem Kurzinput wurde in der sehr gut besuchten Session (90 Teilnehmende) zunächst ein gemeinsames Verständnis darüber hergestellt, was unter KI zu verstehen ist und reflektiert, wie und unter welchen Bedingungen KI in der Evaluation zur Anwendung kommen kann. In seinem Impulsvortrag „Künstliche Intelligenz (KI) in der Evaluierungspraxis – von der technologischen Revolution in den Arbeitsalltag“ beleuchtete Kai Rompczyk, Deutsches Evaluierungsinstitut für Entwicklungszusammenarbeit (DEval), die jüngsten Fortschritte in dem Bereich KI, insbesondere die Entwicklungen von Sprachmodellen wie ChatGPT. Mit der Erfindung des Prinzips autonom lernender und handelnder KIs, gesteigerter Rechenleistung und Datenverfügbarkeit (Big Data) sowie sinkender technischer Kosten ist die Implementierung von KIs in unterschiedlichsten Anwendungsbereichen möglich geworden und verbreitet sich rasant. In immer mehr Teilbereichen übersteigen die KIs dabei die Kompetenzen von Menschen. Rompczyk demonstrierte die Nutzungsmöglichkeiten von KIs anhand von Beispielen wie automatisierte Aufbereitung von Evidenz, Qualitätssicherung oder Durchführung von statistischen Analysen (z. B. Regressionsanalysen). Dabei machte er deutlich, dass der Einsatz von KIs in allen Evaluierungsphasen nützlich sein kann. Ein großer Mehrwert bestehe darin, dass KIs unzählige Iterationen von analytischen Aufgaben aus unterschiedlichsten Perspektiven durchführen können. Abschließend wies er auf die Risiken der KI in der Evaluierungspraxis hin. Er betonte die wachsende Spannung zwischen Big Data und Datenschutz und fragte, ob die aktuellen Methoden zum Schutz sensibler Daten noch ausreichend sind. Er warnte vor Verzerrungen und Vorurteilen, die durch die Trainingsdaten entstehen können, und der Gefahr der Intransparenz durch die Blackbox-Natur vieler KI-Modelle. Rompczyk sprach auch die Herausforderungen an, die sich aus scheinbar menschlichen Kompetenzen mit nichtmenschlichen Fehlern ergeben, und die potenzielle Erosion des Vertrauens in etablierte Wissensnetzwerke durch den Einsatz von KI-Technologien wie Deepfakes. Er betonte schließlich die Notwendigkeit, bei der Verwendung von KIs in der Evaluierungspraxis die Einhaltung von Evaluierungsstandards zu überprüfen.

Davon ausgehend ermöglichte die Session einen strukturierten Austausch in Kleingruppen zu Chancen und Risiken des Einsatzes der Technologien mit Blick auf zentrale Evaluationsstandards (Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit) sowie zur Frage, was der Einsatz von KI für unsere Professionalität und weitere Professionalisierung als Evaluierende bedeutet. Die Ergebnisse wurden anschließend im Plenum zusammengetragen:

Zahlreiche Chancen und Potenziale von KI wurden genannt. Angesichts voranschreitender technischer Entwicklungen und sich zunehmend verbessernden Leistungen von KI-Lösungen wurden viele Vorteile mit Bezug zu Nützlichkeitsstandards gesehen (z. B. Berichterstattung, umfangreichere Datenanalysen, Rechtzeitigkeit). Weitere Potenziale wurden hinsichtlich der systematischen (Fehler-)Überprüfung und Genauigkeit von Datenauswertungen, bezogen auf Automatisierungs- und damit einhergehende Kostenvorteile oder in Bezug auf Möglichkeiten der systematischen Anonymisierung oder Zugänglichkeit von Evaluationsergebnissen (Fairnessstandards) betont.

Herausforderungen von KI wurden z.T. sehr grundsätzlich diskutiert, ohne dass bereits Lösungen gefunden worden wären. Dies betrifft beispielsweise das Verhältnis von menschlicher und Algorithmen-basierter Erkenntnis oder im Anschluss an den Kurzinput die mit der Anwendung von KI einhergehende Intransparenz, die zur Einschränkung des Datenschutzes und der Nachvollziehbarkeit von Ergebnissen führen kann.

Für den Umgang mit den benannten Herausforderungen wurden erste Lösungen vorgeschlagen, die sich vor allem auf Weiterbildungs- und Schulungsbedarfe, Erfahrungsaustausch, technische Lösungen (z. B. lokales Hosting) oder die Verständigung auf die Gültigkeit von Evaluationsstandards (Transparenz, Datenschutz, Möglichkeiten und Limitationen der Technologien kennen) bezogen.

Im Hinblick auf die Evaluation als Profession wurden Folgen für das Berufsfeld antizipiert, beispielsweise Risiken in der „Wegrationalisierung“ menschlicher Arbeit, sinkende Kompetenzen und Glaubwürdigkeit von Evaluierenden oder eine Stärkung größerer Evaluierungsinstitutionen. Außerdem wurden Bedarfe der Fort- und Weiterbildung in Evaluation formuliert, einerseits zur konkreten Anwendung (wie Prompts schreiben), andererseits wird ein reflexiver Umgang mit KI eingefordert (z. B. „Fehlerquellen antizipieren“) und sie dabei auch selbst zum Evaluationsgegenstand gemacht.

Gemeinsam wurde ausblickend der Frage nachgegangen, was es braucht, um Evaluation bzw. Evaluierende im Umgang mit Chancen und Herausforderungen von KI zu stärken. Vorschläge gingen einerseits in die Richtung, Erfahrungsaustausch zu stärken und zu fördern, eine Ad-hoc-Gruppe einzurichten sowie vor allem die (Selbst-)Vergewisserung im Umgang mit Ansprüchen der Evaluationsstandards im Hinblick auf Chancen, Herausforderungen und Professionalisierungsanforderungen zu stärken.