Zum Inhalt der Seite springen

Bisherige Aktivitäten

des AK Methoden in der Evaluation

Künstliche Intelligenz (KI) in der Evaluation

Die Entwicklung von Künstlicher Intelligenz (KI) hat das Potential, den Berufsstand der Evaluation stark zu verändern. In der Evaluationspraxis und -forschung ist das Thema aber gerade erst im Begriff, größere und regelmäßigere Aufmerksamkeit zu erlangen – unter anderem ausgelöst durch den Hype um Large Language Models wie den Text Roboter Chat GPT.

Die beiden DeGEval-Arbeitskreise „Methoden in der Evaluation“ und „Professionalisierung“ haben das Thema aufgegriffen und wollen den Austausch dazu befördern.

Ausgehend von dem großen Interesse und positiven Feedback zur Session „Alles ChatGPT oder was? – Chancen und Herausforderungen Künstlicher Intelligenz (KI) in der Evaluation“ auf der 26. Jahrestagung der DeGEval (siehe unten) organisierten die Veranstalter:innen Alexander Kocks und Franziska Heinze vom AK Methoden sowie Jessica Prigge vom AK Professionalisierung einen Online-Austausch zu KI in der Evaluation am 28. November 2023. Bei dem Treffen sollte u. a. ausgelotet werden, wie weitere Formen des Austausches (z. B. Diskussionsforen), der Information (z. B. über Einblicke in die Arbeit mit KI; Erfahrungsberichte) und Zusammenarbeit (z. B. zur Frage von Leitlinien im Umgang mit KI in der Evaluation) aussehen und organisiert werden können.

Zum Weiterlesen:

Im Rahmen einer gemeinsamen Session beider Arbeitskreise „Alles ChatGPT oder was? – Chancen und Herausforderungen Künstlicher Intelligenz (KI) in der Evaluation“ auf der 26. Jahrestagung der DeGEval - Gesellschaft für Evaluation e.V. am 14. September 2023 in Magdeburg wurde ausführlich über Chancen und Herausforderungen des Einsatzes von KI in der Evaluierungsarbeit und für Evaluierende diskutiert.

Zum Weiterlesen:

„Nothing as practical as good theory“ – Theoriebildung in der Evaluation im Spannungsfeld von Erklärungsanspruch, Überprüfbarkeit und Praxistauglichkeit

Dokumentation Frühjahrstagung 2023

Die Frühjahrstagung 2023 des AK Methoden in der Evaluation fand in Zusammenarbeit mit dem Statistischen Bundesamt (Destatis) als Präsenzveranstaltung am 19. und 20. Juni 2023 in Wiesbaden statt.

In Evaluationen werden unterschiedliche Erwartungen an die Rolle und Funktion von Theorien gerichtet. Als gegenstandsbezogene Theorien sollen sie erstens erklären, wie und warum eine Intervention (nicht) wirkt. Gegenstandsbezogene Theorien bilden zweitens die Basis für die empirische Untersuchung von Programmen bzw. Interventionen. Sie rücken in den Blick, welche Aspekte empirisch zu untersuchen sind und strukturieren die Wahl des Evaluationsdesigns. Drittens stellen gegenstandsbezogene Theorien mit den in sie eingelassenen Maßstäben und Erkenntnishorizonten die Grundlage für die Bewertung von Programmen bzw. Interventionen dar. Sie können zudem, viertens, als Verständigungsgrundlage im Stakeholderprozess dienen, dabei das Aushandeln von Zielen und Fragen erleichtern sowie eine bessere Kooperation und geteilte Sichtweisen auf die Funktionsweise und Umsetzung von Programmen fördern (Hense/Taut 2021).

Diesen vielseitigen und komplexen Ansprüchen an Theorien widmete sich die Frühjahrstagung 2023. Im Zentrum der Tagung standen dabei u. a. die Rolle und Güte gegenstandsbezogener Theorien in der Evaluation und Fragen danach, wie sich Theorie und Evaluationsdesign wechselseitig bedingen, welche methodischen Implikationen sich aus der jeweiligen Theorie für das Evaluationsdesign ergeben, wo Grenzen der Theoriebildung und -testung liegen und welchen Anforderungen bzw. Herausforderungen sich Theorien im Stakeholderprozess stellen.

Die AK-Sprecher:innen, Dr. Alexander Kocks und Dr. Franziska Heinze, eröffneten die Tagung und leiteten inhaltlich in das Tagungsthema ein. Im anschließenden Grußwort der gastgebenden Institution stellte Christoph Unger, Vizepräsident des Statistischen Bundesamtes (Destatis), u. a. die vielfältigen Aufgaben der Datenerhebung aufseiten des Statistischen Bundesamtes und die unterstützenden und beratenden Aufgaben der hier angesiedelten Kompetenzstelle der Bundesregierung für Evaluierung im Dienstleistungszentrum für Bessere Rechtsetzung dar. Er betonte die Bedeutung von Theorien als „das Fundament einer guten Evaluierung“ sowie damit verbunden die besondere Relevanz des Tagungsthemas für die Evaluation.

Die Keynote von Prof. Dr. Jan Hense adressierte die Frage, inwiefern die zahlreichen Ansprüche an Wirkmodelle bzw. Programmtheorien in der derzeitigen Evaluationspraxis eingelöst werden und welche Potenziale bislang wenig genutzt erscheinen. Dabei schlug er einen Bogen von den Anfängen programmtheoriebasierter Evaluationsansätze zu Desideraten für die Weiterentwicklung der gegenwärtigen Evaluationspraxis. Dabei betonte er zugleich die Notwendigkeit eines realistischen Erwartungsmanagements bei der Nutzung von Wirkungsmodellen. In den nachfolgenden Inputs reflektierte zunächst Dr. Anna von Werthern, was genau es bedeute, eine Programmtheorie zu erarbeiten, was es mit der Theorie hinter der Programmtheorie auf sich hat und wie sich eine Programmtheorie praxisnah und effizient nutzen lässt. Dr. Martin Bruder widmete sich anschließend am Beispiel einer Evaluation des „weltwärts“-Freiwilligendienstes der Frage, wie sich über Theory Knitting („Theoriestricken“) sozialwissenschaftliche Theorien und Programmtheorien in der evaluatorischen Tätigkeit miteinander verschränken lassen, um profunde Erkenntnisse über die jeweiligen Wirkzusammenhänge zu erlangen. Den Abschluss des offiziellen Programms des ersten Tages bildete das Treffen des Arbeitskreises Methoden in der Evaluation.

Am zweiten Tagungstag folgten Inputs von Dr. Jan Gellermann und Norbert Knoll. Dr. Jan Gellermann widmete sich in seinem Beispiel aus der Evaluation eines Coaching-Angebots für Langzeitarbeitslose der Frage, wie ein Mixed Methods-Design dazu beitragen kann, die gegenstandsbezogene Programmtheorie zu schärfen, zu verfeinern und damit letztlich zur Weiterentwicklung des Programms beitragen kann. Norbert Knoll veranschaulichte anhand der Evaluation von österreichischen Förderungsprogrammen für Unternehmen, dass es notwendig sei, die unterschiedlichen Zielstellungen der beteiligten Stakeholdergruppen in Programmtheorie und Evaluierungsdesign einzufangen. So können Lerneffekte generiert werden, die für die Programmweiterentwicklung in Wert gestellt werden können. Zum Abschluss diskutierten die Referierenden gemeinsam mit dem Publikum Good Practices bei der Nutzung von Programmtheorien im Stakeholderprozess. Die Notwendigkeit von Mindeststandards in der Theorieformulierung und -überprüfung wurde dabei ebenso reflektiert wie konkrete Lernerfahrungen und Tipps bezüglich einer Stakeholdergerechten (und partizipativen) Theorieformulierung und -vermittlung. Dank der engagierten Mitwirkung aller Teilnehmenden leuchtete die Tagung das Spannungsfeld von Erklärungsanspruch, Überprüfbarkeit und Praxistauglichkeit von Theorien in Evaluationen aus und generierte damit einen Mehrwert sowohl für die „Evaluierungspraktiker“ als auch die „Evaluierungstheoretiker“ – so das Credo der Teilnehmenden.

 

Präsentationen der Vorträge:

Weitere Dokumentation:

Frühjahrstagung 2022: Der Mix macht was?! Potenziale und Herausforderungen von Methodenintegration in Evaluationen

Die Frühjahrstagung 2022 findet vom 30.6.-1.7.2022 als virtuelle Tagung statt und wird vom Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) ausgerichtet.

Die Anforderung der Kombination quantitativer und qualitativer Methoden der Sozialforschung ist nahezu so alt wie die Sozialforschung selbst. In Evaluationen wird dagegen erst seit Ende der 1980er Jahre beziehungsweise Anfang der 1990er Jahre die Kombination quantitativer und qualitativer Methoden als eigenständige Strategie für die Entwicklung von Evaluationsdesigns beachtet (Mertens 2017). Mittlerweile gilt die Methodenintegration als gute Praxis von Evaluationen und so findet sich in vielen Ausschreibungen von Evaluationen die Anforderung, methodenintegrativ vorzugehen.

Zugleich verändern sich aber auch die Ansprüche an sowie die Kontexte von Evaluationen. Illustrieren lässt sich dies anhand des zunehmenden Komplexitätsgrades von Evaluationen, bis hin zu sogenannten wicked problems (Patton 2011, Mertens 2015).
Vor dem Hintergrund zunehmender Komplexität von Evaluierungsgegenständen und des damit verbundenen Rufs nach mehr Methodenintegration stellt sich die Frage, wie Methodenintegration in komplexen Evaluationen umgesetzt werden kann, um ihr Potenzial bestmöglich in Wert zu setzen. Zugleich stellt sich aber auch die Frage nach den Herausforderungen der Methodenintegration in der Praxis.

Im Rahmen der Frühjahrstagung 2022 stehen diese Fragen im Mittelpunkt, indem methodologische Grundlagen und anwendungsorientierte Beispiele vorgestellt und diskutiert werden.


 

Präsentationen der Vorträge:

 

Weitere Dokumentation:

  • Eine detaillierte Übersicht über das Programm der Frühjahrstagung ist hier zugänglich: LINK
  • Ausführliche Informationen über die Vorträge und die Vortragenden erhalten Sie hier: LINK

Frühjahrstagung 2021: Prospektive Elemente in Evaluationen – Prognosen und Prophezeiungen

Die Frühjahrstagung 2021 fand vom 10.-12.06.2021 als virtuelle Tagung statt und wurde von der Deutschen Hochschule der Polizei (DHPol) ausgerichtet.

Die Frage der Vorhersage spielt in Evaluationen sehr häufig eine wichtige Rolle: In prospektiven Evaluationsansätzen oder ex-ante-Evaluationen ist die Vorhersage Kernbestandteil des Erkenntnisinteresses. Diese Ansätze sollen vor Beginn einer Intervention eine Einschätzung der potenziellen Wirksamkeit dieser Intervention ermöglichen. Sie sollen einen Beitrag dazu leisten, die bestmögliche Vorgehensweise zur Bewältigung eines Problems bzw. die bestmögliche Ausgestaltung der Intervention zu identifizieren. Ein exemplarisches Anwendungsgebiet ist die prospektive Gesetzesfolgenabschätzung.

Aber auch bei Zwischen- oder ex-post-Evaluationen ist die Vorhersage – hier meist implizit – von Bedeutung: Empfehlungen in Evaluationen werden meist auf Basis von Methoden erstellt, die zurückblickend die Umsetzung von Interventionen untersuchen. Obwohl diese Empfehlungen zukunftsgerichtet sind, findet selten eine empiriegeleitete Entwicklung von Empfehlungen statt, beispielsweise indem unterschiedliche Zukunftsszenarien entwickelt werden. Dabei gibt es in der empirischen Sozialforschung neuere Verfahren, die es ermöglichen, zukünftige Entwicklungen und Szenarien empirisch zu modellieren bzw. formulieren. Mit der Zukunftsforschung hat sich in der sozialwissenschaftlichen Debatte sogar ein eigenes Feld etabliert, das sich mit der empirisch basierten Vorhersage von wahrscheinlichen Zukunftsentwicklungen auseinandersetzt.

Die Frühjahrstagung 2021 des AK Methoden soll einen Beitrag dazu leisten, bisherige Erfahrungen aus Evaluation und Wissenschaft über prospektive Methoden zu bündeln und Möglichkeiten zu identifizieren, wie bestehende Verfahren und Ansätze der prospektiven Forschung verstärkt für Evaluationen nutzbar gemacht werden können.



Präsentationen der Vorträge:

 

Weitere Dokumentation:

  • Eine detaillierte Übersicht über das Programm der Frühjahrstagung ist hier zugänglich: LINK