Zum Inhalt der Seite springen

Bisherige Aktivit├Ąten

des AK Methoden in der Evaluation

K├╝nstliche Intelligenz (KI) in der Evaluation

Die Entwicklung von K├╝nstlicher Intelligenz (KI) hat das Potential, den Berufsstand der Evaluation stark zu ver├Ąndern. In der Evaluationspraxis und -forschung ist das Thema aber gerade erst im Begriff, gr├Â├čere und regelm├Ą├čigere Aufmerksamkeit zu erlangen ÔÇô unter anderem ausgel├Âst durch den Hype um Large Language Models wie den Text Roboter Chat GPT.

Die beiden DeGEval-Arbeitskreise ÔÇ×Methoden in der EvaluationÔÇť und ÔÇ×ProfessionalisierungÔÇť haben das Thema aufgegriffen und wollen den Austausch dazu bef├Ârdern.

Ausgehend von dem gro├čen Interesse und positiven Feedback zur Session ÔÇ×Alles ChatGPT oder was? ÔÇô Chancen und Herausforderungen K├╝nstlicher Intelligenz (KI) in der EvaluationÔÇť auf der 26. Jahrestagung der DeGEval (siehe unten) organisierten die Veranstalter:innen Alexander Kocks und Franziska Heinze vom AK Methoden sowie Jessica Prigge vom AK Professionalisierung einen Online-Austausch zu KI in der Evaluation am 28. November 2023. Bei dem Treffen sollte u. a. ausgelotet werden, wie weitere Formen des Austausches (z. B. Diskussionsforen), der Information (z. B. ├╝ber Einblicke in die Arbeit mit KI; Erfahrungsberichte) und Zusammenarbeit (z. B. zur Frage von Leitlinien im Umgang mit KI in der Evaluation) aussehen und organisiert werden k├Ânnen.

Zum Weiterlesen:

Im Rahmen einer gemeinsamen Session beider Arbeitskreise ÔÇ×Alles ChatGPT oder was? ÔÇô Chancen und Herausforderungen K├╝nstlicher Intelligenz (KI) in der EvaluationÔÇť auf der 26. Jahrestagung der DeGEval - Gesellschaft f├╝r Evaluation e.V. am 14. September 2023 in Magdeburg wurde ausf├╝hrlich ├╝ber Chancen und Herausforderungen des Einsatzes von KI in der Evaluierungsarbeit und f├╝r Evaluierende diskutiert.

Zum Weiterlesen:

ÔÇ×Nothing as practical as good theoryÔÇť ÔÇô Theoriebildung in der Evaluation im Spannungsfeld von Erkl├Ąrungsanspruch, ├ťberpr├╝fbarkeit und Praxistauglichkeit

Dokumentation Fr├╝hjahrstagung 2023

Die Fr├╝hjahrstagung 2023 des AK Methoden in der Evaluation fand in Zusammenarbeit mit dem Statistischen Bundesamt (Destatis) als Pr├Ąsenzveranstaltung am 19. und 20. Juni 2023 in Wiesbaden statt.

In Evaluationen werden unterschiedliche Erwartungen an die Rolle und Funktion von Theorien gerichtet. Als gegenstandsbezogene Theorien sollen sie erstens erkl├Ąren, wie und warum eine Intervention (nicht) wirkt. Gegenstandsbezogene Theorien bilden zweitens die Basis f├╝r die empirische Untersuchung von Programmen bzw. Interventionen. Sie r├╝cken in den Blick, welche Aspekte empirisch zu untersuchen sind und strukturieren die Wahl des Evaluationsdesigns. Drittens stellen gegenstandsbezogene Theorien mit den in sie eingelassenen Ma├čst├Ąben und Erkenntnishorizonten die Grundlage f├╝r die Bewertung von Programmen bzw. Interventionen dar. Sie k├Ânnen zudem, viertens, als Verst├Ąndigungsgrundlage im Stakeholderprozess dienen, dabei das Aushandeln von Zielen und Fragen erleichtern sowie eine bessere Kooperation und geteilte Sichtweisen auf die Funktionsweise und Umsetzung von Programmen f├Ârdern (Hense/Taut 2021).

Diesen vielseitigen und komplexen Anspr├╝chen an Theorien widmete sich die Fr├╝hjahrstagung 2023. Im Zentrum der Tagung standen dabei u. a. die Rolle und G├╝te gegenstandsbezogener Theorien in der Evaluation und Fragen danach, wie sich Theorie und Evaluationsdesign wechselseitig bedingen, welche methodischen Implikationen sich aus der jeweiligen Theorie f├╝r das Evaluationsdesign ergeben, wo Grenzen der Theoriebildung und -testung liegen und welchen Anforderungen bzw. Herausforderungen sich Theorien im Stakeholderprozess stellen.

Die AK-Sprecher:innen, Dr. Alexander Kocks und Dr. Franziska Heinze, er├Âffneten die Tagung und leiteten inhaltlich in das Tagungsthema ein. Im anschlie├čenden Gru├čwort der gastgebenden Institution stellte Christoph Unger, Vizepr├Ąsident des Statistischen Bundesamtes (Destatis), u. a. die vielf├Ąltigen Aufgaben der Datenerhebung aufseiten des Statistischen Bundesamtes und die unterst├╝tzenden und beratenden Aufgaben der hier angesiedelten Kompetenzstelle der Bundesregierung f├╝r Evaluierung im Dienstleistungszentrum f├╝r Bessere Rechtsetzung dar. Er betonte die Bedeutung von Theorien als ÔÇ×das Fundament einer guten EvaluierungÔÇť sowie damit verbunden die besondere Relevanz des Tagungsthemas f├╝r die Evaluation.

Die Keynote von Prof. Dr. Jan Hense adressierte die Frage, inwiefern die zahlreichen Anspr├╝che an Wirkmodelle bzw. Programmtheorien in der derzeitigen Evaluationspraxis eingel├Âst werden und welche Potenziale bislang wenig genutzt erscheinen. Dabei schlug er einen Bogen von den Anf├Ąngen programmtheoriebasierter Evaluationsans├Ątze zu Desideraten f├╝r die Weiterentwicklung der gegenw├Ąrtigen Evaluationspraxis. Dabei betonte er zugleich die Notwendigkeit eines realistischen Erwartungsmanagements bei der Nutzung von Wirkungsmodellen. In den nachfolgenden Inputs reflektierte zun├Ąchst Dr. Anna von Werthern, was genau es bedeute, eine Programmtheorie zu erarbeiten, was es mit der Theorie hinter der Programmtheorie auf sich hat und wie sich eine Programmtheorie praxisnah und effizient nutzen l├Ąsst. Dr. Martin Bruder widmete sich anschlie├čend am Beispiel einer Evaluation des ÔÇ×weltw├ĄrtsÔÇť-Freiwilligendienstes der Frage, wie sich ├╝ber Theory Knitting (ÔÇ×TheoriestrickenÔÇť) sozialwissenschaftliche Theorien und Programmtheorien in der evaluatorischen T├Ątigkeit miteinander verschr├Ąnken lassen, um profunde Erkenntnisse ├╝ber die jeweiligen Wirkzusammenh├Ąnge zu erlangen. Den Abschluss des offiziellen Programms des ersten Tages bildete das Treffen des Arbeitskreises Methoden in der Evaluation.

Am zweiten Tagungstag folgten Inputs von Dr. Jan Gellermann und Norbert Knoll. Dr. Jan Gellermann widmete sich in seinem Beispiel aus der Evaluation eines Coaching-Angebots f├╝r Langzeitarbeitslose der Frage, wie ein Mixed Methods-Design dazu beitragen kann, die gegenstandsbezogene Programmtheorie zu sch├Ąrfen, zu verfeinern und damit letztlich zur Weiterentwicklung des Programms beitragen kann. Norbert Knoll veranschaulichte anhand der Evaluation von ├Âsterreichischen F├Ârderungsprogrammen f├╝r Unternehmen, dass es notwendig sei, die unterschiedlichen Zielstellungen der beteiligten Stakeholdergruppen in Programmtheorie und Evaluierungsdesign einzufangen. So k├Ânnen Lerneffekte generiert werden, die f├╝r die Programmweiterentwicklung in Wert gestellt werden k├Ânnen. Zum Abschluss diskutierten die Referierenden gemeinsam mit dem Publikum Good Practices bei der Nutzung von Programmtheorien im Stakeholderprozess. Die Notwendigkeit von Mindeststandards in der Theorieformulierung und -├╝berpr├╝fung wurde dabei ebenso reflektiert wie konkrete Lernerfahrungen und Tipps bez├╝glich einer Stakeholdergerechten (und partizipativen) Theorieformulierung und -vermittlung. Dank der engagierten Mitwirkung aller Teilnehmenden leuchtete die Tagung das Spannungsfeld von Erkl├Ąrungsanspruch, ├ťberpr├╝fbarkeit und Praxistauglichkeit von Theorien in Evaluationen aus und generierte damit einen Mehrwert sowohl f├╝r die ÔÇ×EvaluierungspraktikerÔÇť als auch die ÔÇ×EvaluierungstheoretikerÔÇť ÔÇô so das Credo der Teilnehmenden.

 

Pr├Ąsentationen der Vortr├Ąge:

Weitere Dokumentation:

Fr├╝hjahrstagung 2022: Der Mix macht was?! Potenziale und Herausforderungen von Methodenintegration in Evaluationen

Die Fr├╝hjahrstagung 2022 findet vom 30.6.-1.7.2022 als virtuelle Tagung statt und wird vom Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) ausgerichtet.

Die Anforderung der Kombination quantitativer und qualitativer Methoden der Sozialforschung ist nahezu so alt wie die Sozialforschung selbst. In Evaluationen wird dagegen erst seit Ende der 1980er Jahre beziehungsweise Anfang der 1990er Jahre die Kombination quantitativer und qualitativer Methoden als eigenst├Ąndige Strategie f├╝r die Entwicklung von Evaluationsdesigns beachtet (Mertens 2017). Mittlerweile gilt die Methodenintegration als gute Praxis von Evaluationen und so findet sich in vielen Ausschreibungen von Evaluationen die Anforderung, methodenintegrativ vorzugehen.

Zugleich ver├Ąndern sich aber auch die Anspr├╝che an sowie die Kontexte von Evaluationen. Illustrieren l├Ąsst sich dies anhand des zunehmenden Komplexit├Ątsgrades von Evaluationen, bis hin zu sogenannten wicked problems (Patton 2011, Mertens 2015).
Vor dem Hintergrund zunehmender Komplexit├Ąt von Evaluierungsgegenst├Ąnden und des damit verbundenen Rufs nach mehr Methodenintegration stellt sich die Frage, wie Methodenintegration in komplexen Evaluationen umgesetzt werden kann, um ihr Potenzial bestm├Âglich in Wert zu setzen. Zugleich stellt sich aber auch die Frage nach den Herausforderungen der Methodenintegration in der Praxis.

Im Rahmen der Fr├╝hjahrstagung 2022 stehen diese Fragen im Mittelpunkt, indem methodologische Grundlagen und anwendungsorientierte Beispiele vorgestellt und diskutiert werden.


 

Pr├Ąsentationen der Vortr├Ąge:

 

Weitere Dokumentation:

  • Eine detaillierte ├ťbersicht ├╝ber das Programm der Fr├╝hjahrstagung ist hier zug├Ąnglich: LINK
  • Ausf├╝hrliche Informationen ├╝ber die Vortr├Ąge und die Vortragenden erhalten Sie hier: LINK

Fr├╝hjahrstagung 2021: Prospektive Elemente in Evaluationen ÔÇô Prognosen und Prophezeiungen

Die Fr├╝hjahrstagung 2021 fand vom 10.-12.06.2021 als virtuelle Tagung statt und wurde von der Deutschen Hochschule der Polizei (DHPol) ausgerichtet.

Die Frage der Vorhersage spielt in Evaluationen sehr h├Ąufig eine wichtige Rolle: In prospektiven Evaluationsans├Ątzen oder ex-ante-Evaluationen ist die Vorhersage Kernbestandteil des Erkenntnisinteresses. Diese Ans├Ątze sollen vor Beginn einer Intervention eine Einsch├Ątzung der potenziellen Wirksamkeit dieser Intervention erm├Âglichen. Sie sollen einen Beitrag dazu leisten, die bestm├Âgliche Vorgehensweise zur Bew├Ąltigung eines Problems bzw. die bestm├Âgliche Ausgestaltung der Intervention zu identifizieren. Ein exemplarisches Anwendungsgebiet ist die prospektive Gesetzesfolgenabsch├Ątzung.

Aber auch bei Zwischen- oder ex-post-Evaluationen ist die Vorhersage ÔÇô hier meist implizit ÔÇô von Bedeutung: Empfehlungen in Evaluationen werden meist auf Basis von Methoden erstellt, die zur├╝ckblickend die Umsetzung von Interventionen untersuchen. Obwohl diese Empfehlungen zukunftsgerichtet sind, findet selten eine empiriegeleitete Entwicklung von Empfehlungen statt, beispielsweise indem unterschiedliche Zukunftsszenarien entwickelt werden. Dabei gibt es in der empirischen Sozialforschung neuere Verfahren, die es erm├Âglichen, zuk├╝nftige Entwicklungen und Szenarien empirisch zu modellieren bzw. formulieren. Mit der Zukunftsforschung hat sich in der sozialwissenschaftlichen Debatte sogar ein eigenes Feld etabliert, das sich mit der empirisch basierten Vorhersage von wahrscheinlichen Zukunftsentwicklungen auseinandersetzt.

Die Fr├╝hjahrstagung 2021 des AK Methoden soll einen Beitrag dazu leisten, bisherige Erfahrungen aus Evaluation und Wissenschaft ├╝ber prospektive Methoden zu b├╝ndeln und M├Âglichkeiten zu identifizieren, wie bestehende Verfahren und Ans├Ątze der prospektiven Forschung verst├Ąrkt f├╝r Evaluationen nutzbar gemacht werden k├Ânnen.



Pr├Ąsentationen der Vortr├Ąge:

 

Weitere Dokumentation:

  • Eine detaillierte ├ťbersicht ├╝ber das Programm der Fr├╝hjahrstagung ist hier zug├Ąnglich: LINK