Sie sind hier:Home»Arbeitskreise»Methoden in der Evaluation»Dokumentation Frühjahrstagungen

Dokumentation Frühjahrstagungen

Frühjahrstagung 2019 AK Methoden: Kausalität und Plausibilität – Evaluation zwischen Wissenschaft und Praxis

Die Frühjahrstagung 2019 fand am 21./22.6.2018 in Wien statt und wurde von der Austrian Development Agency und dem Institut für Internationale Entwicklung der Universität Wien gemeinsam ausgerichtet.

Evaluatorinnen und Evaluatoren stehen heute mehr denn je vor der Aufgabe, den wissenschaftlichen und methodischen Ansprüche an Evaluationen gerecht zu werden. Per Definition müssen Evaluationen den Anforderungen wissenschaftlicher Güte entsprechen, sind somit ‚angewandte Wissenschaft‘. Die Frage adäquater Methodenanwendung ist Evaluierungen somit inhärent und war folglich von Beginn an Gegenstand intensiver Diskussionen. Ein zentrales und wiederkehrendes Thema betraf den Einsatz adäquater Methoden zur Kausalitätsanalyse, infolgedessen diverse Ansätze aufgezeigt wurden: Neben dem vermeintlichen Gold-Standard experimenteller Ansätze und quasi-experimentellen Designs stehen mittlerweile mit theoriebasierten Evaluationsansätzen auch wissenschaftstheoretische Alternativen zur Verfügung, die nicht auf der Untersuchung eines Kontrafaktums beruhen.

Dennoch unterscheiden sich insbesondere Kausalitätsanalysen im Rahmen von Evaluationen in der Praxis teilweise stark von wissenschaftlichen Studien: Einschränkungen in der Umsetzung anerkannter Methoden werden häufig mit Hinweis auf einen Unterschied zwischen Wissenschaft und Praxis als unumgänglich gesehen und auf ‚Plausibilität‘ bzw. ‚Plausibilitätsüberlegungen ‘verwiesen. Plausibilität wird hierbei gewissermaßen als ‚alternative Methode‘ zu den in der Wissenschaft angewandten Methoden und Designs bzw. als zulässige Alternative zu gängigen wissenschaftlichen Gütekriterien beschrieben. Durch den Bezug auf Plausibilität soll die Reliabilität und Validität von Evaluierungsergebnissen gewahrt werden. Plausibilität wird jedoch nicht näher definiert und dementsprechend unterschiedlich und in Abhängigkeit der Evaluierenden genutzt. Letztendlich ist ungeklärt, was konkret unter ‚Plausibilität‘ verstanden wird. Ungeklärt ist auch, welcher konkrete Unterschied zwischen Wissenschaft und (Evaluation-)Praxis existiert, der Plausibilität erfordern könnte, und inwieweit dies mit einer geringeren methodischen Qualität von Evaluationen einhergeht.

Die Frühjahrstagung 2019 des AK Methoden sollte einen Beitrag zur Schließung dieser definitorischen Lücke leisten. Vor der übergeordneten Frage, ob und wie sich Evaluationen in methodischer Hinsicht von wissenschaftlichen Studien unterscheiden, wurde aus verschiedenen fachlichen Perspektiven der Begriff der Plausibilität beleuchtet und diskutiert, inwieweit Plausibilität wissenschaftlicher Güte entsprechen kann und welche Mindeststandards gegeben sein müssen. Damit wurde zeitgleich über potentielle Grenzen zwischen Wissenschaft und Evaluation und ihrer Überwindung diskutiert.

 

Präsenationen der Vorträge:

 

Weitere Dokumentation:

  • Eine detaillierte Übersicht über das Programm der Frühjahrstagung ist hier zugänglich: LINK

 

Bilder der Tagung:

 
 

 

   

 

Zuletzt geändert: 26. July 2019

Frühjahrstagung 2018 des Arbeitskreises Methoden am 22./23. Juni 2018 in Bonn

Potentiale und Grenzen von Big Data in Evaluationen

Die Frühjahrstagung 2018 fand am 22./23.6.2018 in Bonn statt und wurde vom Nationalen Zentrum für Kriminalprävention (NZK) ausgerichtet.

Keinem anderen Ansatz wird derzeit ein ähnlich großes Potential zugesprochen, wenn es um die Weiterentwicklung von Evaluierungsansätzen geht, wie Big Data. Gleichzeitig nutzen Evaluationen bis dato nur sehr selten neue Datenquellen als empirische Basis. Diese Diskrepanz zu erklären, ist Ziel der Frühjahrstagung 2018 des Arbeitskreises Methoden in der DeGEval. In den vergangenen 10 bis 15 Jahren sind eine Reihe von neuen Datenquellen entstanden, die das Potential haben, Probleme der Datenerhebung im Rahmen von Evaluierungen zu lösen: Menschen hinterlassen immer mehr elektronische Spuren, rezipieren und produzieren elektronischen Content oder lassen ihr alltägliches Handeln, z. B. durch Bewerbungsprofile, verfolgen. Somit lässt sich das tatsächliche Handeln von Menschen statistisch verfassen – ohne dass auf selbstberichtetes Verhalten im Rahmen von Fragebögen zurückgegriffen oder ein reaktives Verfahren wie die Beobachtung verwendet werden muss. Auch lassen sich erstmals Aspekte untersuchen, die zuvor nur schwer erfassbar waren – beispielsweise umfassende elektronische Freundschaftsnetzwerke. Auch Einstellungen, Werte, Normen können somit untersucht werden. Big Data verspricht zudem, schnell und unkompliziert Daten bereitzustellen und zeitnah empirische Evidenz als Entscheidungsgrundlage zu liefern.

Vor diesem Hintergrund stellt sich die Frage, warum Big Data in vergleichsweise wenigen Evaluierungen angewandt wird. Um dieser Frage nachzugehen, werden im Rahmen der Frühjahrstagung 2018 die Potentiale von Big Data systematisch erarbeitet. Es werden Grenzen der Anwendung von Big Data in Evaluierungen diskutiert und Fragestellungen und Gegenstände identifiziert, bei denen der Einsatz von Big Data zielführend sein kann. Außerdem sollen Voraussetzungen und Hindernisse für die praktische Anwendung von Big Data diskutiert werden.

Präsentationen der Vorträge:

 

Weitere Dokumentation:

  • Ausführliche Informationen über die Vorträge und die Vortragenden erhalten sie hier: LINK
  • Eine detaillierte Übersicht über das Programm der Frühjahrstagung ist hier zugänglich: LINK

 

Bilder der Tagung:

 

 

Zuletzt geändert: 07. December 2018

Frühjahrstagung 2017 des Arbeitskreises Methoden am 9./10. Juni 2017 in Bonn

Mechanismen als Alternative zu kausaler Attribution – Aktuelle (Weiter-)Entwicklungen von Evaluationsmethodologien

Die Frühjahrstagung 2017 fand am 9./10.6.2017 in Bonn statt und wurde vom Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) ausgerichtet.

In der internationalen Evaluationsforschung wird seit einiger Zeit vermehrt auf Mechanismen Bezug genommen. Mechanismen werden dabei als Möglichkeit gesehen, Zusammenhänge detailliert zu erklären – somit die „Black Box“ von Interventionen zu öffnen – und darüber Kausalität abzuleiten ohne ein (quasi-)experimentelles Design anzuwenden. Dieses Verständnis von Mechanismen als kausale Mechanismen wird vor allem in theoriebasierten Evaluierungsansätzen, wie der Realist Evaluation, vertreten. In der deutschen Evaluationslandschaft wird bislang noch wenig expliziter Bezug auf Mechanismen genommen. Die Frühjahrstagung 2017 sollte deshalb zunächst dazu beitragen, den aktuellen Stand der internationalen Debatte wiederzugeben. Dazu sollte das Verständnis von Mechanismen in theoriebasierten Evaluationen vorgestellt werden. Zudem wurden alternative methodische Herangehensweisen an Mechanismen dargestellt und diskutiert. Übergeordnetes Ziel der Frühjahrstagung war es, die Nützlichkeit einer auf Mechanismen basierenden Evaluation vor dem Hintergrund beschränkter Ressourcen zu diskutieren.

Präsentationen der Vorträge:

 

Weitere Dokumentation:

 

Bilder:

Zuletzt geändert: 15. August 2018

Frühjahrstagung 2016 des Arbeitskreises Methoden am 20./21. Mai 2016 in Bonn

Zur Qualität qualitativer Sozialforschung in der Evaluation – Möglichkeiten und Grenzen

Die Frühjahrstagung 2016 des AK Methoden in der Evaluation fand am 20. und 21. Mai 2016 in Bonn statt. Gastgeberin der Tagung war die Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH. Die Frühjahrstagung 2016 wurde in Kooperation mit dem Nachwuchsnetzwerk der DeGEval durchgeführt. Als zweiter Teil der Tagung fand das Praxis- und Forschungskolloquium des Nachwuchsnetzwerks der DeGEval satt.  

Obwohl die meisten Evaluationen zu einem großen Teil mit qualitativen Methoden arbeiten, wurde die Frage nach deren Qualität bisher kaum betrachtet. Im Rahmen der Frühjahrstagung des AK Methoden sollen daher in Fortführung der Frühjahrstagungen 2013 und 2014 dezidiert die Möglichkeiten und Grenzen guter qualitativer Sozialforschung im Kontext von Evaluationen betrachtet werden. Gemeinsam wollen wir qualitative Sozialforschung im Spannungsfeld zwischen Theorie und Praxis diskutieren sowie Möglichkeiten und Grenzen angemessener Lösungen für die Evaluationspraxis identifizieren. Hierbei soll etwa der Frage nachgegangen werden, welche Mindestanforderungen in der Umsetzung qualitativer Methoden notwendig und in der Evaluationspraxis machbar sind. So stellt sich z.B. die Frage, inwieweit eine Mitschrift ausreichend ist oder Interviews mitgeschnitten und gar transkribiert werden sollten. Während ein Großteil der im Rahmen von Evaluationen umgesetzten nicht standardisierter Daten einer reinen Textinterpretation unterzogen wird, stellt sich ebenso die Frage, inwieweit auch andere qualitative Zugänge für Evaluationsfragestellungen sinnvoll und geeignet sind. Neben der konkreten Frage nach Gütekriterien und Qualitätsmaßstäben soll außerdem die Rolle von qualitativen Ansätzen in Evaluationen beleuchtet werden. Auch hierbei stehen Fragen der Grenzen und Möglichkeiten qualitativer Ansätze im Mittelpunkt. 

Präsentationen der Vorträge:

 

Weitere Dokumentation:

 

Bilder der Tagung:

Zuletzt geändert: 15. August 2018

Frühjahrstagung des Arbeitskreises Methoden am 29./30. Mai 2015 in Saarbrücken

"Was heißt hier eigentlich Evidenz?" Der Gold-Standard in der Diskussion

Unter diesem Titel fand an der Hochschule für Wirtschaft und Technik des Saarlandes (htw saar) am 29./30. Mai 2015, die Frühjahrstagung des Arbeitskreises Methoden in der Evaluation statt.

Bei der Bewertung der Qualität und Validität von methodischen Designs und Ergebnissen von Evaluationen wird häufig eine "Hierarchie der Evidenz" unterstellt, bei der das randomisierte Versuchs-Kontrollgruppendesign als (nur selten erreichbares, aber als regulative Zielidee normativ sehr einflussreiches) Ideal methodischer Strenge und wissenschaftlicher Aussagekraft gilt.

Die Einsicht in die Validitätsbedrohungen und Probleme echter Experimente in den Sozialwissenschaften lässt jedoch Zweifel aufkommen, ob eine derart einfache und unilineare Hierarchie der Evidenz sinnvollerweise angenommen werden kann. Insbesondere im Rahmen der Diskussion um "Mixed Methods" in der empirischen Sozialforschung gibt es eine verstärkte Tendenz, die Beschränkungen und Schwächen unterschiedlicher (auch vermeintlich "rigoroser") Designs zu thematisieren und pluralistischere Konzepte von Evidenz vorzuschlagen.

Dokumentation des Impulsvortrags:

  • Der Impulsvortrag, auf den sich die nachfolgenden Diskussionen in den Arbeitsgruppen bezogen, wurde von Prof. Dr. Martyn Hammersley, Emeritus Professor of Educational and Social Research von der Open University Milton Keynes, gehalten. Der Vortrag liegt in verschriftlichter Form vor und kann als PDF heruntergeladen werden:  Against “gold standards” in research: on the problem of assessment criteria

 

Weitere Dokumentation:

  • Die Einladung und das Programm können hier heruntergeladen werden. 

 

Zuletzt geändert: 15. August 2018

Frühjahrstagung 2014 des Arbeitskreises Methoden am 25./26. April 2014 in Bonn

Zwischen wissenschaftlichen Gütekriterien und den Erfordernissen der Evaluationspraxis II

Die Frühjahrstagung 2014 des AK-Methoden fand am 25./26. April im Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit gGmbH (DEval) in Bonn statt.

Mit der Frühjahrstagung 2014 wurde die inhaltliche Auseinandersetzung, die in der Frühjahrstagung 2013 begann, fortgesetzt. Vor einem Jahr standen unter dem gleichen Titel quantitative Verfahren im Mittelpunkt. Mit der Tagung 2014 wurden nun qualitativ orientierte Designs näher betrachtet werden. Im Mittelpunkt stand die Rolle von wissenschaftlichen Kriterien und Standards in Evaluationsprozessen. Dies betrifft etwa Fragen nach der wissenschaftlichen Dignität und Seriösität von Methoden der Datensammlung und –auswertung, die in der Evaluationspraxis eingesetzt werden. Hiermit ist aber auch das Spannungsverhältnis angesprochen einerseits zwischen empirischer Forschung, die objektive und wertneutrale Beschreibung von Sachverhalten (etwa „Zielerreichung“) anstrebt, und Werturteilen andererseits (wie sie etwa im Begriff „Qualität“ immer schon angelegt sind). Es wurde diskutiert, wie Auftraggebende und Evaluatoren/Evaluatorinnen in diesen Spannungsverhältnissen verantwortbare und umsetzbare Standards und Lösungen für die Praxis finden können.

Präsentationen der Vorträge:

  • Elke Goltz, Helmut-Schmidt-Universität Hamburg: Bericht aus der Evaluationspraxis I: Evaluation militärischer Ausbildung.
  • Martin Noltze, Deutsches Evaluierungsinstitut der Entwicklungs­zusammenarbeit (DEval) Bonn: Bericht aus der Evaluationspraxis II: Von der Theorie des Wandels zur Überprüfung des Beitrags - Contribution Analysis bei einer komplexen Evaluierung .
  • Udo KuckartzUniversität Marburg: Qualitative Evaluation auf dem Prüfstand: Aufwand und Ertrag.
  • Iris Netwig-Gesemann, Alice-Salomon-Hochschule Berlin: Rekonstruktion, Reflexion und Bewertung - Schnittstellen zwischen dokumentarischer Evaluations- und Praxisforschung

 

Weitere Dokumentation:

  • Das Programm und die Organisatorischen Hinweise können hier heruntergeladen werden.

 

Zuletzt geändert: 15. August 2018

Frühjahrstagung 2013 des Arbeitskreises Methoden am 26./27. April 2013 in Eschborn

Zwischen wissenschaftlichen Gütekriterien und den Erfordernissen der Evaluationspraxis I 

Die Frühjahrstagung 2013 fand am 26./27.4.2013 in der der Deutschen Gesellschaft für internationale Zusammenarbeit (giz) in Eschborn statt.

In der Frühjahrstagung des AK Methoden ging es um die Rolle von wissenschaftlichen Kriterien und Standards in Evaluationsprozessen und um die Bedeutung unterschiedlicher Wissenschaftsverständnisse in diesem Kontext.
Dies betrifft etwa Fragen nach der wissenschaftlichen Dignität und Seriösität von Methoden der Datensammlung und –auswertung, die in der Evaluationspraxis eingesetzt werden. Hiermit ist aber auch das Spannungsverhältnis angesprochen einerseits zwischen empirischer Forschung, die objektive und wertneutrale Beschreibung von Sachverhalten (etwa „Zielerreichung“) anstrebt, und Werturteilen andererseits (wie sie etwa im Begriff „Qualität“ immer schon angelegt sind). Diskutiert wurde, wie Auftraggebende und Evaluatoren/Evaluatorinnen in diesen Spannungsverhältnissen verantwortbare und umsetzbare Standards und Lösungen für die Praxis finden können. Die Tagung wird sowohl Vorträge externer Referenten, einen Kurzbericht aus der Forschungspraxis und Arbeits- und Diskussionsphasen umfassen.

Dokumentation:

  • Die Präsentationen und Vortäge können hier als PDF heruntergeladen werden.
  • Das Programm und alle weiteren Informationen zur Tagung können hier herunterleladen werden: Programm_Fruehjahrstagung_AK_2013.pdf
  • Das Protokoll der Frühjahrstagung "Zwischen wissenschaftlichen Gütekriterien und den Erfordernissen der Evaluationsprakis" des AK Methoden in der DeGEval kann hier als PDF heruntergeladen werden.

 

 

Zuletzt geändert: 15. August 2018

Frühjahrstagung 2012 des AK Methoden am 13./14. April 2012 in Braunschweig

„Best Practice“ zwischen wissenschaftlichen Standards und politischer Einflussnahme 

Die Frühjahrstagung des AK-Methoden fand am 13./14. April 2012 in Braunschweig im Johann Heinrich von Thünen Institut (vTI) statt.

Evaluation vollzieht sich in der Regel in einem Feld, in dem beteiligte und betroffene Akteure mit divergierenden Interessen und unterschiedlichen Machtressourcen auf die Prozesse der Zielformulierung, Instrumentenkonstruktion, Datenerhebung, Datenanalyse und Dateninterpretation Einfluss nehmen können und wollen. Hierbei entstehen leicht Konflikte mit Qualitätskriterien von Evaluation und Evaluatoren, aber auch Auftraggeber können sich in unterschiedlichen Dilemmata zwischen organisationsbezogenen Anforderungen, ökonomisch-politischen Sachzwängen und professionellen Ansprüchen wiederfinden. Auf der Tagung wurden durch verschiedene Vorträge und in intensiver Kleingruppenarbeit typische Zwänge, die sich aus dem Spannungsverhältnis zwischen Machtstrukturen einerseits und wissenschaftlichen und professionellen Handlungsorientierungen andererseits ergeben ausgelotet, aber auch Handlungsspielräume und Strategien zur Bewältigung dieser Probleme erarbeitet.

Dokumentation:

  • Zum Tagungsprogramm
  • Das Protokoll der Frühjahrstagung des AK Methoden in der DeGEval inklusive der Prästentationen der Vorträge kann hier als PDF heruntergeladen werden. Die Präsentation von Wolfgang Meyer kann hier als PDF heruntergeladen werden.

 

 

Zuletzt geändert: 15. August 2018

Frühjahrstagung 2011 des AK Methoden in Gründung am 27./28 Mai 2011 in Hamburg

Der Arbeitskreis Methoden in Gründung veranstaltete seine Frühjahrstagung am Freitag und Samstag, den 27. und 28. Mai 2011 an der Helmut-Schmidt Universität der Bundeswehr in Hamburg.

Ein wichtiger Schwerpunkt der Tagung war die Diskussion unserer zukünftigen Schwerpunktthemen und des Arbeitsprogramms des Arbeitskreises. Hierzu konnten drei Referenten gewonnen werden, die theoretische Grundsatzpositionen formulierten, so dass eine gute Diskussionsgrundlage für die Tagung gegeben sein wird.

Dokumentation:

 

Zuletzt geändert: 15. August 2018

Prof. Dr. Alexandra Caspari

Evaluationsforschung, Methoden der empirischen Sozialforschung und Statistik Fachbereich 4, Soziale Arbeit und Gesundheit
Frankfurt University of Applied Sciences
Nibelungenplatz 1,
D-60318 Frankfurt am Main
Tel.: +49 (0)69 1533 2660
E-Mail: caspari@fb4.fra-uas.de

Dr. Jan Tobias Polak

Senior Evaluator/Teamleiter
Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)
Fritz-Schäffer-Str. 26
53113 Bonn
Tel.: +49 (0)228 336 907 967
E-Mail: tobias.polak@deval.org