Sie sind hier:Home»Arbeitskreise»Methoden in der Evaluation»Aktuelles

Aktuelles

We are pleased to invite you to this year's spring conference of the Woking Group "Methods in Evaluation" on Causality and Plausibility – Evaluation between Science and Practice. The conference will take place in Vienna on June 21st and 22nd and will be hosted by the Austrian Development Agency and the Department on Development Studies of the University of Vienna.

 

To register for the conference, please refer to the following site: https://www.conftool.net/ak-methoden-2019/  (Deadline for registration is 11.6.2019)

 

Description of the conference:

Today more than ever, evaluators are faced with the task of meeting the scientific and methodological demands of evaluations. A central and recurrent topic was the use of adequate methods for causality analysis, as a result of which various approaches were pointed out: In addition to the supposed gold standard of experimental approaches and quasi-experimental designs, there are now also scientific theoretical alternatives available with theory-based evaluation approaches that are not based on the investigation of a counterfactual. However, in particular causality analyses in the context of evaluations in practice are sometimes very different from scientific studies: Restrictions in the implementation of recognized methods are often seen as unavoidable with reference to a difference between science and practice and reference is made to 'plausibility' or 'plausibility considerations'. Yet, plausibility is not defined in more detail and accordingly used differently and depending on the evaluator. Ultimately, it is unclear what is meant by 'plausibility'. It is also unclear what concrete difference exists between science and (evaluation) practice, which might require plausibility, and to what extent this goes hand in hand with a lower methodological quality of evaluations.
The Spring Conference 2019 of the Working Group on Methods is intended to make a contribution to closing this definition gap. Before the overarching question of whether and how evaluations differ from scientific studies in methodological terms, the concept of plausibility will be examined from different perspectives and discussed as to the extent to which plausibility can correspond to scientific quality and which minimum standards must be met. At the same time, a discussion about potential boundaries between science and evaluation and how to overcome them should be conducted.

 

The following keynotes and presentations will guide the discussions:

  • Kick-off discussion: »Science and Practice: Views on and requirements of evaluations« Fishbowl-discussion with Sophie Zimm & Erwin Künzi, Austrian Development Agency (ADA), Prof. Dr. Antje Daniel & Alexandra Heis, IE University of Vienna. Moderation: Karin Küblböck, Austrian Foundation for Development Research (ÖFSE)

  • Prof. Dr. Conny Wunsch, University of Basel, Switzerland: »Causality and plausibility in experimental and quasi-experimental evaluations/studies«

  • Prof. Dr. Derek Beach, University of Aarhus, Danmark: »Plausibility and causal claims in theory-based studies and evaluation«

  • Dr. Jos Vaessen, IEG Methods Advisor, World Bank Group: »Evaluation design: a balancing act between feasibility, utility and scientific rigor«

 

Further information on the conference as well as the venue can be found here.

Wir freuen uns Sie hiermit zur Frühjahrstagung 2019 des AK Methoden mit dem Titel Kausalität und Plausibilität – Evaluation zwischen Wissenschaft und Praxis einladen zu können. Die Tagung wird am 21.6. und 22.6. in Wien stattfinden. Um dem Thema gerecht zu werden wird die Tagung von der Austrian Development Agency und dem Institut für Internationale Entwicklung der Universität Wien gemeinsam ausgerichtet. 

 

Zur Anmeldung für die Tagung gelangen Sie über folgenden Link: https://www.conftool.net/ak-methoden-2019/  (Anmeldeschluss ist der 11.6.2019)

 

Evaluatorinnen und Evaluatoren stehen heute mehr denn je vor der Aufgabe, den wissenschaftlichen und methodischen Ansprüche an Evaluationen gerecht zu werden. Per Definition müssen Evaluationen den Anforderungen wissenschaftlicher Güte entsprechen, sind somit ‚angewandte Wissenschaft‘. Die Frage adäquater Methodenanwendung ist Evaluierungen somit inhärent und war folglich von Beginn an Gegenstand intensiver Diskussionen. Ein zentrales und wiederkehrendes Thema betraf den Einsatz adäquater Methoden zur Kausalitätsanalyse, infolgedessen diverse Ansätze aufgezeigt wurden: Neben dem vermeintlichen Gold-Standard experimenteller Ansätze und quasi-experimentellen Designs stehen mittlerweile mit theoriebasierten Evaluationsansätzen auch wissenschaftstheoretische Alternativen zur Verfügung, die nicht auf der Untersuchung eines Kontrafaktums beruhen.
Dennoch unterscheiden sich insbesondere Kausalitätsanalysen im Rahmen von Evaluationen in der Praxis teilweise stark von wissenschaftlichen Studien: Einschränkungen in der Umsetzung anerkannter Methoden werden häufig mit Hinweis auf einen Unterschied zwischen Wissenschaft und Praxis als unumgänglich gesehen und auf ‚Plausibilität‘ bzw. ‚Plausibilitätsüberlegungen ‘verwiesen. Plausibilität wird hierbei gewissermaßen als ‚alternative Methode‘ zu den in der Wissenschaft angewandten Methoden und Designs bzw. als zulässige Alternative zu gängigen wissenschaftlichen Gütekriterien beschrieben. Durch den Bezug auf Plausibilität soll die Reliabilität und Validität von Evaluierungsergebnissen gewahrt werden. Plausibilität wird jedoch nicht näher definiert und dementsprechend unterschiedlich und in Abhängigkeit der Evaluierenden genutzt. Letztendlich ist ungeklärt, was konkret unter ‚Plausibilität‘ verstanden wird. Ungeklärt ist auch, welcher konkrete Unterschied zwischen Wissenschaft und (Evaluation-)Praxis existiert, der Plausibilität erfordern könnte, und inwieweit dies mit einer geringeren methodischen Qualität von Evaluationen einhergeht.
Zur Schließung dieser definitorischen Lücke soll die Frühjahrstagung 2019 des AK Methoden einen Beitrag leisten. Vor der übergeordneten Frage, ob und wie sich Evaluationen in methodischer Hinsicht von wissenschaftlichen Studien unterscheiden, soll aus verschiedenen fachlichen Perspektiven der Begriff der Plausibilität beleuchtet und diskutiert werden, inwieweit Plausibilität wissenschaftlicher Güte entsprechen kann und welche Mindeststandards gegeben sein müssen. Damit soll zeitgleich eine Diskussion über potentielle Grenzen zwischen Wissenschaft und Evaluation und ihrer Überwindung geleistet werden.

 

Wir freuen uns, das Tagungsthema unter anderem auf Basis der folgenden Vorträge diskutieren zu können:

  • Auftaktdialog: »Wissenschaft und Praxis: Sichtweisen auf und Anforderungen an Evaluationen« mit Sophie Zimm & Erwin Künzi, Austrian Development Agency (ADA), Prof. Dr. Petra Dannecker & Michaela Hochmuth, IE Universität Wien
  • Prof. Dr. Conny Wunsch, Universität Basel, Schweiz: »Causality and plausibility in experimental and quasi-experimental evaluations/studies«
  • Prof. Dr. Derek Beach, University of Aarhus, Dänemark: »Plausibility and causal claims in theory-based studies and evaluation«
  • Dr. Jos Vaessen, IEG Methods Advisor, World Bank Group: »Evaluation design: a balancing act between feasibility, utility and scientific rigor«

Detaillierte Informationen zum Programm sowie Informationen zum Tagungsort finden Sie hier.

Prof. Dr. Alexandra Caspari

Evaluationsforschung, Methoden der empirischen Sozialforschung und Statistik Fachbereich 4, Soziale Arbeit und Gesundheit
Frankfurt University of Applied Sciences
Nibelungenplatz 1,
D-60318 Frankfurt am Main
Tel.: +49 (0)69 1533 2660
E-Mail: caspari@fb4.fra-uas.de

Dr. Jan Tobias Polak

Senior Evaluator/Teamleiter
Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)
Fritz-Schäffer-Str. 26
53113 Bonn
Tel.: +49 (0)228 336 907 967
E-Mail: tobias.polak@deval.org