Zum Inhalt der Seite springen

Methoden in der Evaluation

Arbeitskreis in der Gesellschaft f├╝r Evaluation

Ausgangs- und Problemlage
 

St├Ąrker als in der universit├Ąren Forschung ÔÇô in der inhaltliche Fragen nach methodischen Vorlieben bearbeitet werden k├Ânnen ÔÇô muss der Prozess der methodischen Arbeit in der Evaluation sich strikt an den Erfordernissen des jeweiligen Untersuchungsgegenstandes orientieren. Das bedeutet, dass entsprechende methodische Kompetenzen und die zu ihrer Anwendung erforderliche Offenheit konstitutive Elemente des Handelns bei der Evaluation sein m├╝ssen.

Damit sind zwei elementare Gr├╝nde zur Etablierung eines Methodenarbeitskreises genannt. Dabei bedeutet ÔÇ×OffenheitÔÇť, dass in dem Kreis ein Austausch nicht nur ├╝ber Forschungsmethoden stattfinden soll, sondern auch ├╝ber andere Arten von evaluativen Verfahren (etwa: entscheidungstheoretische oder beteiligungsorientierte Bewertungsverfahren). Unter ÔÇ×methodischer KompetenzÔÇť wiederum wird hier verstanden, dass ÔÇô anders als in der Grundlagenforschung ÔÇô in der auftragsbasierten Evaluation unter dem Handlungsdruck der Praxis oft eine perfekte L├Âsung nicht umgesetzt werden kann, sondern ├Âkonomisch vertretbare und pragmatisch handhabbare Abk├╝rzungsverfahren gefunden werden m├╝ssen. Die Vertretbarkeit solcher Abk├╝rzungsverfahren, die in der Literatur zunehmend diskutiert werden, und ihre Abgrenzung gegen├╝ber schlechter, pseudowissenschaftlicher Evaluationspraxis muss ein ebenso wichtiges Anliegen f├╝r in der Evaluation T├Ątige und Auftraggebende sein, wie die Anwendung allgemein akzeptierter wissenschaftlich begr├╝ndeter Qualit├Ątskriterien im Handlungsfeld Evaluation.

Insgesamt gilt, dass auf dem sehr weiten und interdisziplin├Ąren Feld empirischer Forschungsmethoden und der Methodologie empirischer Sozial- und Verhaltensforschung in den letzten Jahrzehnten rapide Entwicklungen und bedeutsame Debatten stattgefunden haben. Diese betreffen einerseits die Entwicklung fortgeschrittener und teilweise recht komplexer Verfahren der Datenerhebung und Datenauswertung und andererseits konzeptuelle und grunds├Ątzliche Fragen wie etwa das Verh├Ąltnis qualitativer und quantitativer Methoden. Viele dieser Entwicklungen sind f├╝r Evaluation als berufliche Praxis und wissenschaftlich begr├╝ndete T├Ątigkeit von unmittelbarer Relevanz: Dies gilt etwa f├╝r die zunehmende Verf├╝gbarkeit von EDV-gest├╝tzten, statistisch anspruchsvollen, aber oft leicht zu implementierenden Datenanalysetechniken (deren Anwendungsvoraussetzungen aber sehr komplex sein k├Ânnen), das betrifft weiterhin Debatten ├╝ber ÔÇ×Hierarchien der EvidenzÔÇť und ÔÇ×evidence based practiceÔÇť u.a.m.

Von diesen Entwicklungen angeregt, oder auch unabh├Ąngig davon, finden in wissenschaftlichen Einzeldisziplinen immer wieder intensive Debatten ├╝ber wissenschaftlich begr├╝ndete Standards f├╝r gute und vertretbare Forschung statt. Die ÔÇ×DeGEval ÔÇô Gesellschaft f├╝r EvaluationÔÇť muss hier selber t├Ątig werden, um als ein sichtbarer Akteur an Debatten ├╝ber Methoden in der Evaluation teilzunehmen und um gleicherma├čen wissenschaftlich vertretbare und pragmatisch umsetzbare Standards und Qualit├Ątskriterien zu diskutieren und in der Fach├Âffentlichkeit zu vertreten. Die wesentliche Aufgabe eines AK ÔÇ×Forschungsmethoden in der EvaluationÔÇť w├Ąre demnach der offene Austausch ├╝ber Evaluationsmethoden ├╝ber einzelne inhaltliche Evaluationsfelder hinweg.
 

Ziele des Arbeitskreises
 

Der Arbeitskreis wird den aktuellen Stand der Methodendiskussion, der Methodenentwicklung und anderer Bewertungsverfahren in relevanten Fachdisziplinen (Psychologie, Statistik, Soziologie, ├ľkonomie, Medizin, Pflegewissenschaften u.a.m.), insoweit dieser Stand f├╝r Evaluation von Relevanz ist, aufarbeiten, diskutieren und so auch die unterschiedlichen Fachdisziplinen in Austausch miteinander bringen. Im Zentrum der Aufmerksamkeit stehen dabei G├╝testandards und Qualit├Ątskriterien von Evaluationsmethoden. Im Sinne der aus der evidenzbasierten Medizin bekannten ÔÇ×Hierarchie der EvidenzÔÇť sollen dabei best practices und akzeptable good practices identifiziert werden und die Geltungsreichweite von Aussagen, die mit Verfahren unterschiedlicher methodischer Strenge und Komplexit├Ąt formuliert werden k├Ânnen, vergleichend bestimmt werden. Damit soll die Bandbreite wissenschaftlich vertretbarer Evaluationsmethoden in zwei Richtungen abgegrenzt werden: einerseits gegen├╝ber zeit- und personalintensiven, hochkomplexen methodischen Verfahren, die vor allem in der wissenschaftlichen Grundlagenforschung einen Platz haben und andererseits gegen├╝ber ÔÇ×FolkloremethodenÔÇť der Praxis, denen methodische Kontrolle weitgehend fehlt. F├╝r in der Evaluationsforschung T├Ątige ebenso wie f├╝r Auftraggebende und an den Evaluationsergebnissen Interessierte sollen auf diese Weise Brauchbarkeit und Erkenntnisgrenzen unterschiedlicher methodischer Ans├Ątze verdeutlicht werden.
 

Eine ausf├╝hrliche Beschreibung der Arbeit des AK Methoden ist in der Zeitschrift f├╝r Evaluation Heft 02/2017 erschienen und kann unter diesem Link eingesehen werden. 

Kontakt

zum AK Methoden in der Evaluation

AK-Sprecher:innen

Dr. Alexander Kocks

Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)
alexander.kocks-at-deval.org

Dr. Franziska Heinze

Deutsches Jugendinstitut e.V. (DJI)
heinze-at-dji.de