Sie sind hier:Home»Arbeitskreise»Soziale Dienstleistungen»Aktuelles

Aktuelles

Der AK SDL bei der Jahrestagung 2018

Neues Sprecher*innenteam gewählt

Am 13.09.2018 fand das Treffen des AK Soziale Dienstleistungen (SDL) im Rahmen der 21. Jahrestagung der DeGEval in Dresden statt. Neben Informationen aus der Arbeit des AK's wurde über weitere Aktivitäten beraten. Als neue Sprecher*innen des AK SDL wurden Stefanie Reiter, Olaf Lobermeier und Frank Buchheit gewählt - und Rainer Strobl* für sein bisheriges Engagement gedankt!
Das Protokoll ist hier verfügbar.

Der AK SDL beteiligte sich in zwei Sessions:

  • A6: Wirkungsorientierte Evaluation aus evaluationstheoretischer und methodischer Perspektive am Beispiel von Fallstudien (Moderation)
  • D3: Wirkmodelle praxisnah erarbeiten und für Wirkungsuntersuchungen nutzen – Potenziale und Grenzen in komplexen Mehrebenenprogrammen (AK-Session)

Zudem wurde ein aktualisiertes AK-Poster veröffentlicht.

Zuletzt geändert: 14. Oktober 2018

Wirkmodelle praxisnah erarbeiten und für Wirkungsuntersuchungen nutzen – Potenziale und Grenzen in komplexen Mehrebenenprogrammen

Session bei der 21. DeGEval-Jahrestagung, 14.09.2018

Die Session beschäftigt sich mit der Frage, welchen Beitrag die theorie- und empiriegestützte, partizipationsorientrierte Modellierung von Ziel-Interventions-Zusammenhängen im Kontext von Programmevaluationen leisten kann, um unter Einbeziehung von Programmakteuren Wirkannahmen herausarbeiten und diese als Grundlage der Analyse von Wirkzusammenhängen zu nutzen.

‚Lernende‘ sozialpolitische Programme sind nicht selten dadurch gekennzeichnet, dass zu Programmbeginn nur abstrakte Ziele formuliert, die konkreten Zielsetzungen und Ansätze zur Verfolgung dieser Ziele hingegen erst in der Programmumsetzung entwickelt werden. Hinzu kommt, dass eine multizentrische Anlage über mehrere Planungs- und Umsetzungsebenen hinweg ein komplexes Zusammenwirken vieler beteiligter Stakeholder mit sich bringt. Im Zuge der Formulierung von (abstrakten) Programm- und (konkreten) „lokalen“ Theorien sind entsprechend nicht nur Wirkannahmen auf den verschiedenen Ebenen, sondern auch das Zusammenspiel der Ebenen zu betrachten. Für Evaluierende geht damit die Herausforderung einher, einerseits nicht ohne weiteres einer Beobachtung zugängliche Wirkzusammenhänge auf mehreren Ebenen zu modellieren, um in einem nächsten Schritt entsprechende Wirkungsuntersuchungen durchführen zu können. Andererseits geht es darum, solche Modellierungen als ko-konstruktive Prozesse mit den involvierten Praktiker/innen zu gestalten und transparent zu halten, damit sie Praxisrelevanz entfalten können.

Die Herausforderungen dieser Aufgaben werden anhand der Darstellung zweier Vorgehensweisen (Logische Modellierung in Verknüpfung mit „Resonanzorterhebungen“ sowie Modellierungen mittels QCA) exemplarisch vorgestellt. Anschließend werden Möglichkeiten und Grenzen der Verknüpfung von logischen Modellen unterschiedlicher Programmebenen sowie die Rolle der Evaluierenden als „Transmitter“ zwischen den Ebenen ebenso zur Diskussion gestellt und reflektiert, wie die Potenziale empiriegestützter Modellbildung.

Logische Modellierung als Vorbereiter von Resonanzorterhebungen
Franziska Heinze, Frank König, Stefanie Reiter, Ellen Schroeter (Deutsches Jugendinstitut e.V.)

Der Vortrag reflektiert die Potenziale logischer Modellierungen für die Rekonstruktion von Ziel-Interventions-Zusammenhangsannahmen und deren Nutzung für die Erhebung von „Resonanzen“ von Akteurshandeln in der Programmumsetzung.

Am Beispiel der Evaluation eines Mehrebenenprogramms aus dem Bereich der Demokratieförderung wird erläutert, wie unter Rückgriff auf eher deduktive Methoden (bspw. Literaturrecherchen) bzw. induktive Vorgehensweisen (partizipative Erstellung mit programmumsetzenden Akteuren und mittels leitfadengestützter Interviews) logische Modellierungen der Programmumsetzung für mehrere Ebenen vorgenommen werden. Als explizierte Wirkannahmen der Einzelakteure werden die entwickelten Modelle zur Grundlage für die Identifikation von möglichen „Resonanz(ort)en“, d. h. „Orten“, an denen die Aktivitäten der Akteure Effekte für diejenigen Personen, Institutionen oder Strukturen erzeugen, die von diesen Aktivitäten erreicht bzw. tangiert werden. Der Beitrag reflektiert die Vorgehensweise in methodischer und methodologischer Hinsicht und befragt sie auch auf die ihnen inhärenten gegenstandskonstitutiven Anteile der Evaluierenden.

QCA zur partizipativen Wirkungsuntersuchung
Wolfgang Stuppert (Camino - Werkstatt für Fortbildung, Praxisbegleitung und Forschung im sozialen Bereich gGmbH)

Wie in föderalen Mehrebenenprogrammen häufig der Fall, erfordert die Umsetzung lokaler Maßnahmen, wie einer „Partnerschaft für Demokratie“, von kommunalen Akteuren, im Rahmen der Vorgaben kontextabhängige Interventionen zu entwickeln, die zu den übergeordneten Zielstellungen des Programms beizutragen vermögen. Bei dieser Übersetzungsleistung werden praxisnahe Akteure häufig von lokalen Theorien geleitet, die von asymmetrischen, deterministischen Kausalitätsannahmen geprägt sind. Solche Theorien können prinzipiell auch mit statistischen Methoden modelliert werden. Oft gelingt aber die Übersetzung der Bedingtheit der Kausalannahmen nur eingeschränkt und Fallzahlen sind zu gering, damit asymmetrische Kausalbeziehungen auf eine Weise untersucht werden können, die den Standards der Statistik Genüge tun. Diskutiert werden die Vorteile von Qualitative Comparative Analysis (QCA) gegenüber anderen Methoden unter den Bedingungen äquifinaler, asymmetrischer Kausalitätsannahmen und wenigen Vergleichsfällen. Reflektiert wird, inwiefern sich die praxisnahe Modellierung von Wirkzusammenhängen und die iterative Ausgestaltung des Forschungsprozesses in besonderer Weise für eine dezidiert partizipative Vorgehensweise in der Wirkungsuntersuchung eignen.

Die im Vortrag präsentierten QCA-basierten Modellierungen ermöglichen es praxisnahen Akteuren, den eigenen Fall in Bezug zu induktiv-gewonnen, vorläufigen Erklärungsmodellen auf Programmbereichsebene zu setzen und Entscheidungen in der lokalen Umsetzung in Abhängigkeit von Kontextbedingungen zu diskutieren. Damit sind sie geeignet, das Fallwissen lokaler Akteure für eine partizipative Fortentwicklung der Wirkungstheorie auf Programmbereichsebene zu erschließen.

Zuletzt geändert: 14. Oktober 2018

Wirkungsorientierte Evaluation aus evaluationstheoretischer und methodischer Perspektive am Beispiel von Fallstudien

Session bei der 21. DeGEval-Jahrestagung, 13.09.2018

Wirkungsanalysen sind eine zentrale Evaluationsaufgabe, aber auch eine große methodische Herausforderung, weil die Effekte oft klein sind, unterschiedliche Ursachen haben können und häufig nicht eindeutig auf bestimmte Maßnahmen zurückzuführen sind. Begreift man Wirkungen als die von den Maßnahmen verursachten Veränderungen bei einer bestimmten Zielgruppe, dann stellt sich aber zunächst noch eine weitere Frage: Wird die intendierte Zielgruppe überhaupt erreicht?

Wirkt die Maßnahme dort, wo es weh tut?
Elisabeth Wachsmuth und Jan Hense (Universität Gießen)

Elisabeth Wachsmuth und Jan Hense gehen in ihrem Beitrag genau dieser Frage und den damit zusammenhängenden Problemen nach. So ist der Blick auf die vorgefundenen Wirkungen aus ihrer Sicht nicht ausreichend. Vielmehr müsse sich die Evaluation auch damit auseinandersetzen, wer die Maßnahmen nutzt und warum. Aus einer formativen Perspektive gehe es dann auch darum, wie die bestmöglichen Wirkungen für die intendierte Zielgruppe erreicht werden können. Aus einer summativen Perspektive rücken dagegen Fehleinschätzungen in den Blick, die sich ergeben können, wenn nicht berücksichtigt wird, ob die intendierte Zielgruppe überhaupt erreicht wird. Diese Fragen und mögliche Konsequenzen für die Evaluationspraxis werden an einem Beispiel aus dem Hochschulkontext diskutiert.

Problemstellung und Potenziale wirkungsorientierter Evaluationen
Holger Bähr (IAB) und Dieter Filsinger (HTW)

Ausgehend von dem klassischen Modell, das Input, Output, Outcome und Impact als Abfolge betrachtet, beginnen Holger Bähr und Dieter Filsinger ihren Beitrag mit einer Klärung der Begriffe „Wirkung“ und „Wirkungsorientierung“, indem sie die Vorgehensweise von qualitativen und quantitativen Methoden bei der Aufdeckung kausaler Zusammenhänge gegenüberstellen. Auf dieser Grundlage diskutieren sie verschiedene Vorgehensweisen der wirkungsorientierten Evaluation und fragen jeweils nach geeigneten Anwendungsfeldern, nach den Grenzen ihrer Anwendbarkeit und nach der Art und Reichweite der aus den Studien gezogenen Schlussfolgerungen. Der Beitrag schließt mit einem Plädoyer für ein theoriegeleitetes Vorgehen.

Der Ausgangspunkt des Beitrags „Identifizierung von Wirkelementen sozialer Interventionen am Beispiel betrieblicher Gesundheitsförderung“ von Ludwig Grillich (Donau-Universität Krems) ist die These, wonach Wirksamkeitsnachweise die Angabe eines kausalen Mechanismus, die Identifizierung von zentralen Wirkbestandteilen sowie eine Theorie erfordern, die beschreibt, wie die Wirkbestandteile der Intervention mit den Outcomes zusammenhängen. Vor diesem Hintergrund stellt Grillich am Beispiel eines Programms zur betrieblichen Gesundheitsförderung für mittlere Unternehmen einen Ansatz zur Entwicklung einer Programmtheorie vor. In seinen Schlussfolgerungen gibt er zudem wichtige Hinweise für die Evaluationspraxis.

Zuletzt geändert: 14. Oktober 2018

Evaluation deradikalisierender Maßnahmen. Wirkungen der Prävention gegen gewaltbereiten Extremismus bestimmen.

Zusammenfassung der Inhalte der Frühjahrstagung 2018 des AK Soziale Dienstleistungen und dem KPEBW am 19. / 20. April 2018

Dr. Andreas Armborst (NZK), Dr. Maria Walsh (NZK): Evidenzbasierte Extremismusprävention

Die Bundesregierung tritt laut Koalitionsvertrag für eine evidenzbasierte Kriminalprävention ein, bei der „Evidenzen sowohl bei der Erarbeitung von Gesetzentwürfen als auch bei deren Evaluation berücksichtigt werden“. Auch die Prävention extremistisch motivierter Gewalt ist zunehmend der Forderung ausgesetzt, ihre Wirksamkeit und Effekte anhand von Evaluation nachvollziehbar zu belegen.
Der Vortrag stellte das Nationale Zentrum Kriminalprävention und insbesondere das Internetportal WESPE vor, skizziert die Merkmale und Abläufe evidenzbasierter Kriminalprävention und diskutiert deren Implikationen für den speziellen Bereich der Extremismusprävention.
Zur Illustration wurde ein laufendes Evaluationsprojekt vorgestellt, bei der die Wirkung einer schulbasierten Primärpräventionsmaßnahme durch einen Aussteiger aus dem Bereich Rechtsextremismus untersucht wird.

Dr. Andreas Armborst ist Leiter des Nationalen Zentrums Kriminalprävention (NZK). Seine Schwerpunkte liegen auf der Kriminologie, Methoden der empirischen Sozialforschung, dem Dschihadismus, Salafismus und der islamistischen Ideologie sowie der Sicherheitsforschung.
Dr. Maria Walsh ist stellvertretende Leiterin des NZK. Ihre Schwerpunkte liegen auf der Jugendkriminalität, dem Jugendstrafvollzug, der Bewährungshilfe, der kriminologischen Lebenslaufforschung sowie Methoden empirischer Sozialforschung.

 

Dr. Christian Lüders (DJI): Evaluation von Modellprojekten zur Deradikalisierung. Erfahrungen aus den Bundesprogrammen

Zum Verständnis der Programmevaluation z. B. von „Demokratie leben!“ stellt der Beitrag zunächst die Vorgeschichte, den Aufbau, die Teilprojekte und die Förderlogik des Programms vor. Aufgrund der zeitlich begrenzten Förderung und des Entwicklungs- und Erprobungscharakters spielen Leitfragen bei der Evaluation der Gesamtarchitektur des Bundesprogramms eine wichtige Rolle. Die Evaluation der Programmbereiche startet meist mit der Rekonstruktion der Programmtheorie, z. B. als logisches Modell, um sich darüber über Wirkungs- und Zielerreichungsfragen zu befassen. Die Vielschichtigkeit und Komplexität des Programms, seiner Bestandteile und der Einzelprojekte ergibt spezifische Probleme und zugeschnittene Ansätze der Evaluation. Wirkungen des Förderprogramms ergeben sich auf unterschiedlichen Ebenen, die im Beitrag vorgestellt werden.

Dr. Christian Lüders ist Leiter der Abteilung Jugend und Jugendhilfe des Deutschen Jugendinstituts. Seine Schwerpunkte liegen auf der Kinder- und Jugendhilfeforschung, Sozialpädagogik, qualitativen Sozialforschung und der Evaluationsforschung.

 

Prof. Dr. Kurt Möller (HS ES): Wirkungsanalysen im Rahmen formativer Projektevaluation?
Möglichkeiten und Grenzen wirkungsbezogener Untersuchungen

Der Beitrag stellt vor dem Erfahrungshintergrund von selbst durchgeführten Studien im Bereich der Extremismusprävention vor, wie und inwieweit wissenschaftliche Evaluationen von themenbezogenen Projekten gewinnbringend erfolgen können, welcher Nutzen aus ihnen für wen zu ziehen ist und welche Rolle dabei die Identifizierung von Wirkungszusammenhängen spielt.
Diesbezüglich geht der Beitrag auf ein formatives Evaluationsverständnis ein, beschreibt Radikalisierung als Prozess und beleuchtet die Voraussetzungen für deradikalisierende Maßnahmen. Die Evaluation deradikalisierender Maßnahmen wird vor allem im Sinne des Lernens und der Entwicklung der Projekte verstanden. Aus der Identifikation von Wirkungsweisen und Schwierigkeiten kann sich ein vielschichtiger Verstehensprozess ergeben, der zu einer kommunikativen Entwicklung zum beiderseitigen Nutzen führt. Nicht die Dissemination einmal gesicherten Wissens, sondern die gestaltungsorientierte Transformation als Ziel der Evaluation steht im Vordergrund.

Prof. Dr. phil. habil. Kurt Möller ist Lehrstuhlinhaber zu Theorien und Konzepten Sozialer Arbeit, Jugendarbeit, Jugendpolitik, Kultur- und Bildungsarbeit an der Hochschule Esslingen. Seine Forschungsschwerpunkte liegen auf Gewalt, Rechtsextremismus, Fremden- und Menschenfeindlichkeit, der männlichen Sozialisation, Jungen- bzw. Männerarbeit, der politische Sozialisation sowie Jugendkulturen.

Podiumsdiskussion mit den Referenten (Leitung: Dr. Rainer Strobl, ProVal Hannover / DeGEval)

Die Podiumsdiskussion verdeutlichte Unterschiedliches und Verbindendes der drei Inputvorträge. Die Diskussion orientierte sich einerseits an den Standards der DeGEval bzw. an Fragen der Programmsteuerung (z. B. evidenzbasierte oder –orientierte Praxis) und ging auf Fragen der Teilnehmenden ein.

 


20. April 2018 (Flyer)

Der zweite Tagungstag beginnt mit drei Workshops. Diese sind durch Kurzbeiträge strukturiert, die als Input für die weitere Diskussion dienen.

 

Workshop 1: Präventionsprojekte

Maria Kamenowski (Züricher Hochschule für Angewandte Wissenschaften): Evaluation von Pilotprojekten zu Gegennarrativen und alternativen Narrativen zur Prävention von Radikalisierung im Netz (Schweiz) Präsentation

Das Schweizer Bundesamt für Sozialversicherungen hat vier Projekte ausgewählt, in denen Gegennarrative bzw. alternative Narrative zur Prävention von Radikalisierung im Netz, die zu gewalttätigem Extremismus führt, erarbeitet werden sollen. Die Projekte zeichnen sich dadurch aus, dass partizipativ mit den Jugendlichen bzw. junge Erwachsenen Narrative ausgearbeitet werden. Für die Untersuchung der Projektprozesse wie auch der Wirkung der Narrative wurden sieben Module entwickelt, anhand derer die Projekte evaluiert werden. Die methodischen Module wie auch die Herausforderungen der Evaluation werden im Fokus des Vortrages stehen.

Josephina Schmidt (IPES), Athanasios Tsirikiotis (IPES); Formative Evaluation des Präventionsprogramms "ACHTUNG?!" - Qualitative Methoden und Zielentwicklung

Der Beitrag stellt die formative Evaluation des Präventionsprogramms „ACHTUNG?!“ des Polizeipräsidiums Ludwigsburg vor, das mit mehreren durch unterschiedliche Akteure gestaltete Module, einen Beitrag zur Radikalisierungsprävention leistet. Bei der formativen Evaluation kam der Zielfindung eine zentrale Rolle zu. Hieran sollen die unterschiedlichen Perspektiven der Stakeholder des Projekts veranschaulicht werden.

 

Workshop 2: Aussteigerprogramme für Rechtsextremist*innen

Florian Neuscheler (Hochschule Esslingen): Evaluation des Aussteigerprogramms EXTRA

Das beim Landesamt für Verfassungsschutz in Sachsen-Anhalt angesiedelte Aussteigerprogramm für Rechtsextremisten wurde durch die Hochschule Esslingen im ersten Schritt formativ evaluiert. Aktuell findet der zweite, summative Evaluationsschritt statt. Der Referent berichtet über methodische Herausforderungen und die Lösungsansätze dieses Evaluationsprojekts.
(Der Beitrag musste krankheitsbedingt leider kurzfristig entfallen)

Dr. Frank Greuel (DJI, Halle), Frank König (DJI, Halle): „doing Ausstieg“ – Gegenstandskonstruktionen in der Ausstiegsarbeit und die Rolle von Evaluation

Das Ziel von Ausstiegsangeboten scheint klar: Personen bei ihrem Ausstieg zu unterstützen und so viele wie möglich zum Ausstieg zu bewegen. Jede Aussteigerin und jeder Aussteiger gelten damit als Projekterfolg. Die genaue Bestimmung des Ziels „Ausstieg“ erweist sich in der Praxis jedoch als überaus schwierig und unterschiedet sich zwischen den verschiedenen Angeboten. Während teilweise bereits das Lösen von problematischen Szenezugehörigkeiten als Ausstieg gilt und als (abschließender) Erfolg gewertet wird, gelten in anderen Angeboten erst die dauerhafte Abkehr von der Szene und demokratische Haltungen als Ende eines gelingenden Unterstützungsprozesses. Im Workshop soll diskutiert werden, wie Evaluation im Feld der Deradikalisierung mit den zugrundeliegenden verschiedenen Gegenstandskonstruktionen umgehen und Erfolgskriterien verbindlich formulieren kann.

 

Workshop 3: Evaluation von Programmen

Verena Fiebig (KPEBW): Strukturelle Qualitätsstandards als Ausgangspunkt der Bewertung von Deradikalisierungsprogrammen

Programme zur Deradikalisierung und Extremismusprävention haben in den letzten Jahren einen festen Platz in vielen nationalen und internationalen Strategien zur Terrorismusbekämpfung gefunden. Doch die Frage, wie sich der Erfolg und die Qualität von Deradikalisierungsprogrammen einschätzen lässt, ist bisher weitestgehend offen. Wissenschaftler kritisieren seit Jahren die mangelhafte konzeptionelle Klarheit und massive Intransparenz der überwiegenden Mehrheit dieser Programme, obwohl der grundsätzliche Wert der Deradikalisierung nicht bestritten wird.
Mit den strukturellen Qualitätsstandards in der Interventions- und Präventionsarbeit gegen gewaltbereiten Extremismus wird eine erste Grundlage für die strukturellen Mindestanforderungen für Programme, Träger und Initiativen vorgeschlagen, welche als Leitfaden für eine mehrstufige Evaluation und Qualitätssicherung der Extremismusprävention fungieren können. Neben der Vorstellung der strukturellen Qualitätsstandards werden die Chancen und Grenzen dieser Evaluationsmethode diskutiert.

 

Fishbowl-Diskussion (Leitung: Edith Halves, HAW Hamburg)

Die abschließende Diskussion dient einerseits der Darstellung der Workshopergebnisse und soll andererseits einen abschließenden Diskussionsraum bieten, die Erträge der Tagung und Überträge in die Praxis zu bestimmen.

Teilnehmer*innen-Liste der Tagung

Zuletzt geändert: 14. Oktober 2018

Darstellung des AKs in der ZfEv veröffentlicht

In der Ausgabe 2/2017 ist eine Darstellung des AK unter dem Titel "Evaluation sozialer Dienstleistungen. Kurzbericht aus dem AK Soziale Dienstleistungen über die Entwicklungen in diesem Feld sowie die Rolle der DeGEval" veröffentlicht (Link auf die Verlagsseite)

Zuletzt geändert: 19. Februar 2018

 

Prof. Dr. Olaf Lobermeier

proVal, Gesellschaft für sozialwissenschaftliche Analyse - Beratung - Evaluation, Hannover
Tel.: 0511/712 94-18
lobermeier(a)proval-services.net 

Stefanie Reiter

Deutsches Jugendinstitut, Halle
Tel.: 0345/68 178-75
sreiter(a)dji.de

Frank Buchheit

Landeskriminalamt BW, Stuttgart
Tel.: 0711/5401-34 59
buchheit(a)posteo.de