Aktuelles

Die Anmeldung zur Frühjahrstagung des AK Epol-HuHi vom 15.-16. Mai in Berlin in Kooperation mit Syspons ist ab sofort bis zum 3. Mai 2024 unter folgendem Link möglich: https://www.conftool.net/ak-epol-fjt24/index.php?page=login

Eine aktuelle Version des Programms finden Sie hier.

Die Frühjahrstagung 2024 des AK Entwicklungspolitik und Humanitäre Hilfe zum Thema Feministische Außen- und Entwicklungspolitik: Implikationen für Monitoring und Evaluierung wird vom 15.05-16.05.2024 in Berlin stattfinden. Merken Sie sich gern den Termin und den Ort bereits jetzt vor.

Weitere Informationen folgen zeitnah an dieser Stelle sowie über die AK-Mailings und weitere Verteiler.

Bereits jetzt der Hinweis: Zum genannten Termin finden in Berlin verschiedene größere Veranstaltungen statt, weshalb die Verfügbarkeit von nahe gelegenen Hotelzimmern knapp werden könnte. In unmittelbarer Nähe zum Veranstaltungsort befindet sich das Motel One Berlin Mitte (Prinzenstraße), wo wir ein begrenztes Zimmerkontingent reserviert haben (159,-€/Nacht).   Für eine Zimmerreservierung klicken Sie bitte auf folgenden Link: Zimmerreservierung DeGEval Frühjahrstagung 2024

Die Frühjahrstagung fand am 20. und 21. Juni 2023 in Stuttgart an der Universität Hohenheim statt. Die Veranstaltung wurde gemeinsam mit FAKT Consult for Management, Training and Technologies ausgerichtet, sowie von WebMo finanziell unterstützt.

Die Teilnehmer:innen der Tagung befassten sich mit der Bedeutung sowie den Möglichkeiten und Grenzen von Partizipation in Monitoring und Evaluation in der Entwicklungszusammenarbeit und humanitären Hilfe. Neben einer theoretischen Herleitung und Begriffsklärung wurde der Frage nachgegangen, wie Partizipation in verschiedenen Phasen von Evaluation und Monitoring von Vorhaben konkret ausgestaltet werden kann, welche Erfahrungen es mit dem Einsatz unterschiedlicher Evaluationsansätze und Methoden gibt und wo Herausforderungen sowie Potenziale für Partizipation bestehen.

Dienstag, 20. Juni 2023

Yvonne Zahumensky (Forschungszentrum für Globale Ernährungssicherung und Ökosysteme der Universität Hohenheim (GFE)), Christine Lottje (FAKT) und Sprecherin des AK-Epol-HuHi Kirsten Vorwerk (DEval) begrüßten zunächst die Teilnehmer:innen der Frühjahrestagung.

11:30 – 12:15 Participatory Evaluation: An Introduction, Marina Apgar (IDS)

Marina Apgar vom Institute of Development Studies (IDS) führte in die Veranstaltung mit einem theoretischen Input zu Partizipation in Evaluation ein. Dabei ging sie auf die Bedeutung von partizipativer Evaluation im Kontext der Debatte um Dekolonialisierung und Lokalisierung ein. Zudem brachte sie wesentliche Fragen zum Thema Partizipation in Evaluation und Monitoring auf die Agenda: Wer soll eingebunden werden und warum? An welchen Stellen sollen die Menschen eingebunden werden? Wie teilt man das Eigentum/die Ergebnisse? Wer hat die Macht im Evaluationsprozess? In Bezug auf die letzte Frage zeigte sie verschiedene Formen von Macht (sichtbare, verborgene und unsichtbare Macht) auf und regte dazu an, diese im Evaluierungsprozess zu reflektieren. Die Einbeziehung der Erfahrungen und Geschichten von Beteiligten und Betroffenen sei ein wichtiger Aspekt, um unterschiedliche „Wahrheiten“ zu erfassen. Dafür verwies sie auf die Verwendung verschiedener Methoden.

Ein Beitrag von Marina Apgar über die Tagung findet sich auf der IDS Homepage.

12:15 – 14:30 Stationen Café: Wann ist wie viel Partizipation in Evaluation möglich und sinnvoll?

An verschiedenen Stationen wurde in Gruppenarbeiten die Frage „Wann ist wie viel Partizipation in Evaluation möglich und sinnvoll?“ für unterschiedliche Phasen der Evaluierung betrachtet. Nach dem Mittagessen bestand Zeit durch die einzelnen Stationen zu schlendern, um sich die Ergebnisse anzuschauen.

14:30 – 15:15 Participatory Impact Assessment by communities with the PRA-based MAPP Approach, Regine Parkes (FAKT Consult for Management, Training and Technologies)

Regine Parkes von FAKT präsentierte den partizipativen MAPP-Ansatz (Method for Impact Assessment of Programmes and Projects). Nachdem sie den Entstehungsprozess sowie Hintergrund der Methode präsentierte, stellte sie die einzelnen Schritte bzw. Tools vor. Die Methode wurde von Susanne Neubert entwickelt. MAPP ist ein methodischer Ansatz, der eine Reihe von partizipativen Instrumenten zur Identifizierung und Messung von Veränderungen in Projekten inkludiert. Im Fokus stehen Gruppendiskussionen. Regine Parkes wies darauf hin, dass MAPP in Kombination mit weiteren Methoden verwendet werden sollte.

15:15 – 16:45 Barcamp-Methode: Vorstellung sowie Themensammlung

Der Nachmittag des ersten Tages der Tagung wurde mit Gruppenarbeiten im Rahmen der Barcamp-Methode gefüllt. Nikolai Hergt (freier Evaluator und Berater), Sprecher des AK-Epol-HuHi, stellte die Methode und Vorgehensweise vor. Dem Tagungsthema entsprechend handelt es sich dabei um eine partizipative Methode, die den Teilnehmer:innen die Möglichkeit bot, zusätzlich zu den im Programm bereits festgelegten Themen eigene Themenvorschläge für die Gruppenarbeit einzubringen.

Nach einer Abstimmung zu den Themen gab es sechs Arbeitsgruppen zu unterschiedlichen Themen, in zwei Runden zu je 45 Minuten.

16:45 – 17:30 Barcamp-Arbeitsgruppen – Runde 1

• Gruppe 1: Gütekriterien für Monitoring, Referentinnen: Susanne von Jan (smep-consult) und Marie-Carin von Gumppenberg (freie Beraterin und Evaluatorin)

Im Rahmen dieser Arbeitsgruppe wurden die neuen Gütekriterien für Monitoring sowie das dazu von der Arbeitsgruppe „Monitoring“ des AK-Epol-HuHi veröffentlichte Arbeitspapier vorgestellt und diskutiert.

• Gruppe 2: Meaningful participation in evaluation of long and complex impact pathways, Referentinnen: Adinda Van Hemelrijck und Eva Wuyts (beide Collaborative Impact)

Anhand eines Beispiels stellten die beiden Referentinnen vor, bei welchen Schritten in komplexen Evaluationen Partizipation möglich und sinnvoll ist. Dabei wurden Fragen aus der Key Note aufgegriffen: Wer wird einbezogen und warum, von wem, wer berichtet und profitiert am Ende? Unter anderem wurden Aspekte der Dekolonialisierung und Deinstrumentalisierung diskutiert.

Ein Ergebnis der Diskussion war, dass es aufgrund begrenzter Zeit und Ressourcen meist nicht möglich ist, eine komplette Evaluation partizipativ zu gestalten. Daher sollte bereits im Vorfeld der Evaluierung überlegt werden, zu welchem Zeitpunkt partizipativ gearbeitet wird. Zudem wurde auf Literatur zum Thema hingewiesen.

• Gruppe 3: Weitere Einführung in die MAPP-Methode, Referent:innen: Regine Parkes und Bernward Causemann (beide FAKT Consult for Management, Training and Technologies)

Das Barcamp wurde genutzt, um offene Fragen zur zuvor vorgestellten MAPP-Methode zu klären, sowie diese detaillierter zu besprechen. Betont wurde, dass MAPP als Teil eines Methodenmix verstanden werden sollte. Innerhalb der Gruppe fand unter anderem ein Austausch über die Wichtigkeit der Zusammensetzung der Gruppen, welche partizipieren, statt.

17:30 – 18:15 Barcamp-Arbeitsgruppe – Runde 2

• Gruppe 4: Conditions for success in participatory evaluation - conceptual examples and empirical experience from development education and awareness raising (DEAR), Referent:innen: Bernward Causemann (FAKT Consult for Management, Training and Technologies) und Susanne Höck (selbständige Evaluatorin, Beraterin und Trainerin)

In dieser Gruppe wurde eine Evaluation im Bereich der entwicklungspolitischen Bildungsarbeit vorgestellt, die in hohem Maße partizipativ durchgeführt wurde. Unter dem Einsatz unterschiedlicher Methoden wurde Partizipation in der Planung, Durchführung und Analysephase der Evaluation ermöglicht. Dabei wurde auf die drei Dimensionen von Partizipation nach Daigneault et al. eingegangen: Ausmaß der Beteiligung, Vielfalt der Teilnehmer:innen und Kontrolle über den Evaluationsprozess (Daigneault et al. 2012). Die beiden Referent:innen erläuterten die einzelnen Methoden und veranschaulichten, wie Partizipation die Validität von Ergebnissen stärken kann.

• Gruppe 5: Participation of children & youth / children led participation experiences, challenges, best-practices? Organisatorin: Verena Himmelreich (Kindernothilfe)

Im Barcamp erfolgte ein Austausch zur Beteiligung von Kindern und Jugendlichen im Rahmen von Evaluierungen (siehe z. B. Dialogue Works) und damit verbundenen Methoden, Herausforderungen und ethischen Fragestellungen. Einigkeit bestand darüber, dass Kinder und Jugendliche einerseits durch die Partizipation in Evaluation „empowert” werden können. Andererseits kann das Erzählen von beispielsweise Gewalterfahrung retraumatisierend wirken. Diskutiert wurden auch die in der Key Note angesprochenen Formen von Macht.

• Gruppe 6: What is bricolage? Marina Apgar (Institute of Development Studies (IDS))

Die Gruppe setzte sich mit dem Thema „Bricolage“ auseinander. Marina Apgar stellte hierbei die Ergebnisse einer Studie vor, in der - basierend auf einer strukturierten Analyse von 33 qualitativen Methoden - die Anwendung unterschiedlicher Multimethoden-Designs diskutiert wird, um die Rigorosität von komplexen Evaluierungen zu erhöhen. Ein Austausch erfolgte insbesondere zu der Frage, inwieweit die Kombination unterschiedlicher Methoden in der Praxis bereits erfolgt und wie diese systematischer gestaltet werden kann.

18:15 – 18:45 Barcamp-Methode: Berichte aus den Barcamp-Gruppen

Als Abschluss für den Tag wurden die Ergebnisse bzw. wichtigsten Punkte aus den Barcamp-Gruppen zusammengetragen.

Mittwoch, 21. Juni 2023

09:00– 10:45 Begrüßung und Werkstattgespräche

Nach der Begrüßung durch Thorsten Bär, Sprecher des AK-Epol-HuHi (World Vision Deutschland) konnten die Teilnehmer:innen zwischen drei unterschiedlichen Werkstattgesprächen wählen.

1. Partizipative Methoden in der Evaluierung.

Participatory Impact Assessment & Learning Approach (PIALA). Referentinnen: Adinda Van Hemelrijck, Eva Wuyts (beide Collaborative Impact)

PIALA „[i]t’s an APPROACH for combining methods (not a particular method) to ASSESS for learning and increasing value (not just to evaluate/judge) of progress and contribution towards COLLECTIVE IMPACT as system change (beyond attribution / individual impact) using PARTICIPATORY processes to co-generate knowledge (not to extract data)” (vgl. Präsentation Folie 4).

PIALA umfasst fünf adaptive methodische Elemente, die während verschiedener Evaluationsphasen, in denen jeweils Design-Entscheidungen getroffen werden müssen, angewendet, sowie von den Qualitätsstandards Rigorosität, Inklusion und Machbarkeit eingerahmt werden. Dies ermöglicht eine systematische Strukturierung und Entscheidung hinsichtlich des Grads von Partizipation. Die Referentinnen erläuterten wesentliche Aspekte inklusiver und bedeutsamer Partizipation, stellten verschiedene partizipative Methoden vor und gingen auf die Grenzen des Ansatzes ein. Nach einer Einführung zum methodischen Ansatz von PIALA erprobten die Teilnehmer:innen den Ansatz anhand von Beispielen in Kleingruppen.

Im Rahmen der Fishbowl (siehe unten) wurde PIALA als sehr gutes Beispiel für ein strukturiertes Evaluationsdesign sowie die Anwendung von „Bricolage“ bewertet. Dieser Ansatz verdeutlicht, dass Partizipation im gesamten Evaluationsprozess reflektiert werden sollte.

2. Partizipation in der humanitären Hilfe.

• Einführung: Wie definiert sich Partizipation in der humanitären Hilfe, Referent: Marc Herzog (World Vision Deutschland e. V.)
• Bedeutung von Partizipation in der Arbeit bei Malteser International, Referent: Julian Fellendorf (Malteser International)
• Experiences in participatory monitoring, Referentin: Alice van Caubergh (Johanniter-Unfall-Hilfe e. V.)

Das Werkstattgespräch wurde von Marc Herzog geleitet. Er begann mit einer Einführung in das Thema und stellte vor, wie Partizipation im humanitären Sektor operationalisiert und gestaltet werden kann. Marc Herzog hob hervor, dass Geber und Hilfsorganisationen sich dafür einsetzen sollten, dass die Stimmen der am meisten gefährdeten Gruppen unter Berücksichtigung von Geschlecht, Alter, ethnischer Zugehörigkeit, Sprache und besonderen Bedürfnissen gehört und berücksichtigt werden. Anschließend präsentierten Julian Fellendorf und Alice van Caubergh Beispiele aus ihrer Arbeit bei Malteser International und Johanniter-Unfall-Hilfe.

Im Rahmen der Fishbowl (siehe unten) wurde als zentrales Ergebnis dieses Werkstattgesprächs hervorgehoben, dass Partizipation ein Prozess ist. Der humanitäre Hilfe-Sektor hingegen ist sehr technisch und diagnostisch. Partizipation braucht jedoch Energie, Zeit und Engagement. Hierzu sind Vertrauen, Verpflichtung und Organisationen, die längerfristig aktiv und gewillt sind in den Prozess einzusteigen, notwendig. Ein partizipativer Ansatz in diesem Bereich wäre eine Veränderung, die bisher noch nicht stattgefunden hat.

3. Partizipation im Monitoring.

• Monitoring als Empowerment-Ansatz, Referentin: Karola Block (freie Organisationsberaterin und Evaluatorin)
• Partizipatives Wirkungsmonitoring mit NGO-IDEAs: Wunschdenken, Annahmen und Voraussetzungen? Referentin: Dagny Skarwan (freie Beraterin und Evaluatorin)

Anhand eines Rollenspiels erprobten die Teilnehmer:innen eine partizipative Vorgehensweise im Rahmen von Monitoring. Die übergreifende Frage war, wie das Monitoring lokaler/kommunaler Aktivitäten von Gruppen gestaltbar ist. Nach einer kurzen Einführung in die Situation wurden verschiedene Fragen beantwortet. Im Anschluss wurde das Erlebte diskutiert und analysiert. Als Fazit ist festzuhalten, dass die Erhebung von Monitoringdaten zwar im Vordergrund steht, durch den vorgestellten Ansatz aber zusätzlich Partizipation gefördert wird. Zudem war mehr Ownership durch diesen Gruppenprozess beobachtbar.

Im zweiten Teil des Werkstattgesprächs wurde NGO-IDEAS vorgestellt. IDEAS bedeutet Impact on Development, Empowerment and Actions. Bei diesem Monitoring-Ansatz steht das Lernen und nicht die Rechenschaftslegung im Vordergrund. Dafür werden qualitative und quantitative Methoden kombiniert. Der Ansatz ermöglicht es lokalen Gruppen ihre gemeinsamen Ziele zu erkennen und die Umsetzung zu überprüfen. Dies soll Selbstwirksamkeitserfahrungen schaffen. NGO-IDEAS muss frühzeitig im Projektzyklus eingesetzt werden, bevor die Ziele festgelegt sind. Wichtig sei es, die Ergebnisse zu dokumentieren und zu sichern sowie den Beteiligten Zugang dazu zu schaffen. Zudem müssten die verfügbaren Kapazitäten geklärt und Trainings zu den Methoden angeboten werden.

Im Rahmen der Fishbowl wurde hervorgehoben, dass es bei partizipativem Monitoring wichtig sei, die Ziele und Kriterien der Teilnehmer:innen zu verwenden, auch wenn diese nicht mit der ursprünglichen Planung übereinstimmen. Aufgrund des Perspektivwechsel sei die verwendete Methode sehr relevant.

11:00 – 12:15 Fishbowl: Lernerfahrung, Zusammenfassung und Ausblick

Die Frühjahrstagung endete mit einer Fishbowl-Diskussion. Feste Teilnehmer:innen waren Marina Apgar, Susanne von Jan und Marc Herzog, die zunächst aus den Werkstattgesprächen berichteten (siehe oben).

In der weiteren Diskussion wurde unter anderem auf die Rahmenbedingungen von Evaluationen eingegangen. Enge Rahmenbedingungen führten aus Sicht der Beteiligten dazu, dass Partizipation in Evaluation und Monitoring nur eingeschränkt möglich ist. Einerseits müssten bestehende Grenzen anerkannt, gleichzeitig aber auch Veränderungen angestrebt werden. Flexibilität könne durch den Verweis auf bestehende Positionspapiere und Richtlinien erhöht werden. Hervorgehoben wurde, dass nicht nur aufgrund der Rechenschaftspflicht gegenüber dem Geber evaluiert wird.

Als ein wesentliches Ergebnis der Tagung wurde festgehalten, dass Partizipation im gesamten Projektzyklus von Bedeutung ist. Dabei müsse sich die Frage gestellt werden, wer partizipiert und wie repräsentativ der ausgewählte Personenkreis ist. Hier werden die drei Dimensionen von Partizipation nach Daigneault et al. deutlich: Ausmaß der Beteiligung, Vielfalt der Teilnehmer:innen und Kontrolle über den Evaluationsprozess (Daigneault et al. 2012).

Ein Lernerfolg der Tagung ist, dass Partizipation tiefgehendes Wissen ermöglicht. Partizipative Ansätze in der Entwicklungszusammenarbeit können auch in der humanitären Hilfe genutzt werden. Wichtig ist dabei die Verbindung von Theorie und Praxis. Dazu zählt auch ein Austausch über Ethik, Absicherung und Vertrauen. Zudem gilt es, die unterschiedlichen Formen von Macht zu reflektieren und aufzubrechen. Dies kann durch Partizipation, vor allem in der Entscheidungsfindung, geschehen.

12:15 – 13:15 Mittagsimbiss, Ende der Tagung

Mittendrin statt nur dabei! Partizipation in M&E

Partizipation ist ein wesentliches Element zahlreicher Evaluationsansätze, wobei Art und Umfang der Partizipation stark variiert. Insbesondere bei der Frage nach dem Nutzen von Evaluation wird der Beteiligung von Interessensgruppen eine wichtige Rolle zugeschrieben: Durch die Mitwirkung der Betroffenen und Beteiligten wird eine höhere Akzeptanz und letztlich bessere Nutzung der Evaluationsergebnisse angestrebt. Je nach Ziel, Gegenstand und Evaluationsansatz kann die Ausgestaltung von Partizipation sehr unterschiedlich ausfallen und eine umfassende Einbindung unterschiedlicher Interessengruppen in allen Phasen der Evaluation oder auch lediglich die Einbindung spezifischer Gruppen zu einem bestimmten Zeitpunkt beinhalten. Eine Konzeptionalisierung von Partizipation, die Daigneault et al. für die Bewertung von partizipativer Evaluation zugrunde legen, unterscheidet drei wesentliche Dimensionen von Partizipation: Ausmaß der Beteiligung, Vielfalt der Teilnehmer und Kontrolle über den Evaluationsprozess (Daigneault et al. 2012).

Im Rahmen der Frühjahrstagung werden wir uns mit der Bedeutung sowie den Möglichkeiten und Grenzen von Partizipation in Monitoring und Evaluation in der Entwicklungszusammenarbeit und Humanitären Hilfe befassen. Neben einer theoretischen Herleitung und Begriffsklärung möchten wir insbesondere der Frage nachgehen, wie Partizipation in verschiedenen Phasen von Evaluation sowie im Monitoring von Vorhaben konkret ausgestaltet werden kann, welche Erfahrungen es mit dem Einsatz unterschiedlicher Evaluationsansätze und Methoden gibt und wo Herausforderungen sowie Potenziale für Partizipation bestehen.

Außerdem werden wir Partizipation auch ganz praktisch anwenden: Die Teilnehmer:innen der Tagung werden die Gelegenheit bekommen, einen Teil der Tagung durch eigene Inputs mitzugestalten.

Bitte beachten Sie, dass manche Vorträge in englischer Sprache gehalten werden, ohne Übersetzung.

>> Zum Programm (PDF)