Sie sind hier:Home»Arbeitskreise»Entwicklungspolitik und Humanitäre Hilfe»Bisherige Aktivitäten

Bisherige Aktivitäten

Dokumentation der Frühjahrstagung 2016 des Arbeitskreises Entwicklungspolitik

Tagungsthema: Monitoring & Evaluierung in fragilen Kontexten.
Was tun in Afghanistan, Syrien, Sierra Leone…?


Im Folgenden finden Sie eine kurze Zusammenfassung der Frühjahrstagung 2016 des AK-Epol. Eine ausführliche Dokumentation finden Sie im Tagungsprotokoll.

Donnerstag, 14. April 2016
10.45-11.15 Begrüßung durch Klaus Altemeier und Jens Koy

Dr. Klaus Altemeier, Geschäftsführer der GFA Consulting Group GmbH und Jens Koy, Sprecher des AK Entwicklungspolitik der DeGEval begrüßen die diesjährigen TeilnehmerInnen der Tagung.

Dr. Klaus Altemeier: Begrüßung und Vorstellung der GFA Consulting Group (siehe auch Präsentation

  • Vorstellung der GFA-Arbeit im Bereich M&E. Seit 2015 gibt es eine eigene fachliche Unit in der GFA zu „Monitoring und Evaluierung“, die innerhalb der Abteilung „Public Finance Management“ angesiedelt ist.
  • Kurzer Überblick über GFA-Arbeit in fragilen Staaten. Die GFA ist weltweit tätig, somit auch bspw. in fragilen Kontexten in Afghanistan, im Irak oder im Südsudan. Zahlreiche GFA-Mitarbeiter sind lang- oder kurzfristig in diesen Ländern tätig. Ein Teil der GFA-Arbeit in Afghanistan im Bereich M&E wird nachmittags in einem Werkstattgespräch der Tagung vorgestellt.

Jens Koy: Vorstellung des AK Entwicklungspolitik, Einführung ins Tagungsthema

11.15-11.30 AG Neue Technologien in M&E des AK-Entwicklungspolitik (Rosilin Bock, Robert Heine)

Rosilin Bock und Robert Heine stellen das Ziel der AG sowie die bisherigen Arbeitsschritte und -ergebnisse vor:

  • Fokus der AG: Nutzung von Information und Communication Technology (ICT) für M&E
  • Die AG besteht aktuell aus ca. 10 Personen, die sich monatlich austauschen.
  • Die AG organisiert sich über die Web-Plattform WebMo.
  • Die HauptansprechpartnerInnen der AG sind Rosilin Bock und Robert Heine.

Die AG freut sich auch über neue interessierte Mitglieder. Interessenten können sich an die beiden o.g. AnsprechpartnerInnen wenden, oder sich mit Verweis auf den/die AnsprechpartnerIn registrieren: www.Akepol.webmo.info

11.30-12.30 Monitoring & Evaluierung in fragilen Kontexten – Einführung in die Herausforderungen und die aktuelle Diskussion (Jörg Faust)

Prof. Dr. Jörg Faust, Direktor des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) führt in das Tagungsthema ein.
Für eine ausführliche Dokumentation siehe das Tagungsprotokoll und die entsprechende Präsentation.

Zusammenfassung:

  • Es bestehen definitiv große Herausforderungen bei Evaluierungen in fragilen Kontexten.
  • Gleichzeitig nimmt ihre Relevanz jedoch stark zu.
  • Eine umfassende Kontextanalyse ist dabei zentral.
  • Anspruchsvolle Evaluierungen sind mit geeigneten Methoden möglich, können jedoch hohe Kosten erfordern.
  • Der Evaluierung werden klare Grenzen durch existierende Sicherheitsrisiken und eine Einhaltung des Do No Harm-Prinzips gesetzt.

 

12.30-13.00 Versicherungen – Informationen zu Versicherungen für Gutachterinnen und Gutachter sowie Auftraggebende, die in fragilen Kontexten arbeiten

Claus-Helge Groß der BDAE Holding GmbH gibt einen kurzen Überblick über den nötigen Versicherungsschutz freier Evaluatoren in fragilen Kontexten (siehe auch Präsentation).

  • Auslandskrankenversicherung: Es ist immer nötig, zu überprüfen, ob bei der KV ein passives Krisen/ Kriegsrisiko mitversichert ist.  
  • Entführung und Lösegeldversicherung: Eine Entsprechende Versicherung für den Schadensfall deckt nicht nur eine potenzielle Lösegeldforderung ab, sondern managt im Entführungsfall auch den gesamten Prozess bis hin zur Freilassung.

 

18.00-18.30 Kurzvorstellungen aus den Werkstattgesprächen, AGs und dem Sicherheitstraining im Plenum im linken blauen Haus

a.    Humanitäre Hilfe und EZ - Erfahrungen mit M&E in fragilen Kontexten (DRK und WHH) (siehe auch Fotodokumentation)

  • Stabilisierende Faktoren und destabilisierende Faktoren
  • Evaluierungen erfüllen hier vor allem eine Kontrollfunktion und dienen der Urteilssicherheit
  • Erkenntnisgewinn: Blick nach außen ist genauso wichtig wie der Blick von außen. Die Auftraggeber haben oftmals auch ein Interesse zu erfahren – wie machen es andere in ver-gleichbaren Kontexten?
  • Aufbau lokaler Wissenssysteme
  • Evaluierungen über Inter Agency Cluster organisieren, nicht so sehr über unseren Input
  • Syrien: große Herausforderung, den Datenanforderungen gerecht zu werden. Bilder und GPS- Daten bieten Ansatzpunkte.


b.    M&E von Advocacy-Arbeit und Pressefreiheit in fragilen Staaten / M&E von Frauenrechtsarbeit (siehe auch Präsentation)

  • Gender based violence als besondere Form von Fragilität
  • In diesen Fällen sind nur langfristige Wirkungen beobachtbar, frühestens nach 10 Jahren
  • In Evaluierungen sollte man Empowerment und Selbstwirksamkeit beobachten und dies in M&E-Systeme direkt mit einbauen.
  • Das Evaluationsdesign muss zu den Menschen im Projekt und dem Kontext passen. Es kann sinnvoll sein, holistische Mehrebenenansätze anzuwenden.


c.    „Good enough monitoring“ (Bsp. Afghanistan, siehe auch Präsentation)

“Blitzlichter” aus der Diskussion:

  • Je höher die Fragilität des Kontextes, desto höher die Eintrittswahrscheinlichkeit der ange-nommenen Risiken
  • Umso komplexer das Umfeld und das Projekt selbst, umso einen höheren Detailierungsgrad hat das Monitoringsystem.
  • Im fragilen Kontext braucht man viel Flexibilität in Bezug auf die theory of Change und in Bezug auf die Wahl der Indikatoren.
  • Die Einbindung der Partner vor Ort ist entscheidend: Wie viel ist nötig und möglich? Man muss den richtigen Grad finden, um die staatliche Funktionalität von politischen Partnern angesichts der starken Geberpräsenz und -fragmentierung im Land nicht unnötig zu belasten.


d.    SMS, Geocoding, Digital Data Entry mit Tablet und Smartphone: 3 Impulsreferate (u.a. Live-schaltung aus Nairobi, siehe Präsentation von SAVE, Plan, ona (a und b))

  • Überblick über Stärken und Schwächen von bestehende Tools als Teil von remote Manage-ment in humanitären Kontexten: Z.B. Telefon, SMS, Geocoding, Tablet, die Teil eines erstellen Toolkits des Global Public Policy Insitute sind
  • Es wurde ein cloud-basiertes Monitoring System von Plan International vorgestellt.
  • Fallstudie eines Third Party Monitoring eines  innovativen Projektes für DFID Somalia mit dem Ziel, ein allumfassendes M&E System der Katastrophenhilfeprogramme zu entwickeln. Der 145 Mio £ schwere Fonds beinhaltet 34 Partner und über 100 lokale Partnerorganisatio-nen.
  • Herausforderung bei der Nutzung von ICT für die Evaluierung für die PO: Es ist nicht nur eine Auseinandersetzung mit Logframe/Wirkungslogik etc. nötig, sondern zusätzlich eine Analyse geeigneter Software/Tools etc.
  • Vorteil der Nutzung entsprechender Tools: hohe Zeit- und Geldersparnis


e.    Sicherheitstraining
Der Trainer des Sicherheitstrainings, Benjamin Beutekamp (BDAE / Human Resource Protection) appellierte daran, sich über erlebte Belastungen in Krisenländern immer auszutauschen, um Folgeschäden zu minimieren.

Freitag, 15. April 2016


09.00-10.45 Erfahrungen mit Evaluationen in verschiedenen fragilen Kontexten

Erfahrungen von GIZ und KfW mit Evaluierungen in Afghanistan
Claudia Kornahrens, Gesellschaft für Internationale Zusammenarbeit (GIZ) und
Prof. Dr. Eva Terberger, KfW-Bankengruppe

Für eine ausführlichere Dokumentation siehe die Power Point Präsentationen von GIZ und KfW.

  • Projektfortschrittskontrollen heißen in der GIZ inzwischen Projektevaluierungen
  • Vor der Evaluierung ist die Ziel- und Auftragsklärung essentiell: Was steht im Vordergrund, Rechenschaftslegung oder Lernorientierung?
  • Realistische Ziele setzen!
  • Festlegung des Evaluierungsgegenstands anhand des GIZ Wirkungsmodells
  • Entsprechend dem Leitfaden für konfliktsensibles Monitoring sollen die Erfahrungen zusammengefasst werden.

 

Evaluierung der Ebola-Response von Brot für die Welt in Sierra Leone
Stefan Jansen, Iber-Consult/FAKT und Rosilin Bock, Brot für die Welt

Hintergrund:

  • Die Ebola Dynamik wurde falsch eingeschätzt, internationale Hilfe kam zu spät
  • Brot für die Welt  konnte auf ein gutes Netzwerk mit Partnerorganisationen vor Ort setzen
  • 10 Mio. Funding für die Ebola-Response
  • Bundle approach (Implementierung durch Konsortium der Partnerorganisationen)
  • Intervention mit kirchlichen Mitteln und Mitteln des BMZ
  • Nach einem halben Jahr wurde die Intervention evaluiert (BMZ Vorgabe)


Vgl. Power Point Präsentation, Vortrag Stefan Jansen

  • Stefan Jansen wies auf die ethische Dimension der Evaluierung im Ebola-Kontext hin, insbe-sondere im Hinblick auf nationale Gutachtende, die zumeist ökonomischen Zwängen unter-liegen und im gegebenen Fallbeispiel einer erhöhten Gefahr ausgesetzt waren als der internationale Experte.
  • Berücksichtigung von Do No Harm-Prinzipien stellte einen wichtigen Teil des Evaluierungsansatzes dar, insbesondere im Umgang mit traumatisierten Personen aus den Zielgruppen der Evaluierung (z.B. Ebola-Überlende).
  • Stichprobe: 300-350 Personen


11.15-12.25 Abschlussdiskussion

mit Sibylle Braune (DRK), Bernd Bültemeier (FAO), Prof. Dr. Jörg Faust (DEval) und Dr. Karin Stahl (freie Gutachterin)


Der Anknüpfungspunkt für die Abschlussdiskussion war die vor der Tagung durchgeführte Online-Befragung der TagungsteilnehmerInnen bzgl. ihrer Meinung zu drei Statements (siehe auch Präsentation der Auswertung). Diese wurden hier wieder aufgegriffen und unter den vier Podiumsgästen diskutiert.  

Im Folgenden werden die Statements genannt, zu denen die Podiumsgäste diskutierten, eine ausführliche Darstellung findet sich im Tagungsprotokoll.

1. „Es ist unverantwortlich, internationale Gutachtende für Evaluierungen in fragile Staaten zu senden.“

2. „Die Kontextbedingungen sind so schwierig, dass man auf Eval. verzichten sollte.“

3. "Sind im fragilen Kontext spezielle Ansätze & Verfahren für Evaluierungen nötig?“

Zuletzt geändert: 07. January 2019

Effizienzbewertung in Evaluation

Nach zwei Jahren legt die Arbeitsgruppe Effizienz nun ihre Handreichung zum Thema vor (Download hier). Wer sollte die Handreichung lesen? Um was geht es konkret? Wir sprachen mit Jens Koy, dem Koordinator der AG.

AK-Epol: An wen richtet sich das Papier?

Jens Koy: An GutachterInnen und Auftraggebende, die die Analysen im DAC-Kriterium „Effizienz“ in Projekt- und Programmevaluationen weiter qualifizieren wollen. Es geht um „durchschnittliche“ Projektevaluierungen und Programme der Entwicklungszusammenarbeit mit Evaluationsteams von 1-2 Personen, 10-20 Tagen Feldaufenthalt bei einer Gesamtevaluationsdauer von ca. 25-35 Tagen pro GutachterIn.

AK-Epol: Um was geht es konkret?

JK: Wie können in 1-2 Tagen Erhebungen zu „Effizienz“ vorgenommen werden? Dafür ist wichtig, dass EvaluatorInnen die Fragestellungen der Effizienzbewertung in ihr bereits vorhandenes Repertoire an Erhebungsmethoden und -instrumenten, wie Aktenanalysen, Interviews, Gruppengespräche, Workshops und Fragebögen, integrieren können. Dafür haben wir eine Reihe von Beispielen ausgearbeitet. Ein anderer wichtiger Punkt für die Effizienzbetrachtung ist der Vergleich. Wir haben dazu vier Ebenen identifiziert, wovon die allermeisten EvaluatorInnen schon heute 2-3 verwenden, sie aber i.d.R. nicht für die Effizienzdiskussion nutzen: a) Vergleich mit den früheren Vorgehensweisen im Projekt, b) Vergleich mit anderen Projekten, c) Standardindikatoren/Statistiken und  d) kontrafaktischer Vergleich im Sinne von: Was wäre eine effizientere Situation? Des Weiteren haben wir Tipps und Anregungen für die Nutzung von Stückkosten, Expenditure Tracking und Benchmarking aufgeführt…

AK-Epol: Das hört sich schon ganz schön umfassend an. Sollten jetzt Effizienzbewertungen in jeder Evaluation vertieft  werden?

JK: Nein! Gute Evaluationen benötigen nicht zwangsläufig explizite Effizienzanalysen. Ist zum Beispiel die Zusammenarbeit zwischen Geldgeber bzw. Förderorganisation und Partnerorganisation angespannt, dann können vertiefte Fragestellungen der Relevanz (Tun wir das Richtige? Ist unser Arbeitsansatz Stand der Fachdiskussion?) oftmals hilfreicher in puncto Erkenntnis, Lernen und Zusammenarbeit sein. 

AK-Epol: Und wie geht es jetzt weiter?

JK: Die Praxis der Effizienzbewertung bei Projekt- und Programmevaluationen in der Entwicklungszusammenarbeit steckt in vielen Bereichen noch in den Anfängen. Die aus anderen Arbeitsbereichen wie der Volks- und Betriebswirtschaft verfügbaren Methoden und Vorgehensweisen sind oft wenig alltagstauglich für die EZ. Von daher will und kann die Handreichung keine abschließenden Weisheiten verkünden, sondern nur zur maßvollen und bedarfsgerechten Anwendung von Methoden und Vorgehensweisen ermuntern. Sehr wichtig ist jetzt die Anwendung in der Evaluationspraxis. Sollten wir einen weiteren Bürokratisierungsschub feststellen, dann klingeln die Alarmglocken und wir müssen gegensteuern.

AK-Epol: Vielen Dank für das Gespräch! 

Zuletzt geändert: 07. January 2019

Artikel: Sind Evaluationen grau und langweilig? Veröffentlichung, Verwertung und Verbreitung von Entwicklungsevaluierungen

Sind unsere Evaluierungen viel zu technisch und zu langweilig, als dass die Öffentlichkeit sie wahrnimmt? Zur Erfüllung von Evaluationsaufträgen sind in aller Regel auch Datenbearbeitungen und Bewertungen zu technischen Details notwendig – kann man da erwarten, dass sie in Gänze tatsächlich durch die Öffentlichkeit wahrgenommen werden? Diesen und weiteren Fragen zum Thema Verwertung, Verbreitung und Veröffentlichung von Entwicklungsevaluierungen widmete sich der AK Entwicklungspolitik auf seiner diesjährigen Frühjahrstagung... (zum Artikel)

Zuletzt geändert: 17. June 2016

Dokumentation der Frühjahrstagung 2015 des Arbeitskreises Entwicklungspolitik

Tagungsthema: „Sind Evaluationen grau und langweilig? Veröffentlichung, Verwertung und Verbreitung von Entwicklungsevaluierungen“

13.-14. April 2015

Gastgeber: Brot für die Welt – evangelischer Entwicklungsdienst, Berlin

Montag, den 13.4.2015

Als Mitglied des Sprecherteams begrüßte zunächst Fr. Dr. Neubert die rund 50 Tagungsteilnehmerinnen und –teilnehmer aus Wissenschaft, EZ-Organisationen, politischen Stiftungen und der Consultingwirtschaft. Sie bedankte sich bei den Gastgebern für die Räumlichkeiten und die Organisation.

Fr. Neubert stellte die zentralen Fragen der Tagung vor, die in den eineinhalb Tagen produktiv und kontrovers diskutiert werden sollten. Die Klärung dieser Aspekte sei zentraler Auftrag der anwesenden Evaluatoren und Institutionen.

• Sind unsere Evaluierungen viel zu technisch und zu langweilig, als dass die Öffentlichkeit sie wahrnimmt?

• Zur Optimierung von Evaluierungen sind technische Details notwendig - sollen Evaluierungsergebnisse überhaupt durch die Öffentlichkeit wahrgenommen werden?

• Ist die Öffentlichkeit überhaupt an der Wirksamkeit von Vorhaben interessiert?

• Wenn ja, soll an der Vermarktung der Ergebnisse gearbeitet werden?

Nach Vorstellung des Programms übergab Fr. Dr. Neubert an Jens Koy, der als Moderator durch den Tag führte.

Im ersten inhaltlichen Block stellte die AG Effizienz, vertreten durch Barbara Winker von der Kindernothilfe, Bernhard Hoeper von der Welthungerhilfe und Jens Koy, den aktuellen Stand der Handreichung „Effizienzbewertung in Evaluationen“ vor. Fazit der Überlegungen der AG sei, dass mit der Effizienzbewertung sofort begonnen werden könne. Im Zentrum stehe die Frage, was der Mitteleinsatz koste und welche alternativen Vorgehensweisen es gebe. Sie betonten, dass die Bewertung des Kriteriums nicht als Audit, sondern als Lerninstrument zu sehen sei (weiter & Präsentation).

Im Anschluss gab Alexander Kocks von der DEval einen Input zur Cost-Utility Analysis. Diese Methode eigne sich für Maßnahmen mit mehreren, nicht-monetären Outcomes. Um unterschiedliche Outcomes zueinander in Beziehung zu setzen, müssten diese unter Anwendung verschiedener Methoden in Nutzwerte transferiert werden. Dazu böte sich eine Zusammenarbeit mit der Zielgruppe an. (weiter….).

Nach der Mittagspause begann der Block zum eigentlichen Tagesthema: Sind Evaluationen grau und langweilig? Tilman Henke, Leitung des Vorstandsbereichs Finanzen, Organisation und internationale Personaldienste bei Brot für die Welt – evangelischer Entwicklungsdienst, begrüßte die Teilnehmer. Er betonte, dass Evaluierungen elementarer Bestandteil der Arbeit von Brot für die Welt als lernende Organisation seien. Empfehlungen und Ergebnisse würden aber oft nur von den unmittelbar Beteiligten genutzt. Wichtig sei es daher, Querschnitte zu anderen Gebern und den Partnern im Süden herzustellen. Für den Austausch mit der Öffentlichkeit sei die Aufbereitung in verständliche Sprache zentrales Kriterium. Zusätzlich sei die Nutzung neuer medialer Wege über Film oder interaktive Websites in Betracht zu ziehen.

In der Keynote betrachtete der freie Journalist Dirk Asendorpf die Frage, warum Medien nicht über Evaluierungen berichten würden. Unabhängige Medien könnten vor allem durch kontraintuitive, originelle Themen begeistert werden, wozu die anonymisierten, technischen und oft gesichtslosen Evaluierungen nicht passten. Außerdem berge die Veröffentlichung ein gewisses Risiko, da die Endredaktion nicht mitgestaltet werden könne. Ein großer Teil des Verwertungspotenzials bliebe somit ungenutzt (weiter…).

Im Anschluss boten parallel verlaufende Werkstattgespräche Raum für offene Diskussionen. Die zentralen Erkenntnisse wurden anschließend im Plenum präsentiert (weiter…).

1) Wie erreichen wir die Aufmerksamkeit der Medien? mit Dirk Asendorpf (freier Journalist)

2) Zur Perspektive der Humanitären Hilfe , mit Katja Maurer von Medico International

3) Veröffentlichung von Evaluierungsergebnissen - Gefahr oder Chance für spendensammelnde Organisationen? mit Matthias Lanzendörfer (Misereor), Bernhard Hoeper (Welthungerhilfe) und Thorsten Baer (World Vision Deutschland).

4) Von Evaluation erzählen – Welche Geschichten braucht ein Redakteur? – mit Gregor Jungheim (Magazin DIE STIFTUNG)

Dienstag, den 14.4.2014

Zu Beginn des zweiten Tages stellte Martina Vahlhaus von der Deutschen Gesellschaft für internationale Zusammenarbeit (GIZ) die Realität der TZ-Evaluierung und die Organisation von Wahrnehmung dar. Die GIZ veröffentliche alle Ergebnisse in Form von Kurzberichten oder journalistisch aufgearbeiteten, übergreifenden Broschüren. Die Verbreitung würde durch Veranstaltungen, die Nutzung von Plattformen und enge Zusammenarbeit mit der Unternehmenskommunikation unterstützt. Zentrale Herausforderung seien wiederum die Sprache und Länge der Berichte im Allgemeinen und die Aufbereitung der DAC-Kriterien im Speziellen (weiter & Präsentation).

Im Anschluss berichtete Eva Terberger von der KfW Entwicklungsbank über die Farbigkeit von FZ Evaluierungen und deren eher graue Berichterstattung. Während die Inhalte in den Augen der Evaluierer/innen schillernd und interessant seien, interessiere sich kaum jemand anderes dafür. Die KfW wirke dem durch ein neues Berichtsdesign und eine verständliche Sprache in Kurzfassungen entgegen. Auch würde operatives Personal mit auf Evaluierungsmissionen entsendet, um Erfahrungen in das eigene Projektmanagement zu transferieren. Wichtig sei außerdem die zielgruppengerechte Aufbereitung. Abschließend plädierte sie für Bescheidenheit der Evaluierer/innen, da Entwicklungspolitik auch durch andere Faktoren maßgeblich beeinflusst würde (weiter & Präsentation).

In einer lebhaften Abschlussdiskussion wurden die Vorträge resümiert sowie offen geblieben Fragen formuliert. Vor allem standen dabei der Fokus auf die interne Verbreitung und das institutionelle Lernen, die Aufbereitung für die Öffentlichkeit sowie der Anspruch an die Weiterverwendung der Ergebnisse zur Debatte (weiter…).

Der inhaltliche Teil der Tagung endete mit einer Themensammlung für die Frühjahrstagung 2016. Fr. Neubert wies darauf hin, dass sich vor allem Themen mit einem methodischen und einem sektoralen Bezug bewährt hätten. Folgendes wurde gesammelt:

• Moderierte Diskussionsforen, zum Beispiel zum Thema Genderfrage: (Tagungsthema oder AG)

• Monitoring

o Wie sollen Monitoringsysteme aussehen um Evaluierbarkeit herzustellen?

o Monitoring der SDGs in Zusammenhang mit der Nachfolgediskussion zu Busan (Global Monitoring Framework)

• Neue Instrumente und Methoden zur Wirkungsmessung

• Wie lassen sich Evaluierungen bedarfsgerechter gestalten?

o Wie spiegeln wir Ergebnisse zurück ins Feld, was benötigen die Partner?

o Wie werden Ergebnisse in house verbreitet und wie zwischen den Häusern?

o Wie kann man Evaluierungen als OE Instrument nutzen?

o Wie kann die Datensammlung effizienter gestaltet werden, vor allem unter Verwendung moderner Technologie?

• Randomised Control Trials (RCT)

• OE im Bereich des Monitoring: Behinderung oder Tool für wirkungsorientiertes Monitoring?

• Wie evaluieren wir capacity development? Verbindung mit Effizienz Messung

• Abbau von Demokratie und Speckröllchen der EZ (Menge der gesammelten Daten steht nicht im Verhältnis zur Reflexion)

• Evaluierung in fragilen Staaten

o Evaluierung von Friedensbildungsprozessen

• Crowdsourcing bei Evaluierungen: wie können mehr Ressourcen genutzt werden?

Im abschließenden Blitzlicht wurde die Vielfalt des Themas und die Möglichkeit zum Austausch gelobt. Das Sprecherteam bedankte sich bei allen Teilnehmenden und verabschiedete sich!

Im Anschluss zum inhaltlichen Teil der Tagung fand daraufhin die Sitzung des Arbeitskreises Evaluation von Entwicklungspolitik statt (weiter...).

Zuletzt geändert: 17. June 2016

Effizienzbewertung in Evaluationen

Die AG Effizienz des AK Entwicklungspolitik stellt den Entwurf ihrer Handreichung zur Effizienzbewertung von Projekten und Programmen der Entwicklungszusammenarbeit zur Diskussion. Rückmeldungen bitte bis zum 14.04. an Jens.Koy@web.de (Mehr dazu im Papier auf Seite 4). Wir wünschen gute Lektüre (Download Handreichung hier).

Zuletzt geändert: 17. June 2016

Dokumentation der Frühjahrstagung 2014 des Arbeitskreises Entwicklungspolitik

Tagungsthema: „Evaluierung von Vorhaben der Politikberatung – Advocacy, Policy Advice und Good Governance –staatlicher und nicht-staatlicher Organisationen“

5. - 6. Juni 2014

Gastgeber: Physikalisch-Technischen Bundesanstalt (PTB), Braunschweig

Zum Tagungsprogramm

Donnerstag, den 5.6.2014

Als Mitglied des Sprecherteams begrüßte zunächst Frau Dr. Susanne Neubert die rd. 60 Tagungsteilnehmerinnen und -teilnehmer aus Wissenschaft, EZ-Organisationen, politischen Stiftungen und der Consultingwirtschaft. Sie bedankte sich bei Frau Dr. Stoldt, Fachbereichsleitung der PTB und Herrn Ackermann, Projektkoordinator für die Möglichkeit in diesen Räumlichkeiten zu tagen und für die hervorragende Organisation sowie großzügige Bewirtung durch die PTB.

Frau Neubert betonte zunächst die Wichtigkeit des Tagungsthemas. Es sei zentral für die Entwicklungszusammenarbeit, da Politikberatung die Kerntätigkeit dieses Berufsfeldes sei. Trotz des daher sehr relevanten und breiten Feldes würde die Evaluierung von Politikberatung oft vernachlässigt. Daher würde man nun dieser Fragestellung die gesamte Tagung widmen (weiter….).

Das Sprecherteam schlage folgende Leitfragen für die Tagung vor:

• Welche Methoden eignen sich?

• Welche Interessen werden berührt?

• Welche Daten werden benötigt?

• Welche Barrieren tun sich auf?

• Welche Akteure werden evaluiert?

• Welche Lösungsstrategien existieren?

Frau Dr. Marion Stoldt, Fachbereichsleiterin Technische Entwicklungszusammenarbeit der PTB, begrüßte ebenfalls die Teilnehmerinnen und Teilnehmer der Tagung und unterstrich mit der Messung als zentrales Element der PTB wie auch der Evaluierung die PTB als geeigneten Veranstaltungsort.

Bevor die erste Präsentation zum Tagungsthema gehalten wurde, stellte Jens Koy zunächst die Zwischenergebnisse der Arbeitsgruppe Effizienz vor. Er beschrieb die bisherige, noch junge Arbeit der AG und stellte eine geplante Handreichung für die Praxis vor. (weiter & Präsentation). Dr. Robert Poppe vom Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval), Kompetenzzentrum Methodenentwicklung, beschrieb im Anschluss zudem die Effizienzinitiative des DEval und die Zusammenarbeit mit der AG Effizienz und stellte Kernelemente eines Leitfadens und Methodenpapiers vor, die sich momentan in Arbeit befänden.

Nun hielten Franziska Krisch, heute ebenfalls am DEval, zuvor FAKT gGmbH, und Bernward Causemann, assoziiert bei FAKT gGmbH, einen Vortrag zu den Herausforderungen und Schlussfolgerungen einer Querschnittsevaluierung zur Politikbeeinflussung durch zivilgesellschaftliche Organisationen. Neben der Analyse des Beziehungsgeflechts und der Orientierung am Politikzyklus seien methodisch vor allem das Heranziehen sozialwissenschaftlicher Theorien des Wandels und eine Erhebung der Sichtweise möglichst vieler Betroffener hilfreich (weiter & Präsentation).

Nach der Mittagspause boten die politischen Stiftungen im Rahmen von parallel verlaufenden Werkstattgesprächen in Untergruppen Raum für offene Diskussionen. Anschließend wurden die zentralen Erkenntnisse dem Plenum präsentiert.

1. Eva-Maria Köhler-Renfordt: Einleitung zur Arbeit der politischen Stiftungen

2. Heinrich-Böll-Stiftung (Christiane Dilger): Querschnittsevaluierung der Arbeit der Stiftung 2012

3. Rosa-Luxemburg-Stiftung (Anja Scherkus und David Vossebrecher): Evaluation der Schnittstelle zwischen Zivilgesellschaft und Nationalversammlung in Vietnam

4. Hanns-Seidel-Stiftung (Klaus Heinle): Interne Evaluation einer Delegationsreise

5. Friedrich-Naumann-Stiftung (Eva-Maria Köhler-Renfordt): Evaluation der Zusammenarbeit mit Parteien im Ausland

 

Freitag, den 6.6.2014

Zu Beginn des Tages stellte Frau Dr. Justine Hunter von der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) in ihrem Vortrag Indikatorentypen und Kategorien für Good-Governance-Vorhaben vor und zeigte zentrale Herausforderungen im GIZ- Auftragsmanagement auf. Die Indikatorenbestimmung als politischer Prozess verlange eine Balance von Ownership und Verhältnismäßigkeit sowie eine genaue Konzeptualisierung von Governance (weiter & Präsentation)

Susanne von Jan, CEval, berichtete anschließend über die Evaluation politischer Institutionen als Beitrag zur Politikberatung. Sie beschrieb Hintergrund, Vorgehen, Besonderheiten und Herausforderungen am Beispiel Costa Rica. Es zeige sich der Vorteil eines Quellen- und Methodenmixes, aber auch die Notwendigkeit eines flexiblen Evaluierungsdesigns und bestimmter Vorkenntnisse der Evaluierenden (weiter & Präsentation).

In einer lebhaften Abschlussdiskussion wurden die Vorträge resümiert sowie offen geblieben Fragen formuliert. Vor allem standen dabei die Komplexitätsreduzierung zur Debatte, die Schwierigkeit der Zuordnung (Attribution) und der klaren Definition des Beitrags (Kontribution) sowie die Herausforderung eine geeignete Ziel- und Wirkungsorientierung zu verfolgen (weiter….).

Damit war der inhaltliche Teil der Frühjahrstagung beendet. Das Sprecherteam bedankte sich bei allen Teilnehmenden und verabschiedete sich!

Zuletzt geändert: 26. May 2015

Wie weiter mit der Effizienzbewertung in Evaluationen? - Frühjahrstagung 2013 des AK Entwicklungspolitik

Welche Ansätze zur Bewertung von Effizienz werden derzeit eingesetzt? Wie anspruchsvoll sind sie und wie werden sie in der Praxis bei Evaluationen umgesetzt? Effizienzbewertung war das Hauptthema auf der Frühjahrstagung des AK Entwicklungspolitik am 6. und 7. Juni 2013 in Bonn. Markus A. Palenberg, Institute for Developement Strategy (PPT) und Dr. Melody Garcia, Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) (PPT) führten in die Thematik und aktuelle Diskussion ein. Dann wurden anhand von vier Beispielen aus der Evaluationspraxis Erfahrungen und Möglichkeiten der Effizienzbewertung präsentiert und diskutiert. Die Bandbreite reichte von der KFW-Entwicklungsbank (Prof. Eva Terberger) über die Consulting-Wirtschaft (Lennart Raetzell, Ramboll Management Consulting) (PPT) bis hin zu den NGOs (Dr. Matthias Lanzendörfer, MISEREOR) (PPT) und freien Gutachterinnen und Gutachtern (Dr. Karin Stahl, freie Gutachterin). Die Diskussion wurde von den gut 70 Teilnehmenden der Frühjahrstagung interessiert verfolgt. Das Follow-up übernimmt in diesem Bereich eine am Ende der Tagung gegründete AG Effizienz, die im Rahmen des AK Entwicklungspolitik weiter zum Thema arbeiten wird. Ansprechperson ist derzeit Jens Koy (Jens.Koy@web.de).

Weitere spannende Themen der Frühjahrstagung waren die Präsentation und Verabschiedung des Papiers „Systemische Ansätze in der Evaluation“ (PPT), das im Rahmen einer AG entwickelt wurde und der Vortrag zum „Stand des Aufbaus des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval)“ durch den Direktor Prof. Helmut Asche.

Abschließend wählte der AK ein neues SprecherInnenteam. Sprecherin ist Dr. Susanne Neubert, Direktorin des Seminars für Ländliche Entwicklung, Berlin. Vertreter sind Dr. Stefan Silvestrini, Geschäftsführer der CEval GmbH, Saarbrücken und Jens Koy, freier Gutachter, Bonn.
 

Zuletzt geändert: 16. June 2015

Komplexität und systemische Ansätze - Veranstaltungen des AK-EPol im Rahmen der Jahrestagung

Auch auf der diesjährigen Jahrestagung war der Arbeitskreis Entwicklungspolitik mit zwei sehr gut besuchten Sessions vertreten:

SESSION 1: Evaluation von Programmen mit zahlreichen Dimensionen und Akteuren

     

  • Andrea Heisel (Stabstelle M&E, GIZ): Das Wirkungsmodell der GIZ – Antworten auf komplexe Interventionsmaßnahmen aus Sicht der GIZ (PPT)
  • Dr. Lioba Weingärtner (freie Gutachterin): Zwischenevaluation des Wiederaufbauprogramms Haiti der Welthungerhilfe (PPT)
  •  


SESSION 2: Evaluation von Programmen auf mehreren Politikebenen und zwischen unterschiedlichen Ressorts

     

  • Ursula Kopp und André Martinuzzi (Research Institute for Managing Sustainability der Wirtschaftsuniversität Wien): Komplexität durch Multi-Level-Governance – Erfahrungen im Einsatz von Systemaufstellungen in der Evaluation eines Strukturfondsprogramms (PPT)
  • Dr. Lioba Weingärtner (freie Gutachterin): Evaluierung der deutschen staatlichen humanitären Hilfe mit vielen Kooperationspartnern (PPT)
  •  


Darüber hinaus fand am Rande der Tagung das jährliche Arbeitstreffen des AK statt, in dem u.a. die Themen für die kommende Frühjahrstagung abgestimmt wurden. Weitere Informationen zu dem Treffen finden Sie im Protokoll.

Zuletzt geändert: 16. June 2015

Frühjahrstagung am 12./13. Mai 2011 in Bonn-Hardtberg

Der AK Entwicklungspolitik lädt zu seiner Frühjahrstagung 2011 ein, die von der Arbeitsgruppe „Systemische Ansätze und Evaluation“ gestaltet wird. Das Thema lautet „Systemische Ansätze in der Evaluierungspraxis: Potenziale und Grenzen“. Die Veranstaltung findet statt in den Räumen des Evangelischen Entwicklungsdienst in der Ulrich-von-Hassell-Straße 76 in 53123 Bonn-Hardtberg. Beginn ist am 12.5. um 10h30 und Ende am 13.5. um 13h00.

Die Gestaltung der Tagung folgt systemischen Prinzipien und ist interaktiv angelegt. Der Einstieg in die Tagung erfolgt mit einem sinnlichen Erlebnis von Grundprinzipien von Systemen und einer Einführung in die Arbeit der AG „SAE“. Die Vorstellung des systemischen Evaluationsansatzes  “Program Theory and Logic Models“ in 7 Stufen  nach Patricia Rogers und die Bearbeitung der vier zentralen Konzepte der systemischen Herangehensweise (Beziehungen - Stakeholderperspektiven - Analyseperspektiven – Systemgrenzen) geben einen Einblick in die systemische Praxis bei Evaluierungen. Der erste Tag der Veranstaltung schließt mit Diskussionen zu den Veränderungen in der Evaluierungspraxis durch systemische Ansätze im Hinblick auf deren Merkmale und Besonderheiten, auf Implikation für die Rolle der Evaluierenden, auf ihre Verknüpfung mit dem Logframe-Ansatz und auf mögliche Brücken zu den DAC-Evaluierungskriterien. Der Beginn des zweite Tages dient der Rekapitulation der Diskussionen des Vorabends. Potenziale und Grenzen systemischer Ansätze in der Evaluierungspraxis werden im Fishbowl diskutiert und Schlussfolgerungen werden gezogen zu der Fragestellung, ob und wie systemisches Denken die Qualität von Evaluation verbessern kann. Mit einem kritischen Rückblick auf die Tagung und dem Sammeln von Anregungen und offene Fragen für die AG „Systemische Ansätze und Evaluation“ lassen wir die Tagung ausklingen.Werbetafeln und Ansprechpartner geben über die gesamte Tagung  Auskunft über die von der AG SAE vorgestellten Verfahren und Instrumente. Die Ansprechpartner stehen auch bilateral und informell am Rand der Veranstaltung für Auskünfte zur Verfügung.
Eine Tagungspauschale von 60,00 € für Nichtmitglieder der DeGEval und von 40,00 € für Mitglieder ist bei Tagungsbeginn zu entrichten. Studierende zahlen ein Betrag von 20,00 €.

Im Anschluß an die Tagung führen wir eine Sitzung des Arbeitskreises Entwicklungspolitik (für Interessierte & Mitglieder der DeGEval) durch und besprechen aktuelle Themen (Fortführung von und neue Themen für Arbeitsgruppen, Vorbereitung des AK-Treffens und AK-Aktivitäten bei der DeGEval-Jahrestagung „Partizipation- dabei sein ist alles?“ in Linz, Vorbereitung der AK-Frühjahrstagung 2012, u.a.)

Wir bitten sich bis zum 30. April per E-mail an sigfrid@milango.com (mit Namen und Organisation) anzumelden.

Das Sprecherteam des Arbeitskreises: Petra Feil, Helge Roxin und Sigfrid Schröder-Breitschuh

Anmeldeformular und Programm der Frühjahrstagung

Zuletzt geändert: 06. September 2011

Frühjahrstagung 2010 am 6./7. Mai in Bonn

FRÜHJAHRSTAGUNG 2010
6. / 7. MAI 2009 bei InWEnt in BONN
„Wirkungsorientierung zwischen Alltagstauglichkeit und
wissenschaftlichem Anspruch“

Das Programm finden Sie hier.

Zuletzt geändert: 06. September 2011

AG Systemische Analyse und Evaluation

Vorschlag zur Gründung einer Arbeitsgruppe "systemische Analyse und Evaluation"

von Dirk Guenther und Stefan Silvestrini
Dirk Guenther, Leiter der Stabsstelle Evaluation der Welthungerhilfe, Bonn
Stefan Silvestrini, Bereichskoordinator Bildung und Entwicklungszusammenarbeit am Centrum für Evaluation, Saarbrücken


Auf der Frühjahrstagung 2008 des Arbeitskreises Entwicklungspolitik der DeGEval in Freiburg, wurde die Idee zu einer neuen AG „Systemische Analyse und Evaluation“ formuliert.

(Anmerkung: Mit „systemischer Analyse“ wird in diesem Zusammenhang die Untersuchung aller relevanten Wirkungszusammenhänge in der wirtschaftlichen, sozialen, politischen, kulturellen, ökologischen (etc.) Umwelt eines zu evaluierenden Programms oder Projekts verstanden. Dabei sind nicht nur alle von den Maßnahmen ausgelösten Veränderungen im „System“ zu betrachten, sondern darüber hinaus auch die Rückwirkungen der Umwelt (i.w.S.) auf die Programmumsetzung sowie auf die Nachhaltigkeit und weiteren Folgen der erzeugten Programmwirkungen.)


Im Folgenden soll die Idee zu diesem Thema kurz umrissen werden.

Projektplanung und Durchführung in der Entwicklungszusammenarbeit (EZ) und damit auch die Evaluation von EZ Vorhaben folgen meist der Logik von Wirkungsketten (zur Verknüpfung von Leistungen, Nutzung und Nutzen auf verschiedenen Ebenen). Wirkungsketten stellen ein stark vereinfachtes Model der menschlichen Wirklichkeit dar, da im Wesentlichen lineare Kausalbeziehungen abgebildet werden. Die reale Lebensumwelt wird dagegen von vielschichtigen und komplexen miteinander verbundenen Faktoren und Einflüssen, die fördernd, hemmend oder neutral aufeinander wirken, gebildet. Soziale Systeme der EZ stellen ein komplexes und offenes System von direkten und indirekten Wechselwirkungen dar.

Anders als in Forschungsfeldern wie der Ökonomie, der Ökosysteme, der Hydrologie oder den Technologiefolgen, werden zur Entwicklungszusammenarbeit bisher nur sehr wenige systemische Untersuchungen angestellt. Die Evaluationen (insbesondere Zwischen- und Endevaluation) der (projektumgebenden) EZ Sozialsysteme beruhen daher immer noch vorwiegend auf der spezifischen und praktischen Berufserfahrung der jeweiligen Gutachter, die hierbei „ihre“ System-Erfahrung in die Evaluation mit einbringen. Die Ergebnisse sind daher in hohem Maße subjektiv.  Abweichungen zwischen Ergebnissen der von unterschiedlichen Gutachtern durchgeführten Schluss- und ex-post Evaluationen, die nicht auf (objektiv messbaren) Veränderungen im Untersuchungssystem zurückzuführen sind, sind daher häufig.

Obgleich die Notwendigkeit von systemischen Ansätzen bei der Programmplanung und bei ex-post Evaluationen zur ganzheitlichen Bewertung der Maßnahmenwirksamkeit vielerorts anerkannt wird, kommen diese aufgrund ihres i.d.R. erheblichen Ressourcenbedarfs bisher nur selten zum Einsatz. Der hierfür erforderliche zeitliche und personelle Aufwand, ist von Durchführungsorganisationen oftmals nicht zu leisten, da sie i.d.R. nicht über die hierfür erforderlichen Mittel und Kapazitäten verfügen.

Hier könnte sich ein interessantes Feld zur Zusammenarbeit zwischen Praxis und Forschung ergeben. So könnten Untersuchungen von komplexen Wirkungszusammenhängen in der EZ, deren besseres Verständnis von der Praxis benötigt wird, verstärkt von der wissenschaftlichen Forschung durchgeführt werden. Dies könnte eine objektivere Basis für zukünftige Evaluationen geben, da sich Gutachter stärker auf Forschungsergebnisse stützen könnten. Dies wäre gerade bei der Abschätzung potentieller Wirkungen und deren Nachhaltigkeit bei Zwischenevaluationen nützlich.

Ziel der hier angeregten AG wäre: „den Bedarf der Praxis an systemischer Untersuchung der Sozialsysteme der Entwicklungszusammenarbeit und die Möglichkeit der Forschung zur Untersuchung dieser herauszuarbeiten“. Die AG soll keine Forschung betreiben, sondern zur Verbesserung der Zusammenarbeit von Forschung und Praxis beitragen, und gerade dafür wäre die DeGEval eine gute Plattform.

Mögliche Schritte einer solchen AG könnten sein:

     

  • Information (ggf. Fachvorträge) zu systemischer Untersuchung aus unterschiedlichen Themenfeldern um systemisches Denken aus verschiedenen Perspektiven darzustellen
  • Herausarbeiten der Bereiche, in denen in der EZ Forschungsbedarf zu systemischer Untersuchung besteht.
  • Identifikation möglicher Instrumente und Verfahren der verschiedenen Forschungstraditionen (z.B. Politikfeldanalyse, Technikfolgen-Abschätzung, Umweltforschung etc.)
  • Das Produkt einer solchen AG könnte eine kurze Veröffentlichung sein, in der die Thematik dargestellt, der mögliche Bedarf an systemischer Forschung umrissen sowie mögliche Herangehensweisen zur Umsetzung entsprechender Analysen (sowohl durch die Forschung als auch durch Vertreter der EZ-Praxis) aufgezeigt werden.
  •  


Eine solche verbesserte Zusammenarbeit wäre nicht nur für größere Organisationen vorteilhaft (da Forschung nicht zu ihren Aufgaben gehört, wissenschaftliche Qualität in der Evaluation aber häufig gefordert wird). Gerade auch kleinere Organisationen, die sich solche Untersuchungen kaum leisten können, und freie Gutachter könnten auf solche Ergebnisse zurückgreifen. Letztendlich sollte sich ein Vorteil für die Akteure der Entwicklung ergeben, denn für Systeme, die man besser versteht, kann man auch sinnvollere Verbesserungsmaßnahmen durchführen.

Die genannte AG "systemische Analyse und Evaluation" könnte parallel zur anderen angedachten AG "Budgethilfe" innerhalb des AK EZ der DeGEval laufen. Es ergäben sich keine größeren Überschneidungen und auch der Interessentenkreis wäre sicher ein anderer.

Wir hoffen durch diese Darstellung Interesse an einer solchen AG und Interesse an der Verbesserung oder Weiterentwicklung der dargestellten Gedanken geweckt zu haben.


Kontakt:
Dipl.-Soz. Stefan Silvestrini
Bereichskoordinator Bildung und Entwicklungszusammenarbeit
Centrum für Evaluation (CEval), Universität des Saarlandes
Postfach 15 11 50, 66041 Saarbrücken
Tel.: 06 81 - 3 02 - 36 79
Fax: 06 81 - 3 02 - 38 99

E-Mail: s.silvestrini@ceval.de

Zuletzt geändert: 10. November 2011

Frühjahrstagung

Frühjahrstagung des AK Entwicklungspolitik
5. / 6. Juni 2008
Freiburg

"WIRKUNGSANALYSEN"

> Programm/ Anreise/ Unterkunft

> Anmeldeformular

Zuletzt geändert: 06. September 2011

Sprecherteam insgesamt

E-Mail: ak-epol-huhi@degeval.org

 

Einzelkontakte:

Nikolai Hergt
freier Evaluator und Berater
nikolai.hergt@googlemail.com 

Thorsten Bär
World Vision Deutschland e.V.
thorsten.baer@wveu.org

Kirsten Vorwerk
DEval
kirsten.vorwerk@DEval.org

AK-Newsletter Entwicklungspolitik und Humanitäre Hilfe
Abonnieren Sie den Newsletter des AK Entwicklungspolitik und Humanitäre Hilfe.