Degeval

Ein aktuelles und "heiß" diskutiertes Thema ist momentan die Strategische Umweltbewertung für Programme der neuen Förderperiode der Strukturfonds 2007-2013.

Wir haben für Sie ein Handbuch zu diesem Thema gefunden, das wir Ihnen empfehlen möchten. Es entstand im Rahmen des Interreg IIIC-Projektes "GRDP - Greening regional development programmes" und wurde im Februar 2006 in englischer Sprache veröffentlicht.

Link zum GRDP-Projekt: www.grdp.org

Vorwort der Europäischen Kommission zum Handbuch  (pdf)

Download des Handbuchs (pdf)

Workshop 20./21.6.2005 in Magdeburg

Vom Wissen zum Handeln: Evaluation im Spiegel Ihrer Nutzung

Am 20./ 21. Juni fand in Magdeburg der Workshop des Arbeitskreises Strukturpolitik statt. Es nahmen ca. 40 Evaluatoren und Vertreter von Verwaltungen auf Landes- und Bundesebene teil. Der diesjährige Workshop der Analyse widmete sich  weiterer Funktions- und Leistungsbedingungen des Evaluationssystems im Bereich der Strukturfonds in Deutschland. Rege diskutiert wurden die Rolle von Monitoring und Evalueriung und ihr erfolgreiches Zusammenspiel. Am zweiten Tag stand der Nutzen von Evaluierungen im Vordergrund.

 Hier finden Sie das Programm (pdf) und die Beiträge der Referentinnen und Referenten zum Download (pdf):

Norbert Heller: Der Weg vom Einzelprojekt zu Wachstum und Beschäftigung (Beitrag bitte bei den Sprechern des AK anfordern)

Lars Balzer: Wie werden Evaluationsprojekte erfolgreich?

Michael Ridder: Erfahrungen aus dem Monitoring von Strukturfondsprogrammen: Konsequenzen für die zukünftige Förderperiode

Kai Stryczynski: Monitoring in der neuen Förderperiode: Weniger Indikatoren, aber besser?

Oliver Schwab / Kathleen Toepel: Nutzung von Evaluierungen - Ergebnisse der Befragung

Josef Efken: Evaluation: Summativ - partizipativ - formativ .... und suboptimal

Regina Grajewski: "Das wussten wir doch alles schon!"

Annegret Bötel: Vom Wissen zum Handeln? Information, Evaluation und ihre Nutzung

Der Arbeitskreis Strukturpolitik beteiligte sich mit zwei gut besuchten Workshops am Programm der Jahrestagung in Wien.

1) Evaluierung von Arbeitsmarktpolitik am Beispiel EQUAL Österreich
Dieser Workshop stand im Zeichen der Evaluierung von Arbeitsmarktpolitik. Der Themenschwerpunkt der Jahrestagung zur Evaluierung der Qualität von Reformen wurde in Hinblick auf das innovative arbeitsmarktpolitische Programm EQUAL Österreich aufgegriffen. Die Gemeinschaftsinitiative EQUAL zielt darauf ab, Menschen mit Problemen in Zusammenhang mit der Integration am Arbeitsmarkt zu unterstützen und die Entwicklung neuer Methoden und Ansätze zur Bekämpfung aller Arten von Diskriminierung im Hinblick auf den Arbeitsmarkt zu fördern. Die KMU FORSCHUNG AUSTRIA stellte die aktuellen Ergebnisse der EQUAL-Programmevaluierung vor. Zudem präsentierten einige EvaluatorInnen von EQUAL-Partnerschaften die internen Evaluierungen ihrer EQUAL-Aktivitäten.

Moderation des Workshops: Dr. Sonja Sheikh und MMag. Eva Heckl (KMU FORSCHUNG AUSTRIA)

Übersicht der ReferentInnen:

2) Evaluierung - hart an der Grenze

Ausgangspunkt dieses Workshops war die Zwischenevaluierung der grenzüberschreitenden Programme aus Interreg IIIA und Phare CBC an der (ehemaligen) österreichischen Außengrenze (mit Slowenien, Ungarn, der Slowakei und Tschechien). Diese Evaluierung wurde – ebenso wie die gesamte Programmkonzeption und –abwicklung - in enger Zusammenarbeit mit den Verwaltungsbehörden der Nachbarländern durchgeführt. EvaluatorInnen des INTERREG-Programmes aus Österreich arbeiteten mit ExpertInnen aus den Nachbarländern zusammen. Die „Pflicht“ der Halbzeitevaluierung wurde dabei mit der „Kür“ einer begleitenden Evaluierung verbunden. Anhand der Erfahrungen im Zuge der Evaluierung wurden in diesem Workshop die unterschiedlichen Zugangsweisen und Interessen an der Evaluierung von Seiten der AuftraggeberInnen, der EvaluatorInnen und der umsetzenden Sekretariate herausgearbeitet.

Moderation: Herta Tödtling-Schönhofer (ÖIR Managementdienste GmbH, Wien) Referent: Richard Hummelbrunner (Evaluator; ÖAR): Evaluierung an der Grenze: ein Überblick über die Schwierigkeiten und Möglichkeiten.

Die Halbzeitbewertung der Strukturfonds - Eine Bestandsaufnahme

Ende 2003 wurde der Zyklus der Halbzeitbewertungen dieser Förderperiode für die Strukturfonds abgeschlossen. Eine Vielzahl von Halbzeitevaluierungen sind in den letzten Jahren durchgeführt worden. Die Teilnehmer selbst haben entweder Evaluierungen durchgeführt oder als Auftraggeber begleitet.

Eine Bestandsaufnahme der dabei gesammelten Erfahrungen kann alle direkt Beteiligten, von der Europäischen Kommission, über die Verwaltungen von Bund und Ländern bis zu den Evaluierenden dabei unterstützen, Evaluierung zukünftig besser zu nutzen und effizienter durchzuführen.

Stärken und Schwächen der im deutschsprachigen Raum durchgeführten Halbzeitbewertungen standen daher – gemeinsam mit internationalen Erfahrungen - im Mittelpunkt des Frühjahrsworkshops des AK Strukturpolitik der DeGEval.

Wir haben für den Frühjahrsworkshop Beiträge gesucht, die vor dem Hintergrund der aktuellen Halbzeitbewertungen Erfahrungen aufgreifen, systematisieren und analysieren. Die Beiträge der beiden Tage greifen Aspekte aus den folgenden Themenfeldern auf:

1. Evaluations-Management: Steuerung der Evaluierung, Verhältnis zwischen Auftraggeber und Auftragnehmer, Beteiligung anderer Partner und Berücksichtigung der stakeholder-Perspektive
2. Evaluations-Design: Evaluierung komplexer Programme, Schwerpunktsetzungen der Evaluierung, Fragen der Zusammenfassung unterschiedlich gelagerter Maßnahmen, fondsübergreifende Evaluierung
3. Evaluations-Kultur und Evaluations-System: Nutzen der Evaluierung, Lernfähigkeit von Evaluatoren und Verwaltungen / Implementationssystemen, "Nachfrage" nach Evaluationen

Ausgewählte Beiträge sind auch in der Zeitschrift für Evaluation 1/2005 veröffentlicht worden.

Pieter van Run: Halbzeitbewertung Ziel 2 in den Niederlanden

Annegret Boetel / Florian Niedlich: Flankierung des Programmstarts durch Evaluierung?

Birgit Koch: Erfahrungsbericht der 6-Länder-Halbzeitbewertung - Fallstricke und Überraschungen des neuen Organisationsansatzes

Bernhard Forstner: Zentrale Evaluation - Synergieeffekte oder "Bewertung von der Stange"?

Sebastian Elbe: Evaluierung im Spannungsfeld zwischen Kontrolle und Lernprozess

Kai Stryczynski: Der Prozess der Halbzeitbewertung in der EU

Wolfgang Jaedicke: Bilanz der deutschen Halbzeitbewertungen zum ESF - Ist der Sprung nach vorn gelungen?

Douwe Grijpstra: Assessment of the ESF Mid Term Evaluations in Austria, Flanders, Greece and the Netherlands

Der AK Strukturpolitik gestaltete auf der Jahrestagung der Degeval in Hamburg zwei Workshops:

1) Evaluierung mit qualitativen Methoden zur Bewertung weicher Faktoren

 Ausgangspunkt unserer Überlegung für die Themenwahl war, dass über die "harten" Fakten hinaus bei der Umsetzung des Strukturfonds oder anderer Fördermaßnahmen auf der lokalen Ebene auch solche struktur- und organisationsbezogenen Faktoren eine Rolle spielen können, die sich nur schwer abbilden lassen. Fallstudien dienen u.a. dazu, regionale Besonderheiten und unterschiedliche Gestaltungsmöglichkeiten "vor Ort" bei der Evaluation angemessen berücksichtigen zu können.

Beiträge von:

- Petra Müller und Werner Schuler, IAB Nürnberg: Qualitative Aspekte der dezentralen Implementation des ESF-BA-Programms: Untersuchungsansatz und Ergebnisse der Begleitforschung

- Andrea Dorr, KMU FORSCHUNG AUSTRIA Wien und Andrea Egger abif Wien:Evaluierung der Gemeinschaftsinitiative EQUAL Österreich - Vorgehensweise und Methodik unter besonderer Berücksichtigung qualitativer Analyseverfahren

2) Die Wirtschafts- und Sozialpartner in der Strukturfondsförderung - Bewertung ihrer Beteiligung

Die Evaluierung des Prinzips "Partnerschaft" bezieht sich auf die europäischen Strukturfonds, insbesondere Artikel 8, 15-18 und 35 der Allgemeinen Verordnung. In dem Beitrag von Frau Saeed ging es um die Einbeziehung von Wirtschafts- und Sozialpartnern in die Umsetzung, Planung und Evaluierung der Förderung am Beispiel einer Kontaktstelle in Berlin. In dem Beitrag von Herrn Efken stand die horizontale Partnerschaft zwischen Europäischer Kommission und Mitgliedstaat im Mittelpunkt.

Beiträge von:

- Josef Efken, FAL Braunschweig: Das Prinzip Partnerschaft - Spektrum und Messbarkeit

- Sandra Saeed, ISA-Consult GmbH Berlin: Erfahrungen und Erwartungen aus Berlin an die Partnerschaft

Netzwerke als Brücke zwischen Projekt und Programm - Wie kann Evaluierung den Anforderungen von vielschichtigen Programmen gerecht werden?

Der AK Strukturpolitik der Deutschen Gesellschaft für Evaluation veranstaltete am 26./27. Februar 2003 an der FAL in Braunschweig seinen zweiten Frühjahrsworkshop. Es nahmen rund 50 EvaluatorInnen und Auftraggeber teil.

Im Mittelpunkt des ersten Tages stand das Thema "Evaluierung von Netzwerken" in den verschiedenen Politikfeldern. Im Moment sind ja Netzwerke als Politikmodell sehr in Mode und damit auch die Probleme mit der Evaluierung solcher Förderprogramme. Verschiedene Evaluatoren und Auftraggeber solcher Programme (z.B. Lernende Regionen, Leader, Equal, InnoRegio u.a.) unterschiedlicher Politikfelder kamen zum Austausch zusammen. Der Focus der Beiträge lag auf dem methodischen Vorgehen und Probleme bei der Umsetzung des Evaluierungsdesigns für solche netzwerkorientierten Programme.

Am zweiten Tag dieser Veranstaltung wurde die Diskussion um die Evaluierung von Querschnittsthemen in der Strukturfondsförderung fortgeführt. Die ersten Beiträge auf der Jahrestagung in Mainz im Oktober 2002 zu diesem Thema ließen noch einige Dimensionen des Themas offen, die auf dem Workshop vor allem hinsichtlich praktischer Aspekte der Evaluierung von Chancengleichheit und Nachhaltigkeit vertieft werden konnten.

Programm und vorliegende schriftliche Beiträge (pdf)

Der Arbeitskreis Strukturpolitik gestaltete auf der Jahrestagung in Mainz insgesamt drei Workshops, deren Themenstellungen mit Teilnehmerzahlen von bis zu 70 Personen ein überwältigendes Interesse fanden. Sie finden die meisten Beiträge der Referentinnen und Referenten auf dieser Seite zum Download.

1) Standards zur Qualitätsentwicklung? - Die Halbzeitbewertung der Strukturfonds

Im Rahmen der Diskussion wurde anhand der Erfahrungen mit der Halbzeitbewertung der Strukturfonds 2000-2006 der Frage nachgegangen, inwiefern die Standards als Dialoginstrument und Leitfaden zur Selbstbindung taugen. Dabei wurden die folgenden Aspekte betrachtet:

• Ausschreibungsverfahren
• Steuerung der Evaluation
• Auswahl der Methoden

Wir haben dazu ein Podium aus Vertretern von Europäischer Kommission, Bund, Ländern und Evaluatoren zusammengestellt (Jochen Lang - Bundesministerium für Verkehr, Alexandra Schubert - Finanzministerium Brandenburg, Dietmar Braun - Europäische Kommission, Regine Grajewski, FAL).

2) Evaluation von Querschnittsthemen in der Strukturpolitik: Gender-Mainstreaming und Nachhaltigkeit

In der neuen Förderperiode der Strukturfonds 2000-2006 haben einige Querschnittsthemen, die gleichermaßen in allen Fonds von Bedeutung sind, an Gewicht gewonnen. Dazu gehören vor allem die Chancengleichheit und die Nachhaltigkeit. Die Evaluation dieser Themen stellt auch die Evaluatoren vor neue Herausforderungen. Im Mittelpunkt dieses Workshops stand daher der fondsübergreifende Austausch über Methoden und Ansätze zur Evaluation dieser Querschnittsthemen.

• Barbara Fährmann (FAL Braunschweig): Ein Bündel voller Ziele und Instrumente - Zum Umgang mit der themenbezogenen Querschnittsbewertung von Entwicklungsprogrammen für den ländlichen Raum
• Benno Savioli / Thomas Mirbach / Henni Meseke (Feedback Bremen, Lawaetz-Stiftung, Compass Bremen): Evaluieren Sie Gender Mainstreaming! - Von der Kunst, einen Pudding an die Wand zu nageln.
• Daniela Glimm-Lükewille (TU Darmstadt): Nachhaltigkeit, öffne dich! - Methodische Ansätze einer thematischen Evaluation der EU-Strukturfonds (pdf1 - pdf2)

3) Methodik, Durchführung und Ergebnisse von Vergleichsgruppenanalysen

Um im Rahmen einer umfassenden Wirkungsanalyse alle im Zusammenhang mit einer Fördermaßnahme stehenden Wirkungen bestimmen zu können, ist streng genommen die Simulation einer Situation ohne die Fördermaßnahme notwendig, um diese mit der tatsächlichen Entwicklung mit der Maßnahme vergleichen zu können. Die Differenz ist der Förderung als Nettowirkung zurechenbar. Ein Weg dazu sind so genannte Vergleichsgruppenverfahren, deren Methodik an Hand von praktischen Beispielen diskutiert wurde.

• Marco Puxi (ISG Dresden): Vergleichsgruppenanalysen in der berufsbegleitenden Qualifizierung in Sachsen
• Axel Deeke / Thomas Kruppe (beide IAB Nürnberg): Inhaltliche und methodische Aspekte von Vergleichsgruppenanalysen in der Evaluation des ESF-BA-Programms (pdf)
• Lukas Mitterauer (Universität Wien, Zentrum für Evaluation und Controlling): Was kostet die aktive Arbeitsmarktpolitik? - Eine Vergleichsgruppenanalyse mittels Sozialversicherungsdaten (pdf)

Der erste Workshop des AK "Strukturpolitik" fand am 7./8.3.02 an der Fachhochschule für Verwaltung und Rechtspflege in Berlin-Lichtenberg statt (Programm & Vorträge). Die Resonanz war nicht nur unter den Evaluatoren, sondern auch unter den Fondsverwaltern und Verwaltungen, die für Förderprogramme im Bereich der Strukturpolitik verantwortlich sind, sehr groß. Es nahmen insgesamt 37 Personen aus Verwaltung, Wissenschaft und Beratungsunternehmen teil.

Auf der Jahrestagung der DeGEval in Speyer im Oktober 2001 wurde auf einem ersten Treffen Interessierter beschlossen, einen AK Strukturpolitik der DeGEval zu gründen. Auf diesem Workshop hat sich dieser AK nun auch offiziell konstituiert.

Als künftige Arbeitsgebiete des Arbeitskreises wurden diskutiert:

• Bestandsaufnahme: Grundlage der weiteren Arbeiten ist eine Bestandsaufnahme über Umfang und Art der durchgeführten Evaluationen in den einzelnen Bereichen der Strukturpolitik, sowie die dort eingesetzten Methoden, Verwendung der Ergebnisse, etc. Daraus kann eine dauerhafte Internet-Plattform für den Informationsaustausch zu Evaluationen im Bereich Strukturpolitik (Ausschreibungen, Methodendiskussionen, etc.) erwachsen. Auf der Basis der DeGEval-Webseite soll ein erster Entwurf von möglichen Inhalten für eine solche Internet-Plattform entwickelt werden.
• Leitlinien zu Aufgaben und Leistungsfähigkeit von Evaluationen. Ein zweiter Arbeitsbereich des Arbeitskreises besteht darin, Erwartungen, Aufgaben und Leistungsfähigkeit von Evaluationen zu diskutieren. Dies schließt Aspekte wie die Definition der Evaluationsfragestellung, die Gestaltung von Ausschreibungen, Qualität von Evaluationsmethoden und -ergebnissen, aber auch unterschiedliche Erwartungen über die Funktion und Leistungsfähigkeit der Evaluation mit ein. Ergebnis dieses Arbeitsschrittes könnten am Evaluationsprozess ausgerichtete Leitlinien zur Qualitätssicherung sein.
• Auf der Grundlage der Klärung der eigenen Erwartungen bezüglich Leistungsfähigkeit und Aufgaben der Evaluation beteiligt sich der Arbeitskreis an der Erarbeitung von fachgebietsübergreifenden Standards der Evaluation.
• Beiträge des Arbeitskreises für die 5. DeGEval-Jahrestagung im Oktober 2002 in Mainz: "Evaluation - Kompetenzen entwickeln und nutzen". Vorläufig ausgewählt wurden bisher:
  •  Evaluierung von Querschnittsthemen (Chancengleichheit, Informationsgesellschaft, nachhaltige Entwicklung u.a.) in den Strukturfondsprogrammen
  • Datenbeschaffung und Indikatoren in der Halbzeitevaluierung der Strukturfonds, Verhältnis von Evaluierung und Monitoring
  • Reflexion über die Rolle des Evaluators und die Standards der DeGEval

Vorträge des Workshops

Michaela Gensheimer, Senator für Wirtschaft und Häfen Bremen
Definition aussagefähiger und erfassbarer Kontextindikatoren bei der Evaluierung von Maßnahmen der Stadtentwicklung (pdf)     

Regina Grajewski / Birgit Koch, FAL Braunschweig
Prof. Dr. Schrader (FAL), Prof. Dr. Seyfried (FHVR), Gerald Wagner (isw)
Zur Abstimmung zwischen Monitoring und Evaluation (Vortrag und Folien als pdf)   
Diskussionsrunde zum Thema: „Standards für Evaluation im Bereich der Strukturpolitik“ (pdf)    

Heinz Wendt u.a., FAL Braunschweig
Datenbeschaffung für die Evaluation von Fördermaßnahmen im Bereich der Marktstrukturverbesserung (pdf)    

Michaela Gensheimer, Senator für Wirtschaft und Häfen Bremen
Erhebung von Indikatoren für mehrere Förderprogramme (pdf)

Petra Wagner / Angelika Zartl, ARC Seibersdorf
Einsatzmöglichkeiten von bibliometrischen Methoden für die Bewertung von komplexen Förderprogrammen (pdf)    

Rolf Bergs, Planung & Forschung, Bad Soden
Ziele und Grenzen von SWOT-Analysen in den Strukturfondsprogrammen (pdf)    

Peter Frankenfeld, Universität Bremen   
Schafft regionale Strukturpolitik eigentlich Arbeitsplätze? Sinn und Unsinn der Messung von Beschäftigungseffekten (pdf)