Bisherige Aktivitäten

Der Workshop 2024 des AK-Strukturpolitik fand am 25. und 26. April mit über 40 Teilnehmenden in Düsseldorf in Zusammenarbeit mit dem Ministerium für Wirtschaft, Industrie, Klimaschutz und Energie des Landes Nordrhein-Westfalen statt.

Dr. Henze, Leiter der Abteilung Wirtschaftsförderung und zentraler Ansprechpartner für die Kommunale Wirtschaftsförderung, begrüßte die Anwesenden und beleuchtete das Thema Evaluation aus dem Blickwinkel eines Auftraggebenden, der ein großes Förderbudget verwaltet. In diesem Zusammenhang sei es wichtig, dass der Einsatz von öffentlichen Mittel durch die Evaluation kritisch hinterfragt wird. Die Unabhängigkeit der Evaluation ist wesentlich.

Jan Kramer von Prognos gab einen Erfahrungsbericht aus der begleitenden Evaluation im EFRE-NRW 2014 bis 2020. Erfolgsfaktoren der Evaluationsaktivitäten waren umfassende Governance-Strukturen, komplementäre Kompetenzen und ein aufgabengerechter Methodenmix. Es wurden sehr unterschiedliche Studien angefertigt, teilweise auf eher operative Fragestellungen ausgerichtet, aber auch theoriebasierte (Wirkungs-)Evaluationen, in die sich auch kontrafaktische Analysen sinnvoll als einzelner Baustein integrieren lassen.

Vortrag Evaluierung des EFRE NRW 2014-2020 Ein Erfahrungsbericht

Ergebnisse einer KI-gestützten Meta-Analyse von Evaluationen der Europäischen Kohäsionspolitik stellte Zareh Asatryan vom ZEW – Leibnitz-Zentrum für europäische Wirtschaftsforschung vor. Der Titel seines Vortrags lautete: „Evidence based policy or beauty contest?“. Im Mittelpunkt der Analyse standen rund 2.300 Zusammenfassungen von Evaluationen der EU-Mitgliedstaaten, die KI-gestützt auf „sentiment“ (Stimmungsbild) kategorisiert wurden. Treffen die Zusammenfassungen eher positivere oder negativere Aussagen zum Erfolg kohäsionspolitischer Programme und Maßnahmen? Im Vergleich zu wissenschaftlichen Studien, so dass Analyseergebnis, wird der Erfolg deutlich positiver eingeschätzt. Verschiedene Gründe für diesen Befund werden diskutiert, u. a. der Einfluss der Verwaltungsbehörden auf die Ergebnisse von Evaluierungsstudien.

Link auf das Paper vom ZEW

Im folgenden Block wurden neuere Entwicklungen im Bereich der Evaluierungen der Strategiepläne der Gemeinsamen Agrarpolitik 2023 bis 2027 vorgestellt. Für das BMEL gab Nina Lüddecke ein Update zu den Evaluierungsvorbereitungen des deutschen Plans. Ausschreibungen für die unterschiedlichen Zielbereiche sollen noch in 2024 erfolgen, die Evaluierungsarbeiten Ende 2025 starten. Andreas Resch stellte die Umsetzung des Evaluierungsplanes des GAP-Strategieplans in Österreich vor. Hier wird seit über einem Jahr intensiv an den Details vor allem zur Bereitstellung von geeigneten Daten gearbeitet. Angesichts der europaweiten Bauernproteste in den Wintermonaten beschäftigt sich der Europäische Evaluierungs-Helpdesk für die GAP, wie Hannes Wimmer ausführte, derzeit mit der Durchführung einer Studie zu den bürokratischen Lasten landwirtschaftlicher Betriebe im Auftrag der DG-Agri, neben den weiteren Aktivitäten, die jährlich zwischen DG-Agri und Helpdesk vereinbart werden.

Vortrag Evaluation GAP-Strategieplan in Deutschland

Vortrag Evaluation GAP-Strategieplan in Österreich

Thomas Schwab von der Bertelsmann-Stiftung stellte eine Studie zur Abschätzung der ökonomischen Effekte der Energiewende auf Europas Regionen vor. Die Wachstums- und Beschäftigungseffekte einer nachhaltigen Energieversorgung entsprechen, so das Fazit der Studie, in etwa dem derzeitigen System. Kosten und Nutzen sind aber regional sehr unterschiedlichen verteilt. Die Ergebnisse der Input-Output-Modellierungen zeigen, dass insbesondere ländliche Regionen profitieren.

Vortrag Energising EU Cohesion

Weitergehende Informationen

In einer abschließenden Paneldiskussion, die von Stefan Meyer moderiert wurde, diskutierten Michael Thöne vom Finanzwissenschaftlichen Forschungsinstitut an der Universität zu Köln, Johannes Venjakob vom Wuppertal Institut für Klima, Umwelt und Energie und Klaus Sauerborn von der Taurus Eco Consulting über transformative Strukturpolitik. Die Einführung in das Thema gab Nils Biermann vom Ministerium für Umwelt, Naturschutz und Verkehrs des Landes Nordrhein-Westfalen, Referat VIII-B5 „Transformative Strukturpolitik, EU-Strukturfonds, Rheinisches Revier“. In der Diskussion wurde herausgestellt, dass es sich um eine Daueraufgabe handeln würde. Die Instrumente der klassischen Strukturpolitik seien zwar teilweise geeignet, neue Instrumente und Verfahren aber erforderlich, auch unabhängig von den Programmperioden. Die Ansätze transformativer Strukturpolitik sollten nicht zu komplex ausgestaltet werden.

Vortrag Ansätze einer transformativen Strukturpolitik

Der zweite Tag begann mit einem Vortrag von Christine Hamza von M&E Factory zur Ex-post-Evaluierung der Interreg-Programme 2014 bis 2020. Die Programme sind sehr heterogen, sodass die Herausforderung bestand, in den genutzten Wirkungsmodellen diese Heterogenität abzubilden, aber so zu kondensieren, dass die Evaluation überhaupt handhabbar blieb. Es wurde auch der Frage nach Langzeit-Ergebnissen nachgegangen. Was bleibt nach Abschluss der Programme. Dieser Frage wurde sich durch Rückgriff auf die vorherige Förderperiode genähert. Im Ergebnis zeigt sich, dass in den Regionen, in denen angestoßen durch die Interreg-Programme, tatsächlich grenzüberschreitende Hindernisse angegangen werden, auch Langzeit-Effekte gefunden werden konnten.

Vortrag European Territorial Cooperation

Ein weiterer Vortrag von Silke Haarich von Spatial Foresight beschäftigte sich mit der Kontributionsanalyse in der Wirkungsevaluation. Ausgangspunkt war die Frage, wie evaluiert werden kann, wenn sich Wirksamkeit und Wirkung erst aus einem Zusammenspiel von Maßnahmen ergeben, Attribution und Kausalität nicht bestimmt werden können. Beispiel war ein Wirkungsmodell für eine Maßnahme in NRW, mit der Schüler:innen mit Endgeräten ausgestattet wurden. Die Ergebnisse lassen sich zwar messen, aber schon der direkte Effekt auf begünstigte Personen/Organisationen hängt davon ab, dass viele anderen Faktoren, die außerhalb der Maßnahme liegen, erfüllt werden. Die Kontributionsanalyse hilft bei der systematischen Rekonstruktion von Wirkungsmodellen, um zu kausalen Aussagen über Interventionen und ihre Ergebnisse zu kommen („Generative Kausalität“).

Vortrag Kontributionsanalyse in der Wirkungsevaluierung von Strukturpolitik

Der zweite Block beschäftigte sich mit LEADER. Marika Meisenzahl vom Europäischen Rechnungshof stellte die wesentlichen Ergebnisse eines Sonderberichts aus dem Jahr 2022 vor. Dieser Sonderbericht hatte die Europäische Kommission veranlasst, eine spezifische Evaluationsstudie in Auftrag zu geben. Ergebnisse dieser Studie ergänzt um Ergebnisse aus bundesdeutschen LEADER-Evaluationen stellte Kim Pollermann vom Thünen-Institut für Lebensverhältnisse in ländlichen Räumen vor. Melanie Kossatz vom Spreewaldverein erweiterte die Perspektive auf LEADER um den Praxisblick. Sie stellte das ineinandergreifende System von Monitoring und Evaluierung im Bundesland Brandenburg vor. Dies kann als Basis für einen Lernprozess in den LEADER-Regionen dienen.

Der Rechnungshof kam in seiner Studie zu sehr kritischen Einschätzungen bezüglich LEADER. Man erkenne nur einen teilweisen Fortschritt gegenüber einer vor rund zehn Jahren durchgeführten Studie. Unbestritten würde LEADER das lokale Engagement fördern, gleichzeitig entstünden zusätzliche Kosten und komplizierte Genehmigungsverfahren. Oftmals würden Standardprojekte gefördert, die auch ohne LEADER möglich wären. Evaluationsseitig konnte herausgestellt werden, dass der höhere Aufwand zur Umsetzung von LEADER mit einem höheren Sozialkapital korreliert sei. Es gibt viele Stellschrauben in der Umsetzung, durch die der LEADER-Mehrwert gehoben werden kann. Aus Sicht der Praxis geht es vor allem darum, Menschen zu befähigen, regionale Entwicklungsprozesse mitzugestalten.

Vortrag zum Sonderbericht 10/22

Vortrag und Mehrwert bei LEADER - Untersuchungsansätze und Evaluierungsergebnisse

Weitere Unterlagen:

• Sonderbericht des Europäischen Rechnungshofes zu LEADER: https://www.eca.europa.eu/Lists/ECADocuments/SR22_10/SR_Leader_DE.pdf
• Evaluation support study of the costs and benefits of the implementation of LEADER: https://data.europa.eu/doi/10.2762/995751
• Ergebnisse der 5-Länder-Evalution zu LEADER: Länderübergreifender Bericht zur Umsetzung von LEADER in der Förderperiode 2014–2022
• Veröffentlichung von Melanie Kossatz und Marcus Kolodziej zu Monitoring und Evaluierung aus Sicht von LEADER-Gruppen: Ländliche Regionalentwicklung bewerten

Der letzte Vortrag am 2. Tag beschäftigte sich mit der Nutzung von Satellitendaten zur Evaluierung von Effekten der Kohäsionspolitik auf kleinräumiger Ebene. Carla Krolage von der Uni Regensburg stellte Ergebnisse einer wissenschaftlichen Studie vor. Mit Hilfe der Satellitendaten konnten Informationen über die Nachtbeleuchtung als Proxy für ökonomische Aktivitäten gewonnen werden. Dadurch war es möglich, auf Gemeindeebene den Effekt kohäsionspolitischer Maßnahmen in den Grenzregionen des Tschechischen Republik, Deutschlands und Polens. Sehr aufwändig war die Bearbeitung der Förderdaten, um diese auf Gemeindeebene verfügbar zu haben. Es konnten positive und signifikante Effekte zwischen den EU-finanzierten Vorhaben und wirtschaftlichen Aktivitäten auf Gemeindeebene herausgearbeitet werden. Der Ansatz kann auch auf andere Programme mit ähnlicher Zielrichtung übertragen werden. Zu verbessern sind allerdings das kleinräumige Monitoring der EU-Förderung, um eine gute Ausgangsbasis für Analysen zu haben, sowie der Zugriff auf weitere Daten, z. B. aus der Steuerstatistik.

Vortrag EU Cohesion Policy on the Ground: Analyzing Small-Scale Effects Unsing Satellite Data

Weitere Unterlagen:

• Aktuelle Version des vorgestellten Papers
• Link auf ein Diskussionspapier: https://www.cesifo.org/DocDL/cesifo1_wp10056.pdf

Am 29. und 30. Juni 2023 fand in Hannover in Zusammenarbeit mit der EFRE/ESF-Verwaltungsbehörde und der ELER-Koordinierung im Niedersächsischen Ministerium für Bundes- und Europaangelegenheiten und Regionale Entwicklung der Frühjahrsworkshop 2023 statt. Teilgenommen haben ungefähr 40 Personen aus der Evaluation, Verwaltung und Forschung.

In den ersten zwei Blöcken am Tag 1 wurden verschiedene Evaluationsaktivitäten vorgestellt, zunächst mit einem Fokus auf Wirkungen. Kathleen Toepel vom Institut für Stadtforschung und Strukturpolitik reflektierte in ihrem Beitrag den Ansatz, Innovationsförderung im Rahmen von Innovationsbiographien zu evaluieren. Susanne Stegmann von bonneval stellte das Vorgehen und die Ergebnisse einer Evaluierung der Europäischen Innovationspartnerschaft EIP Agri in Brandenburg vor. Andreas Resch von M&E Factory berichtete von theoriebasierten Evaluationsansätzen im Rahmen einer Interreg-Evaluation.

• Innovationsbiographien in der Wirkungsevaluierung - eine Reflektion
• Evaluation und Wirkungen der Förderung der Europäischen Innovationspartnerschaft (EIP)
• Vergleichende Bewertung von Wirkungsketten - Vorgehen in einer Interreg-Evaluierung

Die beiden Beiträge im zweiten Block drehten sich um Klimaschutz und Green Deal. Die Evaluationsperspektive nahmen Stefan Meyer und Darius Bosselmann von Kovalis ein. Sie berichteten über Erfahrungen und Erkenntnisse aus klimabezogenen Evaluationen der Förderperiode 2014 bis 2020, mit Fokus auf den EFRE. Carla Harnischfeger und Maren Plöger von Ramböll stellten ein Tool zur Erfassung, Messung und Bewertung von Beiträgen zur Nachhaltigkeit vor. Dieses Tool richtet sich vor allem an Bewilligungsstellen, die damit systematisch Projekte kategorisieren können.

• Klima-Evaluation 2014-2020: Erfahrungen und Erkenntnisse
• Erfassung, Messung und Bewertung von Beiträgen zur Nachhaltigkeit

Den Blick nach Europa eröffnete Lydia Greunz von Applika, der Koordinatorin des Evaluation Helpdesk of Cohesion Policy. Sie gab einen Überblick über die EFRE-Evaluierungen in der Programmperiode 2014 bis 2020 und diskutierte wesentliche Herausforderungen für das künftige Evaluierungsdesign und Methoden.

• EFRE-Evaluierungen in der Programmperiode 2014 bis 2020 - Ein systematischer Überblick

Der zweite Tag startete mit zwei Vorträgen zum Klimaschutz und Green Deal. Klimaberichterstattung im Sektor Landwirtschaft war das Thema von Bernhard Osterburg, von der Stabsstelle Klima und Boden des Thünen-Instituts. Die Frage war, was die Klimaberichterstattung über die Wirkungen politischer Maßnahmen aussagen kann. EU-Förderprogramme müssen einen Beitrag zum Klimaschutz leisten. Im Programmplanungszeitraum 2014 bis 2020 sollten 20 % der Haushaltsmittel für den Klimaschutz eingesetzt werden, 2021 bis 2027 stieg der Anteil auf 30 %. Gemessen wird der Beitrag in einem vereinfachten Verfahren, auf das der EU-Rechnungshof einen kritischen Blick geworfen hat.

• Verfolgung der Klimaschutzausgaben im EU-Haushalt - Bericht des EU-Rechnungshofes

Frau Marika Meisenzahl vom Europäischen Rechnungshof gab einen Überblick über das methodische Vorgehen und die Ergebnisse des Berichts.

• Was kann uns die Klimaschutzberichterstattung über die Wirkungen politischer Maßnahmen sagen?
• Verfolgung der EU-Klimaschutzausgaben im EU-Haushalt

Im letzten Block am zweiten Tag ging es um die derzeit in den Mitgliedstaaten zu erstellenden Evaluierungspläne. Vorgaben, Inhalte und Prozesse wurden für die GAP-Strategiepläne aus Österreich und Deutschland vorgestellt. Andrea Pufahl vom Thünen-Institut war an der Erstellung des Evaluierungsplans in Österreich beteiligt. Ziel des Evaluierungsplans ist es, ein gemeinsames Verständnis für die wesentlichen Evaluierungskriterien über alle geplanten Evaluierungen herzustellen. In Deutschland liegt ein erster Entwurf vor, der von Nina Lüddeke vom zuständigen Fachreferat im Bundesministerium für Ernährung und Landwirtschaft vorgestellt wurde. Das gleiche Referat ist auch für den Europäischen Meeres-, Fischerei- und Aquakulturfonds (EMFAF) zuständig. Die Grundzüge des Evaluierungsplans für den EMFAF präsentierte Isabella Fobbe-Greene vom BMEL. Hannes Wimmer vom Europäischen Evaluierungs-Helpdesk für die GAP erweiterte den Blick auf die europäische Ebene und gab einen Überblick über die Aktivitäten des Helpdesks zur Begleitung des Prozesses in den Mitgliedstaaten und erste Erkenntnisse aus dem Review bereits vorgelegter Evaluierungspläne.

• Evaluierungskonzept GAP-Strategieplan Österreich 2023-2027
• Grundzüge des Evaluierungsplans des deutschen GAP-Strategieplans 2023-2027
• Gestaltung von Evaluierungsplänen: Begleitung des Prozesses und erste Beispiele aus den Mitgliedstaaten
• Bewertungsplan für das deutsche Programm zur Umsetzung des Europäischen Meeres-, Fischerei- und Aquakulturfonds (EMFAF)