Unter dem Oberthema Transformative FTI-Politik und deren Herausforderungen und Messung fand am 20. Juni 2023 zwischen 13.00-16.30 Uhr das virtuelle Frühjahrstreffen des AK-FTI statt. Im Fokus stand dabei ein Thema, das aufgrund der großen gesellschaftlichen Herausforderungen eine zunehmende Zahl an Politikmaßnahmen nach sich zieht, worauf auch die Evaluations-Community eine Antwort bezüglich deren Design und Evaluierbarkeit zu finden hat. Hier gehts zum Programm

Beiträge durch die Referentinnen und Referenten

• Status Quo der Konzeptualisierung und Messung von Wirkungen in der transformativen Innovationspolitik – Eindrücke von der EU-SPRI Konferenz | Peter Kaufmann, Harald Wieser, Jakob Kofler (KMU Forschung Austria), Marianne Kulicke (Fraunhofer Institut für System- und Innovationsforschung ISI), Leo Wangler (iit Institut für Innovation und Technik)
• Transformations- und Missionsorientierung – das 7. und 8. Energieforschungsprogramm im Vergleich | Christiane Kerlen, Stefan Meyer, Kathleen Toepel (Kerlen Evaluation), Michael Dinges, Maximilian Gasser, Surya Knöbel (AIT), Peter Kaufmann, Jakob Kofler, KMU Forschung Austria
• Forschung für Nachhaltigkeit - FONA IMPACT: Neue Verfahren der Wirkungsabschätzung einer komplexen Forschungsförderungs-Strategie | Prof. Dr. Rainer Walz (Fraunhofer Institut ISI)
• Navigieren in Transformationsprozessen: Ein "reflexives Navigationssystem" für das Monitoring und Lernen in der missionsorientierten Innovationspolitik | Jakob Kofler, Harald Wieser (KMU Forschung Austria)
• Soziale Innovation – Ansätze zur Messung und Wirkungsabschätzung | Dr. Georg Mildenberger, CSI - Centre for Social Investment, Universität Heidelberg

 

Ergebnisse

In der einleitenden Reflexion des Frühjahrstreffens wurde als Input auf die jüngste EU-SPRI-Konferenz in Brighton eingegangen. Hier zeigt sich nach wie vor eine konzeptionelle Lücke zwischen übergeordneten Transformationstheorien, wie z.B. der Multi-Level-Perspektive auf Nachhaltigkeitstransitionen, und den grundlegenden Konzepten konkreter Politikmaßnahmen. Diese Lücke wird derzeit durch spezifische Fallstudien zu schließen versucht. Erste integrierte Ansätze zur Evaluierung von transformativen FTI-Programmen werden derzeit exploriert (z.B. Haddad & Bergek, 2023). Weiters ist ein Spannungsfeld zwischen missionsorientierter und transformativer Innovationspolitik (mit unterschiedlichen Theories of Change - ToC) zu beobachten. In den Präsentationen auf der Konferenz wurde kaum zwischen den beiden Versionen unterschieden, in einigen Debatten wurden die Unterschiede jedoch deutlich. Die Abfolge und das Zusammenwirken verschiedener Politikmaßnahmen, um das ‚Ökosystem‘ entscheidend in Richtung Transformation zu beeinflussen, stellt hohe Anforderungen an die Analysten und vielleicht noch höhere an die Governance von Transformationspolitiken stellt. Gegenwärtige Vorschläge sehen Experimente in kleinem Maßstab vor, die bei vielversprechenden Ergebnissen skaliert werden, aber nur ein Bündel von Maßnahmen, eingebettet in ein agiles Mehrebenen-Governance-System, verspricht Erfolg.

Hier geht’s zum Vortrag

Das 8. Energieforschungsprogramm (EFP) soll als missionsorientiertes neues Programm die Ziele der Bundesregierung im Hinblick auf den Wärme- und Stromsektor für 2030 und 2045 unterstützen. Während die bisherigen Programme einen technologiefokussierten Ansatz verfolgten, richtet sich das nächste Energieforschungsprogramm missionsorientiert auf die Umsetzung der Energiewende und die Beschleunigung der Transformation aus. Das neue Programm soll zudem auf dynamische politische und technologische Entwicklungen reagieren und sich als „selbstlernendes“ Programm an Veränderungen bei den Rahmenbedingungen anpassen können. Der Vortrag stützte sich auf Ergebnisse der Begleitevaluation des 7. EFP des BMWK. Im Zentrum stehen die Veränderungen des Programms – die sich daraus ergebenden Veränderungen für das Evaluationsdesign werden in einem Vortrag auf der Jahrestagung in Magdeburg erläutert.

Hier geht’s zum Vortrag

Die Begleitforschung zu FONA Impact zielt darauf ab, Methoden und Ansätze für ein geeignetes Monitoring und eine vertiefte Wirkungsanalyse am Beispiel der FONA-Strategie zu entwickeln, zu erproben und umzusetzen. Damit stehen Wirkungspotenziale und Wirkungsmechanismen im Zentrum des Forschungsvorhabens. Das Vorhaben ist im November 2022 gestartet und ist auf vier Jahre Laufzeit angelegt.

Hier geht’s zum Vortrag

In der Präsentation zu einem "reflexiven Navigationssystem" wurde ein neuer Ansatz für die Ausgestaltung von Monitoring- und Lernprozessen in der missionsorientierten Innovationspolitik vorgestellt. Die missionsorientierte Innovationspolitik ist bestrebt, die Fallstricke der Fragmentierung in der FTI-Politik zu überwinden, um gesellschaftliche Herausforderungen zu lösen, aber es ist wenig darüber bekannt, wie Interaktionen und Lernen über den Rahmen einzelner Projekte hinaus organisiert werden können. Der vorgeschlagene Ansatz eines "reflexiven Navigationssystems", der zur Unterstützung der österreichischen FTI-Mobilitätsstrategie entwickelt wurde, zielt darauf ab, Räume für kollektives Lernen zwischen geförderten FTI-Projekten und politischen Verantwortlichen zu schaffen und gleichzeitig systematische Verbindungen zwischen den auf Projektebene gewonnenen Erkenntnissen und den Entscheidungsprozessen im Ministerium herzustellen.

Der Vortrag zu Ansätzen zur Messung und Wirkungsabschätzung von sozialen Innovation stellte zu Beginn fest, dass dies seit über 10 Jahren ein weit verbreiteter Begriff ist, ohne dass eine eindeutige Definition Konsens wäre. Klar ist, es geht um einen Typ von Innovationen, der vor allem auf gesellschaftliche Wirkung aus ist und in dem die wirtschaftliche Verwertung sekundär ist. Damit fällt Markterfolg als Kriterium des Gelingens zumindest teilweise aus. Evaluation oder besser „Wirkungsmessung“ ist darum hoch im Kurs. Auf diesem Wege hofft man, nicht nur klassische Themen der Technikfolgenabschätzung bearbeiten zu können (was macht soziale Innovation mit Gesellschaft), sondern auch einzelne Interventionstypen, ja einzelne Projekte auf ihre Wirksamkeit und Wirkung untersuchen zu können. So soll Evidenz bereitgestellt werden, die Investitionsentscheidungen und die Entwicklung politischer Maßnahmen informieren soll. Der Beitrag hat in die Thematik eingeführt und über ein aktuelles Vorhaben berichtet, das vom BMBF gefördert wird.

Folgende Aspekte wurden im Rahmen der DeGEval Frühjahrstagung des AK FTI-Politik als kritisch für die Evaluation transformativer Innovationspolitiken identifiziert.

• Übergeordnete politische Zielsetzungen, wie z.B. in Deutschland die der ‚Zukunftsstrategie Forschung und Innovation‘, sind bei der Analyse transformationsorientierter Politikmaßnahmen in jedem Fall zu berücksichtigen.
• Für eine transformative oder missionsorientierte Politik ist es noch wichtiger, die bisher getrennt betrachteten Maßnahmen aufeinander abzustimmen oder auszurichten (Alignment). Ziel ist es, die positiven Effekte zu verstärken, die entstehen, wenn diese Maßnahmen zusammenwirken und sich gegenseitig unterstützen. Verschiedene Initiativen, Strategien oder Ansätze sind daraufhin zu analysieren und zu bewerten, ob sie besser aufeinander abgestimmt werden können, um gemeinsame Ziele zu erreichen oder um sicherzustellen, dass Ressourcen und Anstrengungen effizient eingesetzt werden. Die Portfolioperspektive ist daher für eine transformative Innovationspolitik unerlässlich.
• Aufgrund des transformativen Charakters sind demokratisch legitimierte Diskurse auf dem Weg zur Transformation und damit potenziell auch als Teil der Evaluation zu berücksichtigen.
• Die zeitliche Dringlichkeit zielorientierter Maßnahmen sowie der systemische Charakter transformativer Politiken rücken die Frage stärker in den Fokus, wo und wie Lernschleifen im ‚Ökosystem‘ verkürzt werden können, um zu einem agilen Governance-System beizutragen. In diesem Zusammenhang werden neue Anforderungen an ein Monitoring formuliert, das nicht nur über herkömmliche Input- und Output-Indikatoren über die Qualität der Umsetzung Auskunft geben soll, sondern im Sinne eines ‚reflexiven Navigationssystems‘ (Kofler und Wieser) bereits inhaltliche Rückschlüsse zeitnah erfassen und strukturiert in Reflexionen über die Governance von Politikmaßnahmen einfließen lassen soll.
• In der Analyse des Designs und der Implementierung von transformativen Politikmaßnahmen werden Unsicherheiten noch stärker zum Tragen kommen, das sich in der Präsentation von Evaluationsergebnisse offengelegt werden sollen.
• Analysekonzepte und -methoden sowie Indikatoren für Transformationsmaßnahmen werden derzeit auf der Grundlage der Sustainable Development Goals und der Transformative Outcomes entwickelt.
• Wie in der FONA-Impact Begleitforschung kann die Analyse des Zusammenhangs zwischen Mikro- und Makroebene durch Szenarioanalysen mit Fokus auf Gelingensbedingungen verfolgt werden.
• Die Methodik zur Erfassung sozialer Innovationen basiert auf dem SIA-Modell, das Indikatoren online einspeist und als lernendes Werkzeug konzipiert ist. Damit besteht eine Ähnlichkeit zum oben erwähnten reflexiven Navigationssystem. Allerdings fehlt derzeit noch ein standardisiertes Indikatorenset.
• Das BMWK in Berlin baut derzeit ein Datenlabor auf, das auf dem Open-Data-Prinzip basiert; Meta-Analysen und die Entwicklung und Einsatz von Werkzeugen für die Analyse von unstrukturierte Daten sollten dort erfolgen. Der Fokus des BMWK liegt auf digitalen Prozessen und Tools. Hierbei sind die zeitlichen Horizonte der Haushaltsführung zu berücksichtigen; wichtig ist in diesem Zusammenhang auch die Abstimmung von Ziel- und Handlungsebenen.

Die Frühjahrstagung des AK-FTI fand am 31. Mai 2022 zwischen 13.00-17.00 Uhr statt.

Das Monitoring von Förderprogrammen ist bedeutend für die evidenz-basierte Steuerung von Forschungs-, Technologie- und Innovations- (FTI-) Programmen. Ziel des Monitorings ist es, Projekt- und Programmfortschritte zu überprüfen, um eine fundierte Entscheidungsgrundlage zu schaffen und Anpassungen vorzunehmen. Die Ergebnisse eines Monitorings dienen auch weiterführenden Analysen, z.B. im Rahmen von Evaluationen. Die Verfügbarkeit von Monitoringdaten kann im Fall nicht intendierter Effekte und unvorhergesehener Einflussfaktoren (z. B. der Corona-Krise) und bei dynamischen Transformationsprozessen (z. B. der Klima- und Energiewende) besonders relevant sein. Allgemein kann ein Monitoring unterschiedliche Beiträge leisten, wie z. B. Transparenz schaffen, Informationen zu einer späteren Evaluation beitragen, Daten für eine technologische Vorausschau zur Verfügung stellen oder Entscheidungsgrundlagen zur Steuerung komplexer Programme bieten.

Die diesjährige Frühjahrstagung des AK-FTI der DeGEval widmete sich dem Thema Monitoring aus unterschiedlichen Perspektiven. Nach einer Einführung in das Thema wurde anhand von Praxiserfahrungen diskutiert, wie das Monitoring in der Umsetzung von Programmen unterstützen kann und wo die Herausforderungen liegen. Es folgten Beiträge zu aktuellen Monitoring-Projekten und eine abschließende Diskussion zu den zukünftigen Entwicklungen und Anforderungen an das Monitoring zu FTI-Programmen.

• Das Programm der Frühjahrstagung steht hier zur Verfügung

Neue Ansprüche an das Monitoring zur Programmsteuerung und Synergien mit der Evaluation

In einem einleitenden Vortrag wurde die Bedeutung für eine Fachdiskussion zum Thema Monitoring hervorgehoben. Während die Evaluation von FTI-Programmen klar definierten Standards folgt und im Rahmen der Umsetzung von Evaluationen klare Vorgaben einzuhalten sind, zeigt sich für das Monitoring, dass die Vorgaben in Form einer Standardisierung weniger konkret sind. Die Grenzen zwischen Monitoring und Evaluation sind bisweilen fließend. Dies liegt auch daran, dass nicht jedes Programm über ein eigenes Monitoring-System verfügt und Informationsbedarfe dann über die Evaluation gedeckt werden, in anderen Programmen findet wiederum eine gewisse Arbeitsteilung zwischen der Evaluation und dem Monitoring statt. Die Schnittstellen zwischen Evaluation und Monitoring sind von besonderer Bedeutung, sind aber nicht immer eindeutig definiert. Im Idealfall kann sich die Evaluation relevanter Monitoring-Daten bedienen, woraus sich Möglichkeiten für Effizienzsteigerungen in der Umsetzung ergeben und mehr Ressourcen für relevante analystische Fragestellungen zur Verfügung stehen. Das Monitoring unterstützt in erster Linie bei der Durchführung, der Anpassung von Instrumenten und bei der Modifikation von Förderzielen. Das Programmmonitoring ist aktuell auch deshalb im Fokus der fachlichen Diskussion, weil die Ausrichtung der Innovationspolitik im Sinne einer Missionsorientierung perspektivisch eine Weiterentwicklung der Methodik erfordert.

• Die Folien stehen hier zur Verfügung

Praxiserfahrungen mit der Unterstützung der Entscheidungsfindung wurden in dem zweiten Beitrag vorgestellt. Es wurde deutlich, dass Monitorings für die Programmsteuerung einen bedeutenden Beitrag liefern kann, um die Arbeit der Ministerien zu unterstützen. Der Erkenntnisgewinn ist zentral davon abhängig, dass bei den Durchführenden des Monitorings ein umfassendes Verständnis für den Erkenntnisbedarf der Entscheidungsträger vorhanden ist.

Praxisbeiträge: Erfahrungen mit der praktischen Umsetzung von Monitoringprojekten

Die Beiträge aus der Praxis verdeutlichten, dass Monitoring ganz unterschiedlich ausgestaltet sein kann.

In den letzten Jahren hat über die Umsetzung eine erhebliche Professionalisierung der Programmumsetzung stattgefunden, mitunter durch eine enge Verzahnung und Abstimmung zwischen PTs und wissenschaftlichen Beratungseinrichtungen, die gemeinsam an den Monitoring-Themen arbeiten. Wie der Praxisbeitrag von Iris Eckardt (PtJ) und Dr. Thorsten Lübbers (Ramboll) zum Monitoring zu EXIST-Gründerstipendium und EXIST-Forschungstransfer verdeutlichte.

• Die Folien stehen hier zur Verfügung

Karoline Rodriguez vom Institut für Innovation und Technik (iit Berlin) präsentierte noch unveröffentlichte Befragungsdaten eines laufenden Monitorings zur BMBF-Fördermaßnahme VIP+. Das Monitoring wird seit 2018 im Rahmen der Projektträgerschaft „Offene Innovationskultur und KMU-Querschnittsaufgaben“ gemeinsam von Projektträger Jülich und VDI/VDE-IT für Referat BMBF/515 „Innovationsförderung; SprinD, Cluster, Gaia-X“ umgesetzt und bezieht sich auf unterschiedliche Maßnahmen.

• Hier finden Sie weiterführende Informationen

Im Rahmen der Frühjahrstagung wurde das Thema Monitoring breiter gefasst, einschließlich einer wissenschaftlichen Begleitung der FuE-Programme, in Form von Analysen und der Wissensaufbereitung zur Themenfindung für neue Förderprogramme. Dieser Aspekt des Themenmonitorings wurde durch den Vortrag von Axel Mangelsdors Institut für Innovation und Technik (iit Berlin) vorgestellt.

Anhand der Beispiels Mobilität der Zukunft als Praxislabor für ein Wirkungsmonitoring zur Steuerung missionsorientierter FTI-Programme, wurden neue Anforderungen an das Monitoring zur Begleitung missionsorientierter Vorhaben oder Programme durch Jakob Kofler von KMU-Forschung Austria vorgestellt.

• Die Folien stehen hier zur Verfügung

Status-quo und Ansprüche für das zukünftige Monitoring von FTI-Programmen: Abschlussdiskussion

In der Abschlussdiskussion kamen verschiedene Aspekte zur Ansprache, die für die zukünftige Umsetzung von Monitoring-Projekten relevant sind. Klar wurde, dass Monitoring ausreichende Kapazitäten braucht, um auf Basis der Inhalte relevante Informationen für die Programmsteuerung zur Verfügung zu stellen. Hierfür sind ergänzend zur standardisierten Datenerhebung zeitaufwändige Analyseschritte notwendig. Auf der anderen Seite besteht weiterhin Potenzial für Effizienzgewinne, durch Standardisierung und IT-Lösungen. Auch für das Monitoring sind Wirkmodelle die zentrale Basis der Indikatorenentwicklung. Monitoringberichte/ interne Trendanalysen fließen in aktuelle Diskussionen ein, doch bei den durchführenden Stellen besteht wenig Transparenz darüber, inwiefern dies Entscheidungen beeinflusst. Um steuerungsrelevante Informationen bereitzustellen, besteht die Herausforderung darin, überhaupt erst darzulegen, was gesteuert werden soll und wo hier die Verantwortlichkeiten liegen. Die Ergebnisse sind so zu verdichten, dass diese auf der strategischen Ebene sinnstiftend eingesetzt werden können. Um die Beteiligten zur Teilnahme an den Monitoring-Umfragen zu motivieren gilt es auch darüber nachzudenken, inwiefern die Befragten selbst vom Monitoring profitieren können. Spannend ist auch die Frage, ob und inwiefern von neuen Ansätzen des Monitorings zur Steuerung missionsorientierter FuE-Programme auch neue Anforderungen für klassische Monitoring-Systeme hervorgehen. Letztlich geht es dabei um die Frage, was klassische Monitoring-Systeme von neuen Ansätzen zu komplexeren Systemen lernen können.

• Die Folien stehen hier zur Verfügung

Im Rahmen der Herbsttagung des AK-FTI 2020 (diese fand am 16. Oktober 2020 von 14.30 – 17.00 Uhr statt) stand das Thema COVID-19 im Vordergrund. Es stellte sich die Frage, welche konkreten Auswirkungen die von der Corona-Pandemie ausgelöste Krise auf FTI-Evaluierungen haben bzw. haben werden. Die folgenden Leitfragen standen damit im Vordergrund der diesjährigen Herbsttagung:

• Welche Auswirkungen der Krise auf die Innovationstätigkeit von Unternehmen stellen wir in unseren laufenden Evaluierungen und Begleitstudien fest?
• Welche Lehren ziehen wir aus der derzeitigen Krise für FTI-Politik und deren Evaluation? Ist ein Bezug zur Klimakrise möglich? Sind Schlagworte/Konzepte wie Resilienz zukünftig stärker relevant oder sogar ein Vertiefungsbereich von Evaluationen? Wenn ja, wie kann man dies in FTI-Studien und Evaluationen bestmöglich integrieren?
• Welche Auswirkungen hat die COVID-19 Krise auf die Umsetzung von laufenden Studien und Evaluationen? Welche innovativen Wege wurden und werden eingeschlagen, um Projekte dennoch organisatorisch und methodisch umzusetzen?
• Wie werden Studien- und Evaluationsbudgets von potenziellen Auftraggebern durch die Krise beeinflusst? In welchen Bereichen wird mehr zur Verfügung gestellt, wo wird gespart werden?

Auf diesen Call kam es zur Einreichung dieser drei Beiträge, die das Thema Corona und Evaluation aus unterschiedlichen Blickwinkeln beleuchteten:

1. „Zwischen Emergency Calls, Post-Corona Konjunkturstimulierung & Experimentierräumen für die Entwicklung neuer Maßnahmen – wie findet Lernen statt?“ (FFG: Sabine Mayer)
2. „Corona und die Nachhaltigkeitsfrage: Lessons learned aus einer Programmevaluation“ (Fraunhofer ISI: Susanne Bührer / Sarah Seus).
3. „Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen – erste empirische Ergebnisse aus verschiedenen Evaluationen deutscher Förderprogramme“ (iit-Berlin: Jan Wessels, Karoline Rodriguez, Leo Wangler, Sonja Kind und Christiane Kerlen (Kerlen Evaluation)

 

Beitrag 1: „Zwischen Emergency Calls, Post-Corona Konjunkturstimulierung & Experimentierräumen für die Entwicklung neuer Maßnahmen – wie findet Lernen statt?“

In dem Vortrag von Sabine Meyer wurde deutlich, dass die COVID-19 Krise auch die FTI-Politik und die Agenturen, die diese umsetzen, vor große Herausforderungen stellt. Zum einen geht es darum, rasche Lösungen in der Gesundheitskrise zu finden, zum anderen um einen Beitrag zur konjunkturellen Entwicklung aus der Krise heraus. Rasche Lösungen verlangen rasches Handeln - gemeinsam mit den österreichischen Ministerien BMDW und BMK hat die Forschungsförderungsgesellschaft bereits am 9.3.2020 den COVID Emergency Call gestartet mit insgesamt 26 Mio. EUR. Auch die ersten Förderungen mit Finanzierung aus dem Konjunkturpaket sind gestartet, deren Umsetzung testet als Pilot die übergreifende Nutzung verschiedener Förderungsformate für gemeinsame Ziele. Für Agenturen wie die FFG, und für die FTI Politik insgesamt heißt das auch, dass mehr Agilität und Flexibilität gefordert ist. Die FFG ist aus diesem Grund Partner im Innovation Growth Lab von Nesta, das experimentelle Zugänge in der FTI Politik unterstützt, und arbeitet mit anderen Europäischen Agenturen zusammen, um gemeinsam zu testen und zu lernen, wie Agenturen durch Piloten und Experimente Evidenz generieren können. Darauf aufbauend stellen sich Fragen an die Evaluierbarkeit der neuen politischen Herausforderungen: welchen Wert, welche Wirkung hat Geschwindigkeit? Wie sollen Lernumgebungen beschaffen sein, die es erlauben, evidenzbasiert neue Wege zu testen? Welche Rolle spielt Evaluierung in diesem sich rasch verändernden Umfeld? Diese und weitere Fragen wurden im Rahmen der diesjährigen Herbsttagung des AK-FTI diskutiert. Die Vortragsfolien finden Sie hier.

Beitrag 2: „Corona und die Nachhaltigkeitsfrage: Lessons learned aus einer Programmevaluation“

In dem Beitrag durch Susanne Bührer und Sarah Seus wurde anhand der Evaluation des Forschungsprogramms für Nachhaltigkeit (FONA) dargestellt, wie das Corona-Thema Auswirkungen auf das Evaluationsprojekt hatte. Einerseits konnte ein geplanter Diskurs auf Basis der Evaluationsergebnisse nicht wie geplant fortgesetzt werden, stattdessen wurden Vorschläge erarbeitet, wie der Diskurs dennoch fortgesetzt werden kann. In einem kurzen Zeitrahmen wurden möglichst viele Ideen für die strategische und operative Fortsetzung der Förderung gesammelt. Teil der weiterführenden Arbeiten waren auch Aspekte einer qualitativen ex ante Evaluation. Im Zuge dessen wurden 50 Telefoninterviews mit Vertreter*innen aus Hochschulen, der außeruniversitären Forschung, der Wirtschaft, den Kommunen und der Zivilgesellschaft geführt. So wurde der Frage nachgegangen, welche Auswirkungen die Corona-Krise auf die nachhaltige Entwicklung der Akteure hat. Im Kern ließen sich hierzu drei Gruppen von Antworten unterscheiden: (1) Corona spielt für die Nachhaltigkeit und insbesondere die Strategien zur Bewältigung des Klimawandels keine Rolle; (2) Corona drängt aufgrund seiner ernsthaften Folgen für Wirtschaft und Gesellschaft Nachhaltigkeitsthemen in den Hintergrund; (3) Corona führt zu einer kritischen Reflexion bisheriger Routinen in Wirtschaft, Wissenschaft, Politik und Gesellschaft, die FONA in seiner Förderpraxis aktiv aufgreifen kann. Im Rahmen des Vortrags wurden diese Antwortcluster differenzierter dargestellt und in die aktuellen Nachhaltigkeitsdiskurse eingebettet. Die Vortragsfolien finden Sie hier. 

Beitrag 3: „Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen – erste empirische Ergebnisse aus verschiedenen Evaluationen deutscher Förderprogramme“

In einem abschließenden Beitrag wurde durch Karoline Rodriguez und Jan Wessels über die Erfahrungen zu den Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen berichtet. Die Ergebnisse zeigen deutlich, dass die aktuelle CORONA-Pandemie in erheblichem Ausmaß Wirtschaft, Verwaltung, zentrale Innovationsprozesse und möglicher Weise auch Forschungseinrichtungen und Universitäten beeinträchtigt. Anhand der Indikatorik ist es das Ziel, näher herauszufinden inwiefern die Krise auch die Zuwendungsempfänger zu evaluierender Programme beeinflussen wird. Für viele Akteure dürfte die aktuelle Situation zur Herausforderung werden, weil der Zugang zu Laboren eingeschränkt oder gar nicht mehr möglich ist, weil Personal fehlt, Lieferketten unterbrochen sind, Meetings abgesagt werden, Konferenzen nicht stattfinden, Finanzmittel umgeleitet werden etc. Somit stellt die CORONA-Pandemie auf für Evaluationen einen externen Einflussfaktor dar, der die angestrebte Wirkung zu untersuchender Programme in Hinblick auf die erfolgreiche Umsetzung von Innovationsprojekten und die Verhaltensänderung von Akteuren in Richtung Innovationsorientierung negativ beeinflussen könnte. Das ist insofern relevant, als damit die Wirkung des entsprechenden Programms im Vergleich mit anderen Programen, die nicht während der CORONA-Pandemie umgesetzt wurden, geringer ausfallen könnte, ohne dass dies dem Programm selbst zugerechnet werden darf. Zudem sind entsprechende Informationen auch im Sinne einer formativen Unterstützung laufender Programme und ihrer Anpassung an die Krise hilfreich. Um hierfür zu kontrollieren bzw. erste Daten zu erheben wurden im Sommer 2020 bereits geplante Befragungen von aktuellen und ehemaligen Zuwendungsempfängern in vier Programmen von BMBF, BMWi und BMVI mit spezifischen Fragen über die Auswirkungen von Corona ergänzt. Dabei wurden/werden sowohl Projekte in der Startphase, am Ende der Projektlaufzeit sowie in der Verwertungsphase befragt. Zudem wurde in einer Evaluation ein Workshop zu den Auswirkungen bei den geförderten Projekten umgesetzt. Im Rahmen dieses Beitrags wurden erste Ergebnisse der Befragungen vorgestellt und die Befragung konzeptionell in ein erstes Modell der Wirkung des externen Schocks „Corona“ auf laufende Innovationsprozesse eingeordnet. Teil des Beitrags war auch eine Skizzierung möglicher weiterer Forschungsbedarfe und Strategien. Die Vortragsfolien finden Sie hier.

Ihr  FTI-Team

Marianne Kulicke, Leo Wangler und Peter Kaufmann

Am 18. Juni 2019 fand das diesjährige Frühjahrstreffen des AK FTI der DeGEval in Berlin statt. Es stellte methodische Herausforderungen und neue Herangehensweisen in den Mittelpunkt.

Vor dem Hintergrund der Bundeshaushaltsordnung müssen Evaluationen in der Regel Aussagen zur Vollzugs- und Maßnahmenwirtschaftlichkeit treffen. Mittelweile beziehen sich praktisch alle Ausschreibungen für Evaluationen auf den entsprechenden Paragraphen der BHO – die Lösungsansätze der jeweiligen Evaluationen sind allerdings höchst unterschiedlich. Der erste Beitrag des Frühjahrstreffens von Karoline Rodriguez Rivera bot einen kurzen Überblick über die gewählten Ansätze und nimmt dabei 40 Evaluationen für BMBF und BMWi der letzten Jahre in den Blick.

Eine weitere, häufig in Leistungsbeschreibungen von Evaluationen formulierte Anforderung richtet sich auf die Nutzung von Kontrollgruppenansätzen. Auch hier ist die Bandbreite der gewählten methodischen Zugänge erheblich. Zwei Beiträge des Frühjahrstreffens zeigen anhand von vier konkreten Evaluationsvorhaben, welche Herausforderungen bestehen und welche Methoden zum Einsatz kommen. Während Christian Rammer über Möglichkeiten und Grenzen eines Kontrollgruppenansatzes in einem Programm berichtete, das ganz bewusst die "besten" Unternehmen fördern möchte, schilderte Peter Kaufmann, wie die Durchführung von Kontrollgruppenvergleichen von (a) den institutionellen Settings, (b) der Datenverfügbarkeit, und (3) dem Design der Studie beeinflusst werden kann.  

Die Interpretation von Befragungsdaten stellt Evaluationen und Monitoring-Ansätze häufig vor die Herausforderung, individuelle und höchst subjektive Einschätzungen der Befragten richtig zu deuten. Die Standardisierung und Nutzung von Vergleichsdaten kann ein Zugang sein, um hier typisches Antwortverhalten zu identifizieren und damit besser zu interpretieren. Stefan Schröder vom Projektträger Jülich sowie Jan Wessels vom Projektträger VDI/VDE-IT stellten einen Ansatz eines vergleichenden Monitorings mehrerer Fördermaßnahmen im Rahmen der Projektträgerschaft „Offene Innovationskulturen“ vor.

Nach der Mittagspause werden unterschiedliche methodische Herausforderung und Lösungsanasätze anhand aktueller Evaluationsbeispiele diskutiert. Martina Kauffeld-Monz schilderte in Hinblick auf Vernetzungsanalysen, welches relevante netzwerkanalytische Fragestellungen im Rahmen von Evaluationsstudien sind, welche Rolle Mikro-, Meso-, und Makroebene spielen und wie ein angemessener Mix aus quantitativen und qualitativen Indikatoren zur Anwendung gelangen kann. Der Beitrag von Leo Wangler und Christiane Kerlen widmete sich der Frage, wie mit deutlichem zeitlichen Abstand zu erwartende und damit nur schwer direkt zu messende Wirkungen von Fördermaßnahmen durch die Nutzung von Indikatoren zur Innovationsfähigkeit frühzeitiger abgeschätzt werden können. Peter Kaufmann schließlich präsentierte erste Einblicke in die laufende Evaluation der österreichischen Weltraumstrategie.

Folgende Präsentationen sind bereits verfügbar:

• Christian Rammer: Fokus auf die "Besten" und Kontrollgruppenansätze
• Stefan Schröder / Jan Wessels: Maßnahmenmonitoring in der Projektträgerschaft "Offene Innovationskulturen"