Zum Inhalt der Seite springen

Bisherige Aktivit├Ąten

des AK FTI

Die Konzeptualisierung und Messung von Wirkungen in der transformativen Forschungs-, Technologie- und Innovationspolitik

DeGEval-Fr├╝hjahrstagung 2023

Unter dem Oberthema Transformative FTI-Politik und deren Herausforderungen und Messung fand am 20. Juni 2023 zwischen 13.00-16.30 Uhr das virtuelle Fr├╝hjahrstreffen des AK FTI statt. Im Fokus stand dabei ein Thema, das aufgrund der gro├čen gesellschaftlichen Herausforderungen eine zunehmende Zahl an Politikma├čnahmen nach sich zieht, worauf auch die Evaluations-Community eine Antwort bez├╝glich deren Design und Evaluierbarkeit zu finden hat.
Hier geht's zum Programm

Beitr├Ąge durch die Referentinnen und Referenten

  • Status Quo der Konzeptualisierung und Messung von Wirkungen in der transformativen Innovationspolitik ÔÇô Eindr├╝cke von der EU-SPRI Konferenz | Peter Kaufmann, Harald Wieser, Jakob Kofler (KMU Forschung Austria), Marianne Kulicke (Fraunhofer Institut f├╝r System- und Innovationsforschung ISI), Leo Wangler (iit Institut f├╝r Innovation und Technik)
  • Transformations- und Missionsorientierung ÔÇô das 7. und 8. Energieforschungsprogramm im Vergleich | Christiane Kerlen, Stefan Meyer, Kathleen Toepel (Kerlen Evaluation), Michael Dinges, Maximilian Gasser, Surya Kn├Âbel (AIT), Peter Kaufmann, Jakob Kofler (KMU Forschung Austria)
  • Forschung f├╝r Nachhaltigkeit - FONA IMPACT: Neue Verfahren der Wirkungsabsch├Ątzung einer komplexen Forschungsf├Ârderungs-Strategie | Prof. Dr. Rainer Walz (Fraunhofer Institut ISI)
  • Navigieren in Transformationsprozessen: Ein "reflexives Navigationssystem" f├╝r das Monitoring und Lernen in der missionsorientierten Innovationspolitik | Jakob Kofler, Harald Wieser (KMU Forschung Austria)
  • Soziale Innovation ÔÇô Ans├Ątze zur Messung und Wirkungsabsch├Ątzung | Dr. Georg Mildenberger (CSI - Centre for Social Investment, Universit├Ąt Heidelberg)

 

Ergebnisse

In der einleitenden Reflexion des Fr├╝hjahrstreffens wurde als Input auf die j├╝ngste EU-SPRI-Konferenz in Brighton eingegangen. Hier zeigt sich nach wie vor eine konzeptionelle L├╝cke zwischen ├╝bergeordneten Transformationstheorien, wie z. B. der Multi-Level-Perspektive auf Nachhaltigkeitstransitionen, und den grundlegenden Konzepten konkreter Politikma├čnahmen. Diese L├╝cke wird derzeit durch spezifische Fallstudien zu schlie├čen versucht. Erste integrierte Ans├Ątze zur Evaluierung von transformativen FTI-Programmen werden derzeit exploriert (z. B. Haddad & Bergek, 2023). Weiters ist ein Spannungsfeld zwischen missionsorientierter und transformativer Innovationspolitik (mit unterschiedlichen Theories of Change - ToC) zu beobachten. In den Pr├Ąsentationen auf der Konferenz wurde kaum zwischen den beiden Versionen unterschieden, in einigen Debatten wurden die Unterschiede jedoch deutlich. Die Abfolge und das Zusammenwirken verschiedener Politikma├čnahmen, um das ÔÇÜ├ľkosystemÔÇś entscheidend in Richtung Transformation zu beeinflussen, stellen hohe Anforderungen an die Analysten und vielleicht noch h├Âhere an die Governance von Transformationspolitiken. Gegenw├Ąrtige Vorschl├Ąge sehen Experimente in kleinem Ma├čstab vor, die bei vielversprechenden Ergebnissen skaliert werden, aber nur ein B├╝ndel von Ma├čnahmen, eingebettet in ein agiles Mehrebenen-Governance-System, verspricht Erfolg.

Hier gehtÔÇÖs zum Vortrag

Das 8. Energieforschungsprogramm (EFP) soll als missionsorientiertes neues Programm die Ziele der Bundesregierung im Hinblick auf den W├Ąrme- und Stromsektor f├╝r 2030 und 2045 unterst├╝tzen. W├Ąhrend die bisherigen Programme einen technologiefokussierten Ansatz verfolgten, richtet sich das n├Ąchste Energieforschungsprogramm missionsorientiert auf die Umsetzung der Energiewende und die Beschleunigung der Transformation aus. Das neue Programm soll zudem auf dynamische politische und technologische Entwicklungen reagieren und sich als ÔÇ×selbstlernendesÔÇť Programm an Ver├Ąnderungen bei den Rahmenbedingungen anpassen k├Ânnen. Der Vortrag st├╝tzte sich auf Ergebnisse der Begleitevaluation des 7. EFP des BMWK. Im Zentrum stehen die Ver├Ąnderungen des Programms ÔÇô die sich daraus ergebenden Ver├Ąnderungen f├╝r das Evaluationsdesign werden in einem Vortrag auf der Jahrestagung in Magdeburg erl├Ąutert.

Hier gehtÔÇÖs zum Vortrag

Die Begleitforschung zu FONA-Impact zielt darauf ab, Methoden und Ans├Ątze f├╝r ein geeignetes Monitoring und eine vertiefte Wirkungsanalyse am Beispiel der FONA-Strategie zu entwickeln, zu erproben und umzusetzen. Damit stehen Wirkungspotenziale und Wirkungsmechanismen im Zentrum des Forschungsvorhabens. Das Vorhaben ist im November 2022 gestartet und ist auf vier Jahre Laufzeit angelegt.

Hier gehtÔÇÖs zum Vortrag

In der Pr├Ąsentation zu einem "reflexiven Navigationssystem" wurde ein neuer Ansatz f├╝r die Ausgestaltung von Monitoring- und Lernprozessen in der missionsorientierten Innovationspolitik vorgestellt. Die missionsorientierte Innovationspolitik ist bestrebt, die Fallstricke der Fragmentierung in der FTI-Politik zu ├╝berwinden, um gesellschaftliche Herausforderungen zu l├Âsen, aber es ist wenig dar├╝ber bekannt, wie Interaktionen und Lernen ├╝ber den Rahmen einzelner Projekte hinaus organisiert werden k├Ânnen. Der vorgeschlagene Ansatz eines "reflexiven Navigationssystems", der zur Unterst├╝tzung der ├Âsterreichischen FTI-Mobilit├Ątsstrategie entwickelt wurde, zielt darauf ab, R├Ąume f├╝r kollektives Lernen zwischen gef├Ârderten FTI-Projekten und politischen Verantwortlichen zu schaffen und gleichzeitig systematische Verbindungen zwischen den auf Projektebene gewonnenen Erkenntnissen und den Entscheidungsprozessen im Ministerium herzustellen.

Der Vortrag zu Ans├Ątzen zur Messung und Wirkungsabsch├Ątzung von sozialen Innovationen stellte zu Beginn fest, dass dies seit ├╝ber 10 Jahren ein weit verbreiteter Begriff ist, ohne dass eine eindeutige Definition Konsens w├Ąre. Klar ist, es geht um einen Typ von Innovationen, der vor allem auf gesellschaftliche Wirkung aus ist und in dem die wirtschaftliche Verwertung sekund├Ąr ist. Damit f├Ąllt Markterfolg als Kriterium des Gelingens zumindest teilweise aus. Evaluation oder besser ÔÇ×WirkungsmessungÔÇť ist darum hoch im Kurs. Auf diesem Wege hofft man, nicht nur klassische Themen der Technikfolgenabsch├Ątzung bearbeiten zu k├Ânnen (was macht soziale Innovation mit Gesellschaft), sondern auch einzelne Interventionstypen, ja einzelne Projekte auf ihre Wirksamkeit und Wirkung untersuchen zu k├Ânnen. So soll Evidenz bereitgestellt werden, die Investitionsentscheidungen und die Entwicklung politischer Ma├čnahmen informieren soll. Der Beitrag hat in die Thematik eingef├╝hrt und ├╝ber ein aktuelles Vorhaben berichtet, das vom BMBF gef├Ârdert wird.

Folgende Aspekte wurden im Rahmen der DeGEval-Fr├╝hjahrstagung des AK FTI-Politik als kritisch f├╝r die Evaluation transformativer Innovationspolitiken identifiziert:

  • ├ťbergeordnete politische Zielsetzungen, wie z. B. in Deutschland die der ÔÇÜZukunftsstrategie Forschung und InnovationÔÇś, sind bei der Analyse transformationsorientierter Politikma├čnahmen in jedem Fall zu ber├╝cksichtigen.
  • F├╝r eine transformative oder missionsorientierte Politik ist es noch wichtiger, die bisher getrennt betrachteten Ma├čnahmen aufeinander abzustimmen oder auszurichten (Alignment). Ziel ist es, die positiven Effekte zu verst├Ąrken, die entstehen, wenn diese Ma├čnahmen zusammenwirken und sich gegenseitig unterst├╝tzen. Verschiedene Initiativen, Strategien oder Ans├Ątze sind daraufhin zu analysieren und zu bewerten, ob sie besser aufeinander abgestimmt werden k├Ânnen, um gemeinsame Ziele zu erreichen oder um sicherzustellen, dass Ressourcen und Anstrengungen effizient eingesetzt werden. Die Portfolioperspektive ist daher f├╝r eine transformative Innovationspolitik unerl├Ąsslich.
  • Aufgrund des transformativen Charakters sind demokratisch legitimierte Diskurse auf dem Weg zur Transformation und damit potenziell auch als Teil der Evaluation zu ber├╝cksichtigen.
  • Die zeitliche Dringlichkeit zielorientierter Ma├čnahmen sowie der systemische Charakter transformativer Politiken r├╝cken die Frage st├Ąrker in den Fokus, wo und wie Lernschleifen im ÔÇÜ├ľkosystemÔÇś verk├╝rzt werden k├Ânnen, um zu einem agilen Governance-System beizutragen. In diesem Zusammenhang werden neue Anforderungen an ein Monitoring formuliert, das nicht nur ├╝ber herk├Âmmliche Input- und Output-Indikatoren ├╝ber die Qualit├Ąt der Umsetzung Auskunft geben soll, sondern im Sinne eines ÔÇÜreflexiven NavigationssystemsÔÇś (Kofler und Wieser) bereits inhaltliche R├╝ckschl├╝sse zeitnah erfassen und strukturiert in Reflexionen ├╝ber die Governance von Politikma├čnahmen einflie├čen lassen soll.
  • In der Analyse des Designs und der Implementierung von transformativen Politikma├čnahmen werden Unsicherheiten noch st├Ąrker zum Tragen kommen, das sich in der Pr├Ąsentation von Evaluationsergebnissen offengelegt werden sollen.
  • Analysekonzepte und -methoden sowie Indikatoren f├╝r Transformationsma├čnahmen werden derzeit auf der Grundlage der Sustainable Development Goals und der Transformative Outcomes entwickelt.
  • Wie in der FONA-Impact Begleitforschung kann die Analyse des Zusammenhangs zwischen Mikro- und Makroebene durch Szenarioanalysen mit Fokus auf Gelingensbedingungen verfolgt werden.
  • Die Methodik zur Erfassung sozialer Innovationen basiert auf dem SIA-Modell, das Indikatoren online einspeist und als lernendes Werkzeug konzipiert ist. Damit besteht eine ├ähnlichkeit zum oben erw├Ąhnten reflexiven Navigationssystem. Allerdings fehlt derzeit noch ein standardisiertes Indikatorenset.
  • Das BMWK in Berlin baut derzeit ein Datenlabor auf, das auf dem Open-Data-Prinzip basiert; Meta-Analysen und die Entwicklung und Einsatz von Werkzeugen f├╝r die Analyse von unstrukturierten Daten sollten dort erfolgen. Der Fokus des BMWK liegt auf digitalen Prozessen und Tools. Hierbei sind die zeitlichen Horizonte der Haushaltsf├╝hrung zu ber├╝cksichtigen; wichtig ist in diesem Zusammenhang auch die Abstimmung von Ziel- und Handlungsebenen.

DeGEval-Fr├╝hjahrstagung 2022

Neue Anspr├╝che an das Monitoring von FTI-Programmen

Die Fr├╝hjahrstagung des AK FTI fand am 31. Mai 2022 zwischen 13:00 - 17:00 Uhr statt.

Das Monitoring von F├Ârderprogrammen ist bedeutend f├╝r die evidenz-basierte Steuerung von Forschungs-, Technologie- und Innovations- (FTI-)Programmen. Ziel des Monitorings ist es, Projekt- und Programmfortschritte zu ├╝berpr├╝fen, um eine fundierte Entscheidungsgrundlage zu schaffen und Anpassungen vorzunehmen. Die Ergebnisse eines Monitorings dienen auch weiterf├╝hrenden Analysen, z. B. im Rahmen von Evaluationen. Die Verf├╝gbarkeit von Monitoringdaten kann im Fall nicht intendierter Effekte und unvorhergesehener Einflussfaktoren (z. B. der Corona-Krise) und bei dynamischen Transformationsprozessen (z. B. der Klima- und Energiewende) besonders relevant sein. Allgemein kann ein Monitoring unterschiedliche Beitr├Ąge leisten, wie z. B. Transparenz schaffen, Informationen zu einer sp├Ąteren Evaluation beitragen, Daten f├╝r eine technologische Vorausschau zur Verf├╝gung stellen oder Entscheidungsgrundlagen zur Steuerung komplexer Programme bieten.

Die diesj├Ąhrige Fr├╝hjahrstagung des AK FTI der DeGEval widmete sich dem Thema Monitoring aus unterschiedlichen Perspektiven. Nach einer Einf├╝hrung in das Thema wurde anhand von Praxiserfahrungen diskutiert, wie das Monitoring in der Umsetzung von Programmen unterst├╝tzen kann und wo die Herausforderungen liegen. Es folgten Beitr├Ąge zu aktuellen Monitoring-Projekten und eine abschlie├čende Diskussion zu den zuk├╝nftigen Entwicklungen und Anforderungen an das Monitoring zu FTI-Programmen.


Neue Anspr├╝che an das Monitoring zur Programmsteuerung und Synergien mit der Evaluation

In einem einleitenden Vortrag wurde die Bedeutung f├╝r eine Fachdiskussion zum Thema Monitoring hervorgehoben. W├Ąhrend die Evaluation von FTI-Programmen klar definierten Standards folgt und im Rahmen der Umsetzung von Evaluationen klare Vorgaben einzuhalten sind, zeigt sich f├╝r das Monitoring, dass die Vorgaben in Form einer Standardisierung weniger konkret sind. Die Grenzen zwischen Monitoring und Evaluation sind bisweilen flie├čend. Dies liegt auch daran, dass nicht jedes Programm ├╝ber ein eigenes Monitoring-System verf├╝gt und Informationsbedarfe dann ├╝ber die Evaluation gedeckt werden, in anderen Programmen findet wiederum eine gewisse Arbeitsteilung zwischen der Evaluation und dem Monitoring statt. Die Schnittstellen zwischen Evaluation und Monitoring sind von besonderer Bedeutung, sind aber nicht immer eindeutig definiert. Im Idealfall kann sich die Evaluation relevanter Monitoring-Daten bedienen, woraus sich M├Âglichkeiten f├╝r Effizienzsteigerungen in der Umsetzung ergeben und mehr Ressourcen f├╝r relevante analytische Fragestellungen zur Verf├╝gung stehen. Das Monitoring unterst├╝tzt in erster Linie bei der Durchf├╝hrung, der Anpassung von Instrumenten und bei der Modifikation von F├Ârderzielen. Das Programmmonitoring ist aktuell auch deshalb im Fokus der fachlichen Diskussion, weil die Ausrichtung der Innovationspolitik im Sinne einer Missionsorientierung perspektivisch eine Weiterentwicklung der Methodik erfordert.

 

Praxiserfahrungen mit der Unterst├╝tzung der Entscheidungsfindung wurden in dem zweiten Beitrag vorgestellt. Es wurde deutlich, dass Monitoring f├╝r die Programmsteuerung einen bedeutenden Beitrag liefern kann, um die Arbeit der Ministerien zu unterst├╝tzen. Der Erkenntnisgewinn ist zentral davon abh├Ąngig, dass bei den Durchf├╝hrenden des Monitorings ein umfassendes Verst├Ąndnis f├╝r den Erkenntnisbedarf der Entscheidungstr├Ąger vorhanden ist.

Praxisbeitr├Ąge: Erfahrungen mit der praktischen Umsetzung von Monitoringprojekten

Die Beitr├Ąge aus der Praxis verdeutlichten, dass Monitoring ganz unterschiedlich ausgestaltet sein kann.

In den letzten Jahren hat ├╝ber die Umsetzung eine erhebliche Professionalisierung der Programmumsetzung stattgefunden, mitunter durch eine enge Verzahnung und Abstimmung zwischen PTs und wissenschaftlichen Beratungseinrichtungen, die gemeinsam an den Monitoring-Themen arbeiten. Wie der Praxisbeitrag von Iris Eckardt (PtJ) und Dr. Thorsten L├╝bbers (Ramboll) zum Monitoring zu EXIST-Gr├╝nderstipendium und EXIST-Forschungstransfer verdeutlichte.

Karoline Rodriguez vom Institut f├╝r Innovation und Technik (iit Berlin) pr├Ąsentierte noch unver├Âffentlichte Befragungsdaten eines laufenden Monitorings zur BMBF-F├Ârderma├čnahme VIP+. Das Monitoring wird seit 2018 im Rahmen der Projekttr├Ągerschaft ÔÇ×Offene Innovationskultur und KMU-QuerschnittsaufgabenÔÇť gemeinsam von Projekttr├Ąger J├╝lich und VDI/VDE-IT f├╝r Referat BMBF/515 ÔÇ×Innovationsf├Ârderung; SprinD, Cluster, Gaia-XÔÇť umgesetzt und bezieht sich auf unterschiedliche Ma├čnahmen.

Im Rahmen der Fr├╝hjahrstagung wurde das Thema Monitoring breiter gefasst, einschlie├člich einer wissenschaftlichen Begleitung der FuE-Programme, in Form von Analysen und der Wissensaufbereitung zur Themenfindung f├╝r neue F├Ârderprogramme. Dieser Aspekt des Themenmonitorings wurde durch den Vortrag von Axel Mangelsdors (Institut f├╝r Innovation und Technik (iit Berlin)) vorgestellt.

Anhand des Beispiels Mobilit├Ąt der Zukunft als Praxislabor f├╝r ein Wirkungsmonitoring zur Steuerung missionsorientierter FTI-Programme wurden neue Anforderungen an das Monitoring zur Begleitung missionsorientierter Vorhaben oder Programme durch Jakob Kofler von KMU Forschung Austria vorgestellt.

 

Status-quo und Anspr├╝che f├╝r das zuk├╝nftige Monitoring von FTI-Programmen: Abschlussdiskussion

In der Abschlussdiskussion kamen verschiedene Aspekte zur Ansprache, die f├╝r die zuk├╝nftige Umsetzung von Monitoring-Projekten relevant sind. Klar wurde, dass Monitoring ausreichende Kapazit├Ąten braucht, um auf Basis der Inhalte relevante Informationen f├╝r die Programmsteuerung zur Verf├╝gung zu stellen. Hierf├╝r sind erg├Ąnzend zur standardisierten Datenerhebung zeitaufw├Ąndige Analyseschritte notwendig. Auf der anderen Seite besteht weiterhin Potenzial f├╝r Effizienzgewinne, durch Standardisierung und IT-L├Âsungen. Auch f├╝r das Monitoring sind Wirkmodelle die zentrale Basis der Indikatorenentwicklung. Monitoringberichte/ interne Trendanalysen flie├čen in aktuelle Diskussionen ein, doch bei den durchf├╝hrenden Stellen besteht wenig Transparenz dar├╝ber, inwiefern dies Entscheidungen beeinflusst. Um steuerungsrelevante Informationen bereitzustellen, besteht die Herausforderung darin, ├╝berhaupt erst darzulegen, was gesteuert werden soll und wo hier die Verantwortlichkeiten liegen. Die Ergebnisse sind so zu verdichten, dass diese auf der strategischen Ebene sinnstiftend eingesetzt werden k├Ânnen. Um die Beteiligten zur Teilnahme an den Monitoring-Umfragen zu motivieren, gilt es auch dar├╝ber nachzudenken, inwiefern die Befragten selbst vom Monitoring profitieren k├Ânnen. Spannend ist auch die Frage, ob und inwiefern von neuen Ans├Ątzen des Monitorings zur Steuerung missionsorientierter FuE-Programme auch neue Anforderungen f├╝r klassische Monitoring-Systeme hervorgehen. Letztlich geht es dabei um die Frage, was klassische Monitoring-Systeme von neuen Ans├Ątzen zu komplexeren Systemen lernen k├Ânnen.

Neue F├Ârderinstrumente f├╝r die Transformation und Implikationen f├╝r Evaluationen

Virtuelles Fr├╝hjahrstreffen des AK Forschungs-, Technologie- und Innovationspolitik der DeGEval e. V.

Das virtuelle Fr├╝hjahrstreffen thematisierte den deutlich gestiegenen Anspruch von F├Ârderprogrammen, einen Beitrag zu Transformationsprozessen zu leisten, die notwendig sind, um den gesellschaftlichen Herausforderungen wie Klimawandel, ├änderungen im Mobilit├Ątsverhalten, alternde Gesellschaft, Gesundheitsversorgung usw., zu begegnen.

Es gibt F├Ârderprogramme, die explizit auf Transformation ausgerichtet sind (z. B. F├Ârderung der Elektromobilit├Ąt oder der Bio├Âkonomie) und weitere mit einem Fokus auf anderen Forschungsthemen, bei denen die Integration solcher Anspr├╝che an Beitr├Ąge zu Transformationsprozessen erst beginnt. Damit hat das Transformationsthema und die Messung von Programmwirkungen, die weit ├╝ber die unmittelbar gef├Ârderten Institutionen und Personengruppen hinausgehen, auch f├╝r laufende und zuk├╝nftige Evaluationen ein noch unterschiedliches Gewicht. Ver├Ąnderungen lassen sich in den letzten Jahren jedoch nicht nur in den F├Ârderinhalten konstatieren, sondern auch in den F├Ârderans├Ątzen und -instrumenten. Hierauf wurde der Fokus unseres Fr├╝hjahrstreffens gelegt.

In Vortr├Ągen und interaktiven Elementen wurden die Folgen f├╝r die methodischen Vorgehensweisen, Sets an Indikatoren zur Wirkungsmessung, Reichweiten von F├Ârderwirkungen, Einfl├╝sse und Limitationen aus verschiedenen Bereichen au├čerhalb der F├Ârdert├Ątigkeit, Grenzen aus dem EU-Beihilferahmen, der Ressortzust├Ąndigkeiten usw. diskutiert.

Fazit: Dem Wandel bei F├Ârderans├Ątzen und F├Ârderanspr├╝chen muss auch ein Wandel in den Evaluationsans├Ątzen und Methodiken folgen. Sie werden voraussichtlich multidisziplin├Ąrer und noch multidimensionaler.

Ihr FTI-Team

Marianne Kulicke, Leo Wangler und Peter Kaufmann

Hier gehts zum Programm.

Vortr├Ąge und Foliens├Ątze:

Herbsttreffen 2020 des AK Forschungs-, Technologie- und Innovationspolitik zum Thema Covid-19

Herausforderungen der COVID-19-Krise an die FTI-Politik und deren Evaluierung: Was k├Ânnen wir daraus lernen?

Im Rahmen der Herbsttagung des AK FTI 2020 (diese fand am 16. Oktober 2020 von 14:30 ÔÇô 17:00 Uhr statt) stand das Thema COVID-19 im Vordergrund. Es stellte sich die Frage, welche konkreten Auswirkungen die von der Corona-Pandemie ausgel├Âste Krise auf FTI-Evaluierungen hat bzw. haben wird. Die folgenden Leitfragen standen damit im Vordergrund der diesj├Ąhrigen Herbsttagung:

  • Welche Auswirkungen der Krise auf die Innovationst├Ątigkeit von Unternehmen stellen wir in unseren laufenden Evaluierungen und Begleitstudien fest?
  • Welche Lehren ziehen wir aus der derzeitigen Krise f├╝r FTI-Politik und deren Evaluation? Ist ein Bezug zur Klimakrise m├Âglich? Sind Schlagworte/Konzepte wie Resilienz zuk├╝nftig st├Ąrker relevant oder sogar ein Vertiefungsbereich von Evaluationen? Wenn ja, wie kann man dies in FTI-Studien und Evaluationen bestm├Âglich integrieren?
  • Welche Auswirkungen hat die COVID-19-Krise auf die Umsetzung von laufenden Studien und Evaluationen? Welche innovativen Wege wurden und werden eingeschlagen, um Projekte dennoch organisatorisch und methodisch umzusetzen?
  • Wie werden Studien- und Evaluationsbudgets von potenziellen Auftraggebern durch die Krise beeinflusst? In welchen Bereichen wird mehr zur Verf├╝gung gestellt, wo wird gespart werden?

Auf diesen Call kam es zur Einreichung dieser drei Beitr├Ąge, die das Thema Corona und Evaluation aus unterschiedlichen Blickwinkeln beleuchteten:

  1. ÔÇ×Zwischen Emergency Calls, Post-Corona-Konjunkturstimulierung & Experimentierr├Ąumen f├╝r die Entwicklung neuer Ma├čnahmen ÔÇô wie findet Lernen statt?ÔÇť (FFG: Sabine Mayer)
  2. ÔÇ×Corona und die Nachhaltigkeitsfrage: Lessons learned aus einer ProgrammevaluationÔÇť (Fraunhofer ISI: Susanne B├╝hrer / Sarah Seus).
  3. ÔÇ×Auswirkungen der Corona-Pandemie auf Innovationsf├Ârderma├čnahmen ÔÇô erste empirische Ergebnisse aus verschiedenen Evaluationen deutscher F├ÂrderprogrammeÔÇť (iit-Berlin: Jan Wessels, Karoline Rodriguez, Leo Wangler, Sonja Kind und Christiane Kerlen (Kerlen Evaluation))

 

Beitrag 1: ÔÇ×Zwischen Emergency Calls, Post-Corona-Konjunkturstimulierung & Experimentierr├Ąumen f├╝r die Entwicklung neuer Ma├čnahmen ÔÇô wie findet Lernen statt?ÔÇť

In dem Vortrag von Sabine Meyer wurde deutlich, dass die COVID-19-Krise auch die FTI-Politik und die Agenturen, die diese umsetzen, vor gro├če Herausforderungen stellt. Zum einen geht es darum, rasche L├Âsungen in der Gesundheitskrise zu finden, zum anderen um einen Beitrag zur konjunkturellen Entwicklung aus der Krise heraus. Rasche L├Âsungen verlangen rasches Handeln - gemeinsam mit den ├Âsterreichischen Ministerien BMDW und BMK hat die Forschungsf├Ârderungsgesellschaft bereits am 9.3.2020 den COVID Emergency Call gestartet mit insgesamt 26 Mio. EUR. Auch die ersten F├Ârderungen mit Finanzierung aus dem Konjunkturpaket sind gestartet, deren Umsetzung testet als Pilot die ├╝bergreifende Nutzung verschiedener F├Ârderungsformate f├╝r gemeinsame Ziele. F├╝r Agenturen wie die FFG, und f├╝r die FTI-Politik insgesamt hei├čt das auch, dass mehr Agilit├Ąt und Flexibilit├Ąt gefordert ist. Die FFG ist aus diesem Grund Partner im Innovation Growth Lab von Nesta, das experimentelle Zug├Ąnge in der FTI-Politik unterst├╝tzt, und arbeitet mit anderen Europ├Ąischen Agenturen zusammen, um gemeinsam zu testen und zu lernen, wie Agenturen durch Piloten und Experimente Evidenz generieren k├Ânnen. Darauf aufbauend stellen sich Fragen an die Evaluierbarkeit der neuen politischen Herausforderungen: Welchen Wert, welche Wirkung hat Geschwindigkeit? Wie sollen Lernumgebungen beschaffen sein, die es erlauben, evidenzbasiert neue Wege zu testen? Welche Rolle spielt Evaluierung in diesem sich rasch ver├Ąndernden Umfeld? Diese und weitere Fragen wurden im Rahmen der diesj├Ąhrigen Herbsttagung des AK FTI diskutiert. Die Vortragsfolien finden Sie hier.

Beitrag 2: ÔÇ×Corona und die Nachhaltigkeitsfrage: Lessons learned aus einer ProgrammevaluationÔÇť

In dem Beitrag durch Susanne B├╝hrer und Sarah Seus wurde anhand der Evaluation des Forschungsprogramms f├╝r Nachhaltigkeit (FONA) dargestellt, wie das Corona-Thema Auswirkungen auf das Evaluationsprojekt hatte. Einerseits konnte ein geplanter Diskurs auf Basis der Evaluationsergebnisse nicht wie geplant fortgesetzt werden, stattdessen wurden Vorschl├Ąge erarbeitet, wie der Diskurs dennoch fortgesetzt werden kann. In einem kurzen Zeitrahmen wurden m├Âglichst viele Ideen f├╝r die strategische und operative Fortsetzung der F├Ârderung gesammelt. Teil der weiterf├╝hrenden Arbeiten waren auch Aspekte einer qualitativen ex-ante-Evaluation. Im Zuge dessen wurden 50 Telefoninterviews mit Vertreter:innen aus Hochschulen, der au├čeruniversit├Ąren Forschung, der Wirtschaft, den Kommunen und der Zivilgesellschaft gef├╝hrt. So wurde der Frage nachgegangen, welche Auswirkungen die Corona-Krise auf die nachhaltige Entwicklung der Akteure hat. Im Kern lie├čen sich hierzu drei Gruppen von Antworten unterscheiden: (1) Corona spielt f├╝r die Nachhaltigkeit und insbesondere die Strategien zur Bew├Ąltigung des Klimawandels keine Rolle; (2) Corona dr├Ąngt aufgrund seiner ernsthaften Folgen f├╝r Wirtschaft und Gesellschaft Nachhaltigkeitsthemen in den Hintergrund; (3) Corona f├╝hrt zu einer kritischen Reflexion bisheriger Routinen in Wirtschaft, Wissenschaft, Politik und Gesellschaft, die FONA in seiner F├Ârderpraxis aktiv aufgreifen kann. Im Rahmen des Vortrags wurden diese Antwortcluster differenzierter dargestellt und in die aktuellen Nachhaltigkeitsdiskurse eingebettet. Die Vortragsfolien finden Sie hier

Beitrag 3: ÔÇ×Auswirkungen der Corona-Pandemie auf Innovationsf├Ârderma├čnahmen ÔÇô erste empirische Ergebnisse aus verschiedenen Evaluationen deutscher F├ÂrderprogrammeÔÇť

In einem abschlie├čenden Beitrag wurde durch Karoline Rodriguez und Jan Wessels ├╝ber die Erfahrungen zu den Auswirkungen der Corona-Pandemie auf Innovationsf├Ârderma├čnahmen berichtet. Die Ergebnisse zeigen deutlich, dass die aktuelle Corona-Pandemie in erheblichem Ausma├č Wirtschaft, Verwaltung, zentrale Innovationsprozesse und m├Âglicherweise auch Forschungseinrichtungen und Universit├Ąten beeintr├Ąchtigt. Anhand der Indikatorik ist es das Ziel, n├Ąher herauszufinden, inwiefern die Krise auch die Zuwendungsempf├Ąnger zu evaluierender Programme beeinflussen wird. F├╝r viele Akteure d├╝rfte die aktuelle Situation zur Herausforderung werden, weil der Zugang zu Laboren eingeschr├Ąnkt oder gar nicht mehr m├Âglich ist, weil Personal fehlt, Lieferketten unterbrochen sind, Meetings abgesagt werden, Konferenzen nicht stattfinden, Finanzmittel umgeleitet werden etc. Somit stellt die Corona-Pandemie auch f├╝r Evaluationen einen externen Einflussfaktor dar, der die angestrebte Wirkung zu untersuchender Programme in Hinblick auf die erfolgreiche Umsetzung von Innovationsprojekten und die Verhaltens├Ąnderung von Akteuren in Richtung Innovationsorientierung negativ beeinflussen k├Ânnte. Das ist insofern relevant, als damit die Wirkung des entsprechenden Programms im Vergleich mit anderen Programmen, die nicht w├Ąhrend der Corona-Pandemie umgesetzt wurden, geringer ausfallen k├Ânnte, ohne dass dies dem Programm selbst zugerechnet werden darf. Zudem sind entsprechende Informationen auch im Sinne einer formativen Unterst├╝tzung laufender Programme und ihrer Anpassung an die Krise hilfreich. Um hierf├╝r zu kontrollieren bzw. erste Daten zu erheben, wurden im Sommer 2020 bereits geplante Befragungen von aktuellen und ehemaligen Zuwendungsempf├Ąngern in vier Programmen von BMBF, BMWi und BMVI mit spezifischen Fragen ├╝ber die Auswirkungen von Corona erg├Ąnzt. Dabei wurden/werden sowohl Projekte in der Startphase, am Ende der Projektlaufzeit sowie in der Verwertungsphase befragt. Zudem wurde in einer Evaluation ein Workshop zu den Auswirkungen bei den gef├Ârderten Projekten umgesetzt. Im Rahmen dieses Beitrags wurden erste Ergebnisse der Befragungen vorgestellt und die Befragung konzeptionell in ein erstes Modell der Wirkung des externen Schocks ÔÇ×CoronaÔÇť auf laufende Innovationsprozesse eingeordnet. Teil des Beitrags war auch eine Skizzierung m├Âglicher weiterer Forschungsbedarfe und Strategien. Die Vortragsfolien finden Sie hier.

Ihr FTI-Team

Marianne Kulicke, Leo Wangler und Peter Kaufmann