Bisherige Aktivitäten
des AK FTI
Frühjahrstagung 2025: Herausforderungen und innovative Ansätze der Wirkungsmessung
Die Frühjahrstagung des AK FTI zum Thema Wirkungsmessung fand am 26. Juni 2025 zwischen 13:00-17:00 Uhr statt.
Das diesjährige Frühjahrstreffen des AK Forschungs-, Technologie- und Innovationspolitik (FTI) widmete sich „Herausforderungen und innovative Ansätze der Wirkungsmessung".
Die Frage nach der Wirkung von Programmen gehört zur zentralen Fragestellungen von Evaluationen. Die Wirkungsmessung begleitet den gesamten Evaluationsprozess – von der Erstellung des Zielsystems und des Wirkmodells über das Indikatorensystem bis hin zur Aufbereitung der Evaluationsergebnisse. Zentral für die Wirkungsmessung sind Indikatoren, deren Informationen mithilfe unterschiedlicher methodischer Ansätze aufbereitet werden.
In der Umsetzung zeigt sich eine breite Vielfalt in den Herangehensweisen. Diese spiegelt auch die Heterogenität der Aufgabenstellungen, die vom Evaluationsgegenstand vorgegeben ist und damit stark variiert. Eine Herausforderung bleibt aber auch die Datenverfügbarkeit, die weiterführende Analysen und die Tiefe der Wirkungsmessung stark einschränken kann. Hier sind Lösungen gefragt, um damit verbundenen Herausforderungen zu begegnen.
Das Programm zur Frühjahrstagung 2025 steht hier zur Verfügung
Überblick zu den Fachbeiträgen
Ein neuer Ansatz, um die Blackbox für die Wirkungsanalyse einer missionsorientierten Forschungsstrategie zu öffnen - Entwicklung von Theories-of-Change für generische politische Instrumente. Vortragende: Susanne Bührer (Ko-Autoren Sarah Seus, Florian Wittmann)
Gegenstand des Vortrags ist der konzeptionelle Ansatz zur Evaluation der FONA-Strategie des Bundesministeriums für Bildung und Forschung (BMBF, neu: Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR)). Diese gliedert sich in drei strategische Hauptziele (Erreichen der Klimaziele; Erforschung, Schutz und Nutzung von Lebensräumen und natürlichen Ressourcen; Entwicklung von Gesellschaft und Wirtschaft - gute Lebensbedingungen im ganzen Land), acht prioritäre Handlungsfelder (z.B. Vermeidung und Reduktion von Treibhausgasen (Mitigation), Schutz natürlicher Ressourcen (Wasser, Boden), innovative Regionen) und 25 spezifische Aktionen. Die Neuartigkeit unseres Ansatzes besteht darin, dass für jedes Policy-Instrument dieser umfassenden Strategie nicht nur idealtypische Wirkungspfade, sondern auch spezifische Mechanismen identifiziert wurden, die zu Wirkungen führen (Erfolgsbedingungen und hinderliche Faktoren).
Die Präsentation ist hier abrufbar
Spannungsfeld zwischen ambitionierter Aufgabenstellung, quantitativer Validität und qualitativer Prozessorientierung: Ergebnisse und Erfahrungen aus der Evaluation von LuFo VI. Vortragender: Michael Rothgang, RWI
Eine zentrale Herausforderung bei der der Evaluation des sechsten Zivilen Luftfahrtforschungsprogramms (LuFo VI) im Förderzeitraum 2020 bis 2024 lag in der frühzeitigen und breiten Bewertung von (hauptsächlich zukünftigen) Programmwirkungen. Methodisch wurde dies, wo dies möglich war, in Form von ökonometrischen Vergleichsgruppenanalysen umgesetzt. Parallel wurden Programmergebnisse anhand von Befragungen erhoben, Fokusgruppen gebildet und technologische Fallstudien durchgeführt. Ziel der Fallstudien war es, den Prozess von den Ausgangsbedingungen über die Projektdurchführung bis zur Umsetzung der Projektergebnisse und den damit verbundenen möglichen Impacts nachzuvollziehen (Process Tracing). Die Ergebnisse geben einen Hinweis auf zukünftige Potenziale der Wirkungsmessung bei der Bewertung des strukturbildenden Effekts der Förderung, einer Weiterentwicklung quantitativer Wirkungsmessung und einer breiteren Anwendung einer prozessorientierten Vorgehensweise.
Die Präsentation ist hier abrufbar
Wirkungsanalyse von ZIM: Ergebnisse auf Basis von Förderintensitäten und bei Berücksichtigung anderer FuE-Förderungen. Vortragender: Christian Rammer (Ko-Autor: Kornelius Kraft)
In der im Jahr 2024 durchgeführten Evaluation des Zentralen Innovationsprogramms Mittelstand (ZIM) wurden für die Wirkungsanalyse mehrere neue Ansätze umgesetzt. Der Erhalt einer FuE-Förderung wurde über die Höhe der pro Kalenderjahr bereitgestellten Fördermittel gemessen (Förderintensität). Der Fördereffekte wurden über verschiedene Modellspezifikationen (log-log, semi-log, level-level) ermittelt. Gleichzeitig wurde der Erhalt anderer FuE-Förderungen berücksichtigt. Die Ergebnisse zeigen eine signifikante Inputadditionalität von ZIM-Förderungen, deren absolute Höhe (zusätzliche FuE-Ausgaben bzw. zusätzliche FuE-Beschäftigung je Euro an Fördermittel) je nach Modellspezifikation deutlich unterschiedlich ausfällt.
Die Präsentation ist hier abrufbar
Chancen & Grenzen kontrafaktischer Wirkungsanalysen für die österreichische FTI-Politik - Diskussion über eine geplante Situationsanalyse. Vortragende: Isabella Wagner, Jakob Kofler
Ähnlich zur EFI-Studie (Buechele et al., 2024) untersucht die geplante Studie Potenziale und Grenzen quantitativer kontrafaktischer Evaluierungsmethoden in der österreichischen FTI-Politik. Dabei wird der Status quo der Methodenverwendung systematisch erhoben und aus Auftraggeber*innen-Sicht analysiert, warum kontrafaktische Ansätze (nicht) ausgeschrieben werden. Veränderungen im Politikfeld und neue Rahmenbedingungen wie das Austria Micro Data Center (AMDC) werden berücksichtigt. Mit der DeGEval-Community soll das Studiendesign diskutiert und Impulse gesammelt werden.
Die Präsentation ist hier abrufbar
EVALDAT: Eine neue Dateninfrastruktur für die Evaluation von FuE- und Innovationsförderung auf Unternehmensebene. Vortragende: Gero Stenke, Christian Rammer
In dem Projekt EVALDAT wurden administrative Daten zu FuE- und Innovationsförderungen mit Befragungsdaten der FuE-Erhebung und der Innovationserhebung verknüpft und für die Zwecke von Wirkungsanalysen aufbereitet. Erfasst wurden Höhe und Zeitraum von Förderungen aus den Fachprogrammen des Bundes (Profi-Datenbank), ZIM, den EU-Forschungsrahmenprogrammen, der Forschungszulage und den EFRE-kofinanzierten Länderprogrammen (dzt. nur für 2014-2020). Um die Verknüpfung zu realisieren, musste eine einheitliche Bezugseinheit für die Befragungs- und Förderdaten hergestellt werden. Die Datensätze, die sich insbesondere für Kontrollgruppenansätze eignen, sollen für künftige Programmevaluationen den Evaluatoren zur Verfügung gestellt werden.
Die Präsentation ist hier abrufbar
AMDC: Das Austrian Micro Data Center: Konzeption und Nutzung. Vortragende: Lisa Ehrntraut
Das Austrian Micro Data Center (AMDC) der Statistik Austria ist eine datenschutzkonforme Forschungsdateninfrastruktur, die auf klaren rechtlichen Grundlagen basiert. Der Zugang zu nicht anonymisierten Mikrodaten erfolgt im Einklang mit der EU-Datenschutz-Grundverordnung (DSGVO) und dem österreichischen Bundesstatistikgesetz. Dieses erlaubt unter bestimmten Voraussetzungen die Nutzung von Individualdaten zu wissenschaftlichen Zwecken, sofern ein erhebliches öffentliches Interesse besteht und die Geheimhaltung personenbezogener Daten gewährleistet ist. Die Nutzung erfordert einen Forschungsantrag, der von Statistik Austria geprüft wird, sowie den Abschluss eines Datenverarbeitungsvertrags. Damit stellt das AMDC eine datenschutzrechtlich abgesicherte Lösung zur Verfügung, die den Zugang zu amtlichen Mikrodaten für Forschungseinrichtungen im In- und Ausland ermöglicht, die auch für Evaluationen zur Verfügung steht.
Frühjahrstagung 2024: Innovative Ansätze in FTI-Evaluationen
Die Frühjahrstagung des AK FTI fand am 18. Juni 2024 zwischen 13:00-16:30 Uhr statt.
Das diesjährige Frühjahrstreffen des AK Forschungs-, Technologie- und Innovationspolitik (FTI) widmete sich „Innovativen Ansätzen in FTI-Evaluationen". Es wurde der Frage nachgegangen , mit welchen Ideen den aktuellen Herausforderungen in Begleitevaluationen und Wirkungsmessungen begegnet werden kann. Denn in der Praxis sind innovative Ansätze gefragt, um den neuen Anforderungen gerecht zu werden, sei es in Form neuer analytischer Zugänge, methodischer Ansätze oder Messkonzepte. Auch bei der weiteren Interpretation der Evaluationsergebnisse steigen die Anforderungen, z.B. hinsichtlich der Integration von quantitativen und qualitativen Ansätzen, die möglicherweise im Rahmen von Begleitprozessen besser umgesetzt werden können. In diesem Jahr gab es eine Rekordbeteiligung, von über 60 interessierten Evaluator*innen.
Überblick zu den Fachbeiträgen
Aktuelle Methodik-Diskussion der Ressorts zur Wirkungsorientierung und Evaluationskultur innerhalb der deutschen Bundesregierung, Dr. Friederike Weritz, BMWK
Der Beitrag ermöglichte einen Überblick zur aktuellen Methodik-Diskussion der Ressorts zur Wirkungsorientierung und Evaluationskultur, die angestoßen vom Bundesministerium für Finanzen (BMF) und unter Beteiligung der anderen Fachministerien geführt wird. Mehrere sog. Spending Reviews haben seit 2015 stattgefunden, um die Zielerreichung durch den Einsatz öffentlicher Mittel zu bewerten. Im gerade abgeschlossenen Review-Zyklus 2022/2024 hat eine Arbeitsgruppe u.a. Empfehlungen für die Verbesserung der ziel- und wirkungsorientierten Haushaltsführung mit einem Schwerpunkt Nachhaltigkeit erarbeitet. Ferner wurde im Beitrag auf methodisch relevante Prozesse eingegangen , die die Überarbeitung der allgemeinen Verwaltungsvorschriften zur Bundeshaushaltsordnung (VV BHO) und der Arbeitsanleitung Wirtschaftlichkeitsuntersuchung des BMF mit Fokus auf Erfolgskontrolle sowie die Diskussion Fördereffizienz beim Thema Treibhausgasminderung (THG) betreffen.
Erstellung eines wirkungsorientierten Monitorings für das Förderportfolio der Alexander von Humboldt Stiftung – Modulare Wirkungsstränge als Basis zur Konzeption eines stiftungsübergreifenden Monitorings, Sarah Seus, Fraunhofer ISI
Mit zunehmender Aufmerksamkeit für gesellschaftliche Auswirkungen von Forschungsaktivitäten, sind Forschungsförderungsorganisationen zunehmend mit der Forderung konfrontiert, die Wirkungen ihrer Aktivitäten besser zu verstehen und darzustellen (Bornmann 2013; Sørensen et al. 2022). In diesem Beitrag wird der Ansatz vorgestellt, der einen Rahmen für ein wirkungsorientiertes Monitoring skizziert, der die (Förder-) aktivitäten der unterschiedlichen organisatorischen Ebenen (übergreifendes Förderportfolio/Aktivitäten, einzelne Förderprogramme) der Alexander von Humboldt Stiftung (AvH) abbildet. Dabei nutzen wir das Konzept der Wirkungspfade (impact pathways), das auch in der Forschungs- und Innovationsförderung in den letzten Jahren an Popularität gewonnen hat (Bruno und Kadunc 2019; Griniece et al. 2020; Muhonen et al. 2019, Belcher et al. 2020). Neu an diesem Ansatz ist der modulare Aufbau eines Wirkungsdiagramms, der auf der Idee einzelner, generischer Wirkungsstränge beruht. Diese einzelnen Wirkungsstränge beschreiben grundlegende Logiken von Förderaktivitäten, die auf verschiedene Stakeholder-Gruppen (einzelne Wissenschaftler:innen, Universitäten, etc.) abzielen und flexibel miteinander kombiniert werden können, je nach inhaltlichem Schwerpunkt des jeweiligen Förderprogramms. Wir haben drei zentrale Wirkungsdimensionen (Wissenschaft, interkultureller Austausch und Vernetzung, Gesellschaft) identifiziert, die sich in sechs inhaltliche Wirkungsstränge ausdifferenzieren lassen. Während diese Wirkungspfade auf die spezifischen Anforderungen der AvH zugeschnitten sind und mit der AvH zusammen in einem co-kreativen Prozess erarbeitet wurden, betrachten wir diese Pfade als so generisch, dass sie potenziell relevant für andere Forschungsförderer sein können.
Innovationsbiografien in der Evaluierungspraxis - eine Reflexion, Dr. Kathleen Toepel, IfS
EFRE-Mittel werden auf Landesebene in vielfältigen Fördermaßnahmen, darunter auch in FTI-Programmen eingesetzt. Zur Evaluierung der Prioritätsachse 1 "Innovation" des EFRE-Programms in Berlin wurden erstmalig in einer mehrjährigen begleitenden Evaluierung Innovationsbiografien als neuer Forschungsansatz angewendet, mit dem der gesamte Prozess der Wissensgenerierung in konkreten Innovationsverläufen der untersuchten Unternehmen, Hochschulen und außeruniversitären Forschungseinrichtungen nachgebildet werden konnte. Erstellt wurden insgesamt 23 Innovationsbiografien, die für die Evaluierung entlang des Wirkungsmodells ausgewertet wurden. Deutlich wird das Zusammenspiel verschiedener Fördermaßnahmen sowie der Einfluss externer Faktoren auf die Innovationsprozesse. Der Beitrag stellt die Erfahrungen mit dieser qualitativ ausgerichteten Methode anhand von Beispielen vor. Mit dieser Methode lässt sich insbesondere die Komplexität von Transformationsprozessen auf der Mikroebene abbilden.
Evaluierung transformativer innovationspolitischer Instrumente am Beispiel des österreichischen Programms INNOVATORINNEN, Dr. Verena Régent, WPZ Research
Dieser Beitrag beschäftigt sich mit der Evaluation transformativer Innovationspolitik (TIP)-Instrumente und geht dabei der Frage nach, inwiefern die WPZ-Begleitforschung des FFG-/BMAW-Programms INNOVATORINNEN den theoretischen Erfordernissen einer TIP-Evaluierung nahekommt. Mithilfe einer deduktiven Inhaltsanalyse werden das Evaluierungskonzept und die Evaluierungspraxis des INNOVATORINNEN-Programms anhand der in der neueren Literatur proklamierten Anforderungen an TIP-Evaluationen analysiert, insbesondere im Hinblick auf die Evaluierungsstrategie, die Rolle der Evaluierung, die Änderungstheorie und die Methodik. Die Ergebnisse deuten darauf hin, dass eine hohe Übereinstimmung zwischen den Programmbewertungs- und TIP-Evaluierungsanforderungen besteht, insbesondere im Hinblick auf das Lernen und Reflektieren des Programms sowie die evidenzbasierte Weiterentwicklung des Programms. Die INNOVATORINNEN-Evaluation zielt auf inhaltsorientierte ko-kreative Prozesse mit Programmteilnehmern und Programminhabern ab. Insbesondere entsteht ein Dreieck des Wissensaustauschs zwischen Evaluator:innen, Programminhabern und Programmteilnehmern, der der Weiterentwicklung des INNOVATORINNEN-Programms zugutekommt. Der Beitrag schließt mit einer Erläuterung der Erkenntnisse aus dem Bewertungsprozess, der ein hohes Maß an Offenheit, Flexibilität, Lernbereitschaft und Respekt vor Grenzen bei allen Beteiligten voraussetzt.
Das Programm zur Frühjahrstagung 2024 steht hier zur Verfügung
Die Konzeptualisierung und Messung von Wirkungen in der transformativen Forschungs-, Technologie- und Innovationspolitik
Unter dem Oberthema Transformative FTI-Politik und deren Herausforderungen und Messung fand am 20. Juni 2023 zwischen 13.00-16.30 Uhr das virtuelle Frühjahrstreffen des AK FTI statt. Im Fokus stand dabei ein Thema, das aufgrund der großen gesellschaftlichen Herausforderungen eine zunehmende Zahl an Politikmaßnahmen nach sich zieht, worauf auch die Evaluations-Community eine Antwort bezüglich deren Design und Evaluierbarkeit zu finden hat.
Hier geht's zum Programm
Beiträge durch die Referentinnen und Referenten
- Status Quo der Konzeptualisierung und Messung von Wirkungen in der transformativen Innovationspolitik – Eindrücke von der EU-SPRI Konferenz | Peter Kaufmann, Harald Wieser, Jakob Kofler (KMU Forschung Austria), Marianne Kulicke (Fraunhofer Institut für System- und Innovationsforschung ISI), Leo Wangler (iit Institut für Innovation und Technik)
- Transformations- und Missionsorientierung – das 7. und 8. Energieforschungsprogramm im Vergleich | Christiane Kerlen, Stefan Meyer, Kathleen Toepel (Kerlen Evaluation), Michael Dinges, Maximilian Gasser, Surya Knöbel (AIT), Peter Kaufmann, Jakob Kofler (KMU Forschung Austria)
- Forschung für Nachhaltigkeit - FONA IMPACT: Neue Verfahren der Wirkungsabschätzung einer komplexen Forschungsförderungs-Strategie | Prof. Dr. Rainer Walz (Fraunhofer Institut ISI)
- Navigieren in Transformationsprozessen: Ein "reflexives Navigationssystem" für das Monitoring und Lernen in der missionsorientierten Innovationspolitik | Jakob Kofler, Harald Wieser (KMU Forschung Austria)
- Soziale Innovation – Ansätze zur Messung und Wirkungsabschätzung | Dr. Georg Mildenberger (CSI - Centre for Social Investment, Universität Heidelberg)
Ergebnisse
In der einleitenden Reflexion des Frühjahrstreffens wurde als Input auf die jüngste EU-SPRI-Konferenz in Brighton eingegangen. Hier zeigt sich nach wie vor eine konzeptionelle Lücke zwischen übergeordneten Transformationstheorien, wie z. B. der Multi-Level-Perspektive auf Nachhaltigkeitstransitionen, und den grundlegenden Konzepten konkreter Politikmaßnahmen. Diese Lücke wird derzeit durch spezifische Fallstudien zu schließen versucht. Erste integrierte Ansätze zur Evaluierung von transformativen FTI-Programmen werden derzeit exploriert (z. B. Haddad & Bergek, 2023). Weiters ist ein Spannungsfeld zwischen missionsorientierter und transformativer Innovationspolitik (mit unterschiedlichen Theories of Change - ToC) zu beobachten. In den Präsentationen auf der Konferenz wurde kaum zwischen den beiden Versionen unterschieden, in einigen Debatten wurden die Unterschiede jedoch deutlich. Die Abfolge und das Zusammenwirken verschiedener Politikmaßnahmen, um das ‚Ökosystem‘ entscheidend in Richtung Transformation zu beeinflussen, stellen hohe Anforderungen an die Analysten und vielleicht noch höhere an die Governance von Transformationspolitiken. Gegenwärtige Vorschläge sehen Experimente in kleinem Maßstab vor, die bei vielversprechenden Ergebnissen skaliert werden, aber nur ein Bündel von Maßnahmen, eingebettet in ein agiles Mehrebenen-Governance-System, verspricht Erfolg.
Das 8. Energieforschungsprogramm (EFP) soll als missionsorientiertes neues Programm die Ziele der Bundesregierung im Hinblick auf den Wärme- und Stromsektor für 2030 und 2045 unterstützen. Während die bisherigen Programme einen technologiefokussierten Ansatz verfolgten, richtet sich das nächste Energieforschungsprogramm missionsorientiert auf die Umsetzung der Energiewende und die Beschleunigung der Transformation aus. Das neue Programm soll zudem auf dynamische politische und technologische Entwicklungen reagieren und sich als „selbstlernendes“ Programm an Veränderungen bei den Rahmenbedingungen anpassen können. Der Vortrag stützte sich auf Ergebnisse der Begleitevaluation des 7. EFP des BMWK. Im Zentrum stehen die Veränderungen des Programms – die sich daraus ergebenden Veränderungen für das Evaluationsdesign werden in einem Vortrag auf der Jahrestagung in Magdeburg erläutert.
Die Begleitforschung zu FONA-Impact zielt darauf ab, Methoden und Ansätze für ein geeignetes Monitoring und eine vertiefte Wirkungsanalyse am Beispiel der FONA-Strategie zu entwickeln, zu erproben und umzusetzen. Damit stehen Wirkungspotenziale und Wirkungsmechanismen im Zentrum des Forschungsvorhabens. Das Vorhaben ist im November 2022 gestartet und ist auf vier Jahre Laufzeit angelegt.
In der Präsentation zu einem "reflexiven Navigationssystem" wurde ein neuer Ansatz für die Ausgestaltung von Monitoring- und Lernprozessen in der missionsorientierten Innovationspolitik vorgestellt. Die missionsorientierte Innovationspolitik ist bestrebt, die Fallstricke der Fragmentierung in der FTI-Politik zu überwinden, um gesellschaftliche Herausforderungen zu lösen, aber es ist wenig darüber bekannt, wie Interaktionen und Lernen über den Rahmen einzelner Projekte hinaus organisiert werden können. Der vorgeschlagene Ansatz eines "reflexiven Navigationssystems", der zur Unterstützung der österreichischen FTI-Mobilitätsstrategie entwickelt wurde, zielt darauf ab, Räume für kollektives Lernen zwischen geförderten FTI-Projekten und politischen Verantwortlichen zu schaffen und gleichzeitig systematische Verbindungen zwischen den auf Projektebene gewonnenen Erkenntnissen und den Entscheidungsprozessen im Ministerium herzustellen.
Der Vortrag zu Ansätzen zur Messung und Wirkungsabschätzung von sozialen Innovationen stellte zu Beginn fest, dass dies seit über 10 Jahren ein weit verbreiteter Begriff ist, ohne dass eine eindeutige Definition Konsens wäre. Klar ist, es geht um einen Typ von Innovationen, der vor allem auf gesellschaftliche Wirkung aus ist und in dem die wirtschaftliche Verwertung sekundär ist. Damit fällt Markterfolg als Kriterium des Gelingens zumindest teilweise aus. Evaluation oder besser „Wirkungsmessung“ ist darum hoch im Kurs. Auf diesem Wege hofft man, nicht nur klassische Themen der Technikfolgenabschätzung bearbeiten zu können (was macht soziale Innovation mit Gesellschaft), sondern auch einzelne Interventionstypen, ja einzelne Projekte auf ihre Wirksamkeit und Wirkung untersuchen zu können. So soll Evidenz bereitgestellt werden, die Investitionsentscheidungen und die Entwicklung politischer Maßnahmen informieren soll. Der Beitrag hat in die Thematik eingeführt und über ein aktuelles Vorhaben berichtet, das vom BMBF gefördert wird.
Folgende Aspekte wurden im Rahmen der DeGEval-Frühjahrstagung des AK FTI-Politik als kritisch für die Evaluation transformativer Innovationspolitiken identifiziert:
- Übergeordnete politische Zielsetzungen, wie z. B. in Deutschland die der ‚Zukunftsstrategie Forschung und Innovation‘, sind bei der Analyse transformationsorientierter Politikmaßnahmen in jedem Fall zu berücksichtigen.
- Für eine transformative oder missionsorientierte Politik ist es noch wichtiger, die bisher getrennt betrachteten Maßnahmen aufeinander abzustimmen oder auszurichten (Alignment). Ziel ist es, die positiven Effekte zu verstärken, die entstehen, wenn diese Maßnahmen zusammenwirken und sich gegenseitig unterstützen. Verschiedene Initiativen, Strategien oder Ansätze sind daraufhin zu analysieren und zu bewerten, ob sie besser aufeinander abgestimmt werden können, um gemeinsame Ziele zu erreichen oder um sicherzustellen, dass Ressourcen und Anstrengungen effizient eingesetzt werden. Die Portfolioperspektive ist daher für eine transformative Innovationspolitik unerlässlich.
- Aufgrund des transformativen Charakters sind demokratisch legitimierte Diskurse auf dem Weg zur Transformation und damit potenziell auch als Teil der Evaluation zu berücksichtigen.
- Die zeitliche Dringlichkeit zielorientierter Maßnahmen sowie der systemische Charakter transformativer Politiken rücken die Frage stärker in den Fokus, wo und wie Lernschleifen im ‚Ökosystem‘ verkürzt werden können, um zu einem agilen Governance-System beizutragen. In diesem Zusammenhang werden neue Anforderungen an ein Monitoring formuliert, das nicht nur über herkömmliche Input- und Output-Indikatoren über die Qualität der Umsetzung Auskunft geben soll, sondern im Sinne eines ‚reflexiven Navigationssystems‘ (Kofler und Wieser) bereits inhaltliche Rückschlüsse zeitnah erfassen und strukturiert in Reflexionen über die Governance von Politikmaßnahmen einfließen lassen soll.
- In der Analyse des Designs und der Implementierung von transformativen Politikmaßnahmen werden Unsicherheiten noch stärker zum Tragen kommen, das sich in der Präsentation von Evaluationsergebnissen offengelegt werden sollen.
- Analysekonzepte und -methoden sowie Indikatoren für Transformationsmaßnahmen werden derzeit auf der Grundlage der Sustainable Development Goals und der Transformative Outcomes entwickelt.
- Wie in der FONA-Impact Begleitforschung kann die Analyse des Zusammenhangs zwischen Mikro- und Makroebene durch Szenarioanalysen mit Fokus auf Gelingensbedingungen verfolgt werden.
- Die Methodik zur Erfassung sozialer Innovationen basiert auf dem SIA-Modell, das Indikatoren online einspeist und als lernendes Werkzeug konzipiert ist. Damit besteht eine Ähnlichkeit zum oben erwähnten reflexiven Navigationssystem. Allerdings fehlt derzeit noch ein standardisiertes Indikatorenset.
- Das BMWK in Berlin baut derzeit ein Datenlabor auf, das auf dem Open-Data-Prinzip basiert; Meta-Analysen und die Entwicklung und Einsatz von Werkzeugen für die Analyse von unstrukturierten Daten sollten dort erfolgen. Der Fokus des BMWK liegt auf digitalen Prozessen und Tools. Hierbei sind die zeitlichen Horizonte der Haushaltsführung zu berücksichtigen; wichtig ist in diesem Zusammenhang auch die Abstimmung von Ziel- und Handlungsebenen.