Aktuelles

Thema: Herausforderungen und innovative Ansätze der Wirkungsmessung

Die Frühjahrstagung des AK FTI findet am 26. Juni 2025 zwischen 13:00-17:00 Uhr statt.

Das diesjährige Frühjahrstreffen des AK Forschungs-, Technologie- und Innovationspolitik (FTI) widmet sich „Herausforderungen und innovative Ansätze der Wirkungsmessung". 

Die Frage nach der Wirkung von Programmen gehört zur zentralen Fragestellungen von Evaluationen. Die Wirkungsmessung begleitet den gesamten Evaluationsprozess – von der Erstellung des Zielsystems und des Wirkmodells über das Indikatorensystem bis hin zur Aufbereitung der Evaluationsergebnisse. Zentral für die Wirkungsmessung sind Indikatoren, deren Informationen mithilfe unterschiedlicher methodischer Ansätze aufbereitet werden.

In der Umsetzung zeigt sich eine breite Vielfalt in den Herangehensweisen. Diese spiegelt auch die Heterogenität der Aufgabenstellungen, die vom Evaluationsgegenstand vorgegeben ist und damit stark variiert. Eine Herausforderung bleibt aber auch die Datenverfügbarkeit, die weiterführende Analysen und die Tiefe der Wirkungsmessung stark einschränken kann. Hier sind Lösungen gefragt, um damit verbundenen Herausforderungen zu begegnen.

Überblick zu den Fachbeiträgen

Ein neuer Ansatz, um die Blackbox für die Wirkungsanalyse einer missionsorientierten Forschungsstrategie zu öffnen - Entwicklung von Theories-of-Change für generische politische Instrumente. Vortragende: Susanne Bührer (Ko-Autoren Sarah Seus, Florian Wittmann)

Gegenstand des Vortrags ist der konzeptionelle Ansatz zur Evaluation der FONA-Strategie des Bundesministeriums für Bildung und Forschung (BMBF, neu: Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR)). Diese gliedert sich in drei strategische Hauptziele (Erreichen der Klimaziele; Erforschung, Schutz und Nutzung von Lebensräumen und natürlichen Ressourcen; Entwicklung von Gesellschaft und Wirtschaft - gute Lebensbedingungen im ganzen Land), acht prioritäre Handlungsfelder (z.B. Vermeidung und Reduktion von Treibhausgasen (Mitigation), Schutz natürlicher Ressourcen (Wasser, Boden), innovative Regionen) und 25 spezifische Aktionen. Die Neuartigkeit unseres Ansatzes besteht darin, dass für jedes Policy-Instrument dieser umfassenden Strategie nicht nur idealtypische Wirkungspfade, sondern auch spezifische Mechanismen identifiziert wurden, die zu Wirkungen führen (Erfolgsbedingungen und hinderliche Faktoren).

Spannungsfeld zwischen ambitionierter Aufgabenstellung, quantitativer Validität und qualitativer Prozessorientierung: Ergebnisse und Erfahrungen aus der Evaluation von LuFo VI. Vortragender: Michael Rothgang, RWI

Eine zentrale Herausforderung bei der der Evaluation des sechsten Zivilen Luftfahrtforschungsprogramms (LuFo VI) im Förderzeitraum 2020 bis 2024 lag in der frühzeitigen und breiten Bewertung von (hauptsächlich zukünftigen) Programmwirkungen. Methodisch wurde dies, wo dies möglich war, in Form von ökonometrischen Vergleichsgruppenanalysen umgesetzt. Parallel wurden Programmergebnisse anhand von Befragungen erhoben, Fokusgruppen gebildet und technologische Fallstudien durchgeführt. Ziel der Fallstudien war es, den Prozess von den Ausgangsbedingungen über die Projektdurchführung bis zur Umsetzung der Projektergebnisse und den damit verbundenen möglichen Impacts nachzuvollziehen (Process Tracing). Die Ergebnisse geben einen Hinweis auf zukünftige Potenziale der Wirkungsmessung bei der Bewertung des strukturbildenden Effekts der Förderung, einer Weiterentwicklung quantitativer Wirkungsmessung und einer breiteren Anwendung einer prozessorientierten Vorgehensweise.

Wirkungsanalyse von ZIM: Ergebnisse auf Basis von Förderintensitäten und bei Berücksichtigung anderer FuE-Förderungen. Vortragender: Christian Rammer (Ko-Autor: Kornelius Kraft)

In der im Jahr 2024 durchgeführten Evaluation des Zentralen Innovationsprogramms Mittelstand (ZIM) wurden für die Wirkungsanalyse mehrere neue Ansätze umgesetzt. Der Erhalt einer FuE-Förderung wurde über die Höhe der pro Kalenderjahr bereitgestellten Fördermittel gemessen (Förderintensität). Der Fördereffekte wurden über verschiedene Modellspezifikationen (log-log, semi-log, level-level) ermittelt. Gleichzeitig wurde der Erhalt anderer FuE-Förderungen berücksichtigt. Die Ergebnisse zeigen eine signifikante Inputadditionalität von ZIM-Förderungen, deren absolute Höhe (zusätzliche FuE-Ausgaben bzw. zusätzliche FuE-Beschäftigung je Euro an Fördermittel) je nach Modellspezifikation deutlich unterschiedlich ausfällt.

Chancen & Grenzen kontrafaktischer Wirkungsanalysen für die österreichische FTI-Politik - Diskussion über eine geplante Situationsanalyse. Vortragende: Isabella Wagner, Jakob Kofler

Ähnlich zur EFI-Studie (Buechele et al., 2024) untersucht die geplante Studie Potenziale und Grenzen quantitativer kontrafaktischer Evaluierungsmethoden in der österreichischen FTI-Politik. Dabei wird der Status quo der Methodenverwendung systematisch erhoben und aus Auftraggeber*innen-Sicht analysiert, warum kontrafaktische Ansätze (nicht) ausgeschrieben werden. Veränderungen im Politikfeld und neue Rahmenbedingungen wie das Austria Micro Data Center (AMDC) werden berücksichtigt. Mit der DeGEval-Community soll das Studiendesign diskutiert und Impulse gesammelt werden.

EVALDAT: Eine neue Dateninfrastruktur für die Evaluation von FuE- und Innovationsförderung auf Unternehmensebene. Vortragende: Gero Stenke, Christian Rammer

In dem Projekt EVALDAT wurden administrative Daten zu FuE- und Innovationsförderungen mit Befragungsdaten der FuE-Erhebung und der Innovationserhebung verknüpft und für die Zwecke von Wirkungsanalysen aufbereitet. Erfasst wurden Höhe und Zeitraum von Förderungen aus den Fachprogrammen des Bundes (Profi-Datenbank), ZIM, den EU-Forschungsrahmenprogrammen, der Forschungszulage und den EFRE-kofinanzierten Länderprogrammen (dzt. nur für 2014-2020). Um die Verknüpfung zu realisieren, musste eine einheitliche Bezugseinheit für die Befragungs- und Förderdaten hergestellt werden. Die Datensätze, die sich insbesondere für Kontrollgruppenansätze eignen, sollen für künftige Programmevaluationen den Evaluatoren zur Verfügung gestellt werden.

AMDC: Das Austrian Micro Data Center: Konzeption und Nutzung. Vortragende: Lisa Ehrntraut

Das Austrian Micro Data Center (AMDC) der Statistik Austria ist eine datenschutzkonforme Forschungsdateninfrastruktur, die auf klaren rechtlichen Grundlagen basiert. Der Zugang zu nicht anonymisierten Mikrodaten erfolgt im Einklang mit der EU-Datenschutz-Grundverordnung (DSGVO) und dem österreichischen Bundesstatistikgesetz. Dieses erlaubt unter bestimmten Voraussetzungen die Nutzung von Individualdaten zu wissenschaftlichen Zwecken, sofern ein erhebliches öffentliches Interesse besteht und die Geheimhaltung personenbezogener Daten gewährleistet ist. Die Nutzung erfordert einen Forschungsantrag, der von Statistik Austria geprüft wird, sowie den Abschluss eines Datenverarbeitungsvertrags. Damit stellt das AMDC eine datenschutzrechtlich abgesicherte Lösung zur Verfügung, die den Zugang zu amtlichen Mikrodaten für Forschungseinrichtungen im In- und Ausland ermöglicht, die auch für Evaluationen zur Verfügung steht.

Das Programm zur Frühjahrstagung 2025 steht hier zur Verfügung