Am 18. Juni 2019 fand das diesjährige Frühjahrstreffen des AK FTI der DeGEval in Berlin statt. Es stellte methodische Herausforderungen und neue Herangehensweisen in den Mittelpunkt.
Vor dem Hintergrund der Bundeshaushaltsordnung müssen Evaluationen in der Regel Aussagen zur Vollzugs- und Maßnahmenwirtschaftlichkeit treffen. Mittelweile beziehen sich praktisch alle Ausschreibungen für Evaluationen auf den entsprechenden Paragraphen der BHO – die Lösungsansätze der jeweiligen Evaluationen sind allerdings höchst unterschiedlich. Der erste Beitrag des Frühjahrstreffens von Karoline Rodriguez Rivera bot einen kurzen Überblick über die gewählten Ansätze und nimmt dabei 40 Evaluationen für BMBF und BMWi der letzten Jahre in den Blick.
Eine weitere, häufig in Leistungsbeschreibungen von Evaluationen formulierte Anforderung richtet sich auf die Nutzung von Kontrollgruppenansätzen. Auch hier ist die Bandbreite der gewählten methodischen Zugänge erheblich. Zwei Beiträge des Frühjahrstreffens zeigen anhand von vier konkreten Evaluationsvorhaben, welche Herausforderungen bestehen und welche Methoden zum Einsatz kommen. Während Christian Rammer über Möglichkeiten und Grenzen eines Kontrollgruppenansatzes in einem Programm berichtete, das ganz bewusst die "besten" Unternehmen fördern möchte, schilderte Peter Kaufmann, wie die Durchführung von Kontrollgruppenvergleichen von (a) den institutionellen Settings, (b) der Datenverfügbarkeit, und (3) dem Design der Studie beeinflusst werden kann.
Die Interpretation von Befragungsdaten stellt Evaluationen und Monitoring-Ansätze häufig vor die Herausforderung, individuelle und höchst subjektive Einschätzungen der Befragten richtig zu deuten. Die Standardisierung und Nutzung von Vergleichsdaten kann ein Zugang sein, um hier typisches Antwortverhalten zu identifizieren und damit besser zu interpretieren. Stefan Schröder vom Projektträger Jülich sowie Jan Wessels vom Projektträger VDI/VDE-IT stellten einen Ansatz eines vergleichenden Monitorings mehrerer Fördermaßnahmen im Rahmen der Projektträgerschaft „Offene Innovationskulturen“ vor.
Nach der Mittagspause werden unterschiedliche methodische Herausforderung und Lösungsanasätze anhand aktueller Evaluationsbeispiele diskutiert. Martina Kauffeld-Monz schilderte in Hinblick auf Vernetzungsanalysen, welches relevante netzwerkanalytische Fragestellungen im Rahmen von Evaluationsstudien sind, welche Rolle Mikro-, Meso-, und Makroebene spielen und wie ein angemessener Mix aus quantitativen und qualitativen Indikatoren zur Anwendung gelangen kann. Der Beitrag von Leo Wangler und Christiane Kerlen widmete sich der Frage, wie mit deutlichem zeitlichen Abstand zu erwartende und damit nur schwer direkt zu messende Wirkungen von Fördermaßnahmen durch die Nutzung von Indikatoren zur Innovationsfähigkeit frühzeitiger abgeschätzt werden können. Peter Kaufmann schließlich präsentierte erste Einblicke in die laufende Evaluation der österreichischen Weltraumstrategie.
Folgende Präsentationen sind bereits verfügbar:
News, Literaturtipps, Veranstaltungshinweise und Veranstaltungsberichte rund um Evaluationen im Bereich der Forschungs-, Technologie- und Innovationspolitik finden Sie nun unter folgender Adresse: http://www.fti-eval.blogspot.de/
Wir freuen uns auf Ihre aktive Beteiligung
Ihre Sprecherinnen und Sprecher des AK FTI
Dr. Marianne Kulicke
Fraunhofer ISI
E-Mail:marianne.kulicke@isi.fraunhofer.de
Dr. Leo Wangler
VDI/VDE Innovation + Technik GmbH
E-Mail: Leo.Wangler@vdivde-it.de
