Die Frühjahrstagung des AK-FTI fand am 31. Mai 2022 zwischen 13.00-17.00 Uhr statt.

Das Monitoring von Förderprogrammen ist bedeutend für die evidenz-basierte Steuerung von Forschungs-, Technologie- und Innovations- (FTI-) Programmen. Ziel des Monitorings ist es, Projekt- und Programmfortschritte zu überprüfen, um eine fundierte Entscheidungsgrundlage zu schaffen und Anpassungen vorzunehmen. Die Ergebnisse eines Monitorings dienen auch weiterführenden Analysen, z.B. im Rahmen von Evaluationen. Die Verfügbarkeit von Monitoringdaten kann im Fall nicht intendierter Effekte und unvorhergesehener Einflussfaktoren (z. B. der Corona-Krise) und bei dynamischen Transformationsprozessen (z. B. der Klima- und Energiewende) besonders relevant sein. Allgemein kann ein Monitoring unterschiedliche Beiträge leisten, wie z. B. Transparenz schaffen, Informationen zu einer späteren Evaluation beitragen, Daten für eine technologische Vorausschau zur Verfügung stellen oder Entscheidungsgrundlagen zur Steuerung komplexer Programme bieten.

Die diesjährige Frühjahrstagung des AK-FTI der DeGEval widmete sich dem Thema Monitoring aus unterschiedlichen Perspektiven. Nach einer Einführung in das Thema wurde anhand von Praxiserfahrungen diskutiert, wie das Monitoring in der Umsetzung von Programmen unterstützen kann und wo die Herausforderungen liegen. Es folgten Beiträge zu aktuellen Monitoring-Projekten und eine abschließende Diskussion zu den zukünftigen Entwicklungen und Anforderungen an das Monitoring zu FTI-Programmen.

• Das Programm der Frühjahrstagung steht hier zur Verfügung

Neue Ansprüche an das Monitoring zur Programmsteuerung und Synergien mit der Evaluation

In einem einleitenden Vortrag wurde die Bedeutung für eine Fachdiskussion zum Thema Monitoring hervorgehoben. Während die Evaluation von FTI-Programmen klar definierten Standards folgt und im Rahmen der Umsetzung von Evaluationen klare Vorgaben einzuhalten sind, zeigt sich für das Monitoring, dass die Vorgaben in Form einer Standardisierung weniger konkret sind. Die Grenzen zwischen Monitoring und Evaluation sind bisweilen fließend. Dies liegt auch daran, dass nicht jedes Programm über ein eigenes Monitoring-System verfügt und Informationsbedarfe dann über die Evaluation gedeckt werden, in anderen Programmen findet wiederum eine gewisse Arbeitsteilung zwischen der Evaluation und dem Monitoring statt. Die Schnittstellen zwischen Evaluation und Monitoring sind von besonderer Bedeutung, sind aber nicht immer eindeutig definiert. Im Idealfall kann sich die Evaluation relevanter Monitoring-Daten bedienen, woraus sich Möglichkeiten für Effizienzsteigerungen in der Umsetzung ergeben und mehr Ressourcen für relevante analystische Fragestellungen zur Verfügung stehen. Das Monitoring unterstützt in erster Linie bei der Durchführung, der Anpassung von Instrumenten und bei der Modifikation von Förderzielen. Das Programmmonitoring ist aktuell auch deshalb im Fokus der fachlichen Diskussion, weil die Ausrichtung der Innovationspolitik im Sinne einer Missionsorientierung perspektivisch eine Weiterentwicklung der Methodik erfordert.

• Die Folien stehen hier zur Verfügung

Praxiserfahrungen mit der Unterstützung der Entscheidungsfindung wurden in dem zweiten Beitrag vorgestellt. Es wurde deutlich, dass Monitorings für die Programmsteuerung einen bedeutenden Beitrag liefern kann, um die Arbeit der Ministerien zu unterstützen. Der Erkenntnisgewinn ist zentral davon abhängig, dass bei den Durchführenden des Monitorings ein umfassendes Verständnis für den Erkenntnisbedarf der Entscheidungsträger vorhanden ist.

Praxisbeiträge: Erfahrungen mit der praktischen Umsetzung von Monitoringprojekten

Die Beiträge aus der Praxis verdeutlichten, dass Monitoring ganz unterschiedlich ausgestaltet sein kann.

In den letzten Jahren hat über die Umsetzung eine erhebliche Professionalisierung der Programmumsetzung stattgefunden, mitunter durch eine enge Verzahnung und Abstimmung zwischen PTs und wissenschaftlichen Beratungseinrichtungen, die gemeinsam an den Monitoring-Themen arbeiten. Wie der Praxisbeitrag von Iris Eckardt (PtJ) und Dr. Thorsten Lübbers (Ramboll) zum Monitoring zu EXIST-Gründerstipendium und EXIST-Forschungstransfer verdeutlichte.

• Die Folien stehen hier zur Verfügung

Karoline Rodriguez vom Institut für Innovation und Technik (iit Berlin) präsentierte noch unveröffentlichte Befragungsdaten eines laufenden Monitorings zur BMBF-Fördermaßnahme VIP+. Das Monitoring wird seit 2018 im Rahmen der Projektträgerschaft „Offene Innovationskultur und KMU-Querschnittsaufgaben“ gemeinsam von Projektträger Jülich und VDI/VDE-IT für Referat BMBF/515 „Innovationsförderung; SprinD, Cluster, Gaia-X“ umgesetzt und bezieht sich auf unterschiedliche Maßnahmen.

• Hier finden Sie weiterführende Informationen

Im Rahmen der Frühjahrstagung wurde das Thema Monitoring breiter gefasst, einschließlich einer wissenschaftlichen Begleitung der FuE-Programme, in Form von Analysen und der Wissensaufbereitung zur Themenfindung für neue Förderprogramme. Dieser Aspekt des Themenmonitorings wurde durch den Vortrag von Axel Mangelsdors Institut für Innovation und Technik (iit Berlin) vorgestellt.

Anhand der Beispiels Mobilität der Zukunft als Praxislabor für ein Wirkungsmonitoring zur Steuerung missionsorientierter FTI-Programme, wurden neue Anforderungen an das Monitoring zur Begleitung missionsorientierter Vorhaben oder Programme durch Jakob Kofler von KMU-Forschung Austria vorgestellt.

• Die Folien stehen hier zur Verfügung

Status-quo und Ansprüche für das zukünftige Monitoring von FTI-Programmen: Abschlussdiskussion

In der Abschlussdiskussion kamen verschiedene Aspekte zur Ansprache, die für die zukünftige Umsetzung von Monitoring-Projekten relevant sind. Klar wurde, dass Monitoring ausreichende Kapazitäten braucht, um auf Basis der Inhalte relevante Informationen für die Programmsteuerung zur Verfügung zu stellen. Hierfür sind ergänzend zur standardisierten Datenerhebung zeitaufwändige Analyseschritte notwendig. Auf der anderen Seite besteht weiterhin Potenzial für Effizienzgewinne, durch Standardisierung und IT-Lösungen. Auch für das Monitoring sind Wirkmodelle die zentrale Basis der Indikatorenentwicklung. Monitoringberichte/ interne Trendanalysen fließen in aktuelle Diskussionen ein, doch bei den durchführenden Stellen besteht wenig Transparenz darüber, inwiefern dies Entscheidungen beeinflusst. Um steuerungsrelevante Informationen bereitzustellen, besteht die Herausforderung darin, überhaupt erst darzulegen, was gesteuert werden soll und wo hier die Verantwortlichkeiten liegen. Die Ergebnisse sind so zu verdichten, dass diese auf der strategischen Ebene sinnstiftend eingesetzt werden können. Um die Beteiligten zur Teilnahme an den Monitoring-Umfragen zu motivieren gilt es auch darüber nachzudenken, inwiefern die Befragten selbst vom Monitoring profitieren können. Spannend ist auch die Frage, ob und inwiefern von neuen Ansätzen des Monitorings zur Steuerung missionsorientierter FuE-Programme auch neue Anforderungen für klassische Monitoring-Systeme hervorgehen. Letztlich geht es dabei um die Frage, was klassische Monitoring-Systeme von neuen Ansätzen zu komplexeren Systemen lernen können.

• Die Folien stehen hier zur Verfügung

Im Rahmen der Herbsttagung des AK-FTI 2020 (diese fand am 16. Oktober 2020 von 14.30 – 17.00 Uhr statt) stand das Thema COVID-19 im Vordergrund. Es stellte sich die Frage, welche konkreten Auswirkungen die von der Corona-Pandemie ausgelöste Krise auf FTI-Evaluierungen haben bzw. haben werden. Die folgenden Leitfragen standen damit im Vordergrund der diesjährigen Herbsttagung:

• Welche Auswirkungen der Krise auf die Innovationstätigkeit von Unternehmen stellen wir in unseren laufenden Evaluierungen und Begleitstudien fest?
• Welche Lehren ziehen wir aus der derzeitigen Krise für FTI-Politik und deren Evaluation? Ist ein Bezug zur Klimakrise möglich? Sind Schlagworte/Konzepte wie Resilienz zukünftig stärker relevant oder sogar ein Vertiefungsbereich von Evaluationen? Wenn ja, wie kann man dies in FTI-Studien und Evaluationen bestmöglich integrieren?
• Welche Auswirkungen hat die COVID-19 Krise auf die Umsetzung von laufenden Studien und Evaluationen? Welche innovativen Wege wurden und werden eingeschlagen, um Projekte dennoch organisatorisch und methodisch umzusetzen?
• Wie werden Studien- und Evaluationsbudgets von potenziellen Auftraggebern durch die Krise beeinflusst? In welchen Bereichen wird mehr zur Verfügung gestellt, wo wird gespart werden?

Auf diesen Call kam es zur Einreichung dieser drei Beiträge, die das Thema Corona und Evaluation aus unterschiedlichen Blickwinkeln beleuchteten:

1. „Zwischen Emergency Calls, Post-Corona Konjunkturstimulierung & Experimentierräumen für die Entwicklung neuer Maßnahmen – wie findet Lernen statt?“ (FFG: Sabine Mayer)
2. „Corona und die Nachhaltigkeitsfrage: Lessons learned aus einer Programmevaluation“ (Fraunhofer ISI: Susanne Bührer / Sarah Seus).
3. „Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen – erste empirische Ergebnisse aus verschiedenen Evaluationen deutscher Förderprogramme“ (iit-Berlin: Jan Wessels, Karoline Rodriguez, Leo Wangler, Sonja Kind und Christiane Kerlen (Kerlen Evaluation)

 

Beitrag 1: „Zwischen Emergency Calls, Post-Corona Konjunkturstimulierung & Experimentierräumen für die Entwicklung neuer Maßnahmen – wie findet Lernen statt?“

In dem Vortrag von Sabine Meyer wurde deutlich, dass die COVID-19 Krise auch die FTI-Politik und die Agenturen, die diese umsetzen, vor große Herausforderungen stellt. Zum einen geht es darum, rasche Lösungen in der Gesundheitskrise zu finden, zum anderen um einen Beitrag zur konjunkturellen Entwicklung aus der Krise heraus. Rasche Lösungen verlangen rasches Handeln - gemeinsam mit den österreichischen Ministerien BMDW und BMK hat die Forschungsförderungsgesellschaft bereits am 9.3.2020 den COVID Emergency Call gestartet mit insgesamt 26 Mio. EUR. Auch die ersten Förderungen mit Finanzierung aus dem Konjunkturpaket sind gestartet, deren Umsetzung testet als Pilot die übergreifende Nutzung verschiedener Förderungsformate für gemeinsame Ziele. Für Agenturen wie die FFG, und für die FTI Politik insgesamt heißt das auch, dass mehr Agilität und Flexibilität gefordert ist. Die FFG ist aus diesem Grund Partner im Innovation Growth Lab von Nesta, das experimentelle Zugänge in der FTI Politik unterstützt, und arbeitet mit anderen Europäischen Agenturen zusammen, um gemeinsam zu testen und zu lernen, wie Agenturen durch Piloten und Experimente Evidenz generieren können. Darauf aufbauend stellen sich Fragen an die Evaluierbarkeit der neuen politischen Herausforderungen: welchen Wert, welche Wirkung hat Geschwindigkeit? Wie sollen Lernumgebungen beschaffen sein, die es erlauben, evidenzbasiert neue Wege zu testen? Welche Rolle spielt Evaluierung in diesem sich rasch verändernden Umfeld? Diese und weitere Fragen wurden im Rahmen der diesjährigen Herbsttagung des AK-FTI diskutiert. Die Vortragsfolien finden Sie hier.

Beitrag 2: „Corona und die Nachhaltigkeitsfrage: Lessons learned aus einer Programmevaluation“

In dem Beitrag durch Susanne Bührer und Sarah Seus wurde anhand der Evaluation des Forschungsprogramms für Nachhaltigkeit (FONA) dargestellt, wie das Corona-Thema Auswirkungen auf das Evaluationsprojekt hatte. Einerseits konnte ein geplanter Diskurs auf Basis der Evaluationsergebnisse nicht wie geplant fortgesetzt werden, stattdessen wurden Vorschläge erarbeitet, wie der Diskurs dennoch fortgesetzt werden kann. In einem kurzen Zeitrahmen wurden möglichst viele Ideen für die strategische und operative Fortsetzung der Förderung gesammelt. Teil der weiterführenden Arbeiten waren auch Aspekte einer qualitativen ex ante Evaluation. Im Zuge dessen wurden 50 Telefoninterviews mit Vertreter*innen aus Hochschulen, der außeruniversitären Forschung, der Wirtschaft, den Kommunen und der Zivilgesellschaft geführt. So wurde der Frage nachgegangen, welche Auswirkungen die Corona-Krise auf die nachhaltige Entwicklung der Akteure hat. Im Kern ließen sich hierzu drei Gruppen von Antworten unterscheiden: (1) Corona spielt für die Nachhaltigkeit und insbesondere die Strategien zur Bewältigung des Klimawandels keine Rolle; (2) Corona drängt aufgrund seiner ernsthaften Folgen für Wirtschaft und Gesellschaft Nachhaltigkeitsthemen in den Hintergrund; (3) Corona führt zu einer kritischen Reflexion bisheriger Routinen in Wirtschaft, Wissenschaft, Politik und Gesellschaft, die FONA in seiner Förderpraxis aktiv aufgreifen kann. Im Rahmen des Vortrags wurden diese Antwortcluster differenzierter dargestellt und in die aktuellen Nachhaltigkeitsdiskurse eingebettet. Die Vortragsfolien finden Sie hier. 

Beitrag 3: „Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen – erste empirische Ergebnisse aus verschiedenen Evaluationen deutscher Förderprogramme“

In einem abschließenden Beitrag wurde durch Karoline Rodriguez und Jan Wessels über die Erfahrungen zu den Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen berichtet. Die Ergebnisse zeigen deutlich, dass die aktuelle CORONA-Pandemie in erheblichem Ausmaß Wirtschaft, Verwaltung, zentrale Innovationsprozesse und möglicher Weise auch Forschungseinrichtungen und Universitäten beeinträchtigt. Anhand der Indikatorik ist es das Ziel, näher herauszufinden inwiefern die Krise auch die Zuwendungsempfänger zu evaluierender Programme beeinflussen wird. Für viele Akteure dürfte die aktuelle Situation zur Herausforderung werden, weil der Zugang zu Laboren eingeschränkt oder gar nicht mehr möglich ist, weil Personal fehlt, Lieferketten unterbrochen sind, Meetings abgesagt werden, Konferenzen nicht stattfinden, Finanzmittel umgeleitet werden etc. Somit stellt die CORONA-Pandemie auf für Evaluationen einen externen Einflussfaktor dar, der die angestrebte Wirkung zu untersuchender Programme in Hinblick auf die erfolgreiche Umsetzung von Innovationsprojekten und die Verhaltensänderung von Akteuren in Richtung Innovationsorientierung negativ beeinflussen könnte. Das ist insofern relevant, als damit die Wirkung des entsprechenden Programms im Vergleich mit anderen Programen, die nicht während der CORONA-Pandemie umgesetzt wurden, geringer ausfallen könnte, ohne dass dies dem Programm selbst zugerechnet werden darf. Zudem sind entsprechende Informationen auch im Sinne einer formativen Unterstützung laufender Programme und ihrer Anpassung an die Krise hilfreich. Um hierfür zu kontrollieren bzw. erste Daten zu erheben wurden im Sommer 2020 bereits geplante Befragungen von aktuellen und ehemaligen Zuwendungsempfängern in vier Programmen von BMBF, BMWi und BMVI mit spezifischen Fragen über die Auswirkungen von Corona ergänzt. Dabei wurden/werden sowohl Projekte in der Startphase, am Ende der Projektlaufzeit sowie in der Verwertungsphase befragt. Zudem wurde in einer Evaluation ein Workshop zu den Auswirkungen bei den geförderten Projekten umgesetzt. Im Rahmen dieses Beitrags wurden erste Ergebnisse der Befragungen vorgestellt und die Befragung konzeptionell in ein erstes Modell der Wirkung des externen Schocks „Corona“ auf laufende Innovationsprozesse eingeordnet. Teil des Beitrags war auch eine Skizzierung möglicher weiterer Forschungsbedarfe und Strategien. Die Vortragsfolien finden Sie hier.

Ihr  FTI-Team

Marianne Kulicke, Leo Wangler und Peter Kaufmann

Am 18. Juni 2019 fand das diesjährige Frühjahrstreffen des AK FTI der DeGEval in Berlin statt. Es stellte methodische Herausforderungen und neue Herangehensweisen in den Mittelpunkt.

Vor dem Hintergrund der Bundeshaushaltsordnung müssen Evaluationen in der Regel Aussagen zur Vollzugs- und Maßnahmenwirtschaftlichkeit treffen. Mittelweile beziehen sich praktisch alle Ausschreibungen für Evaluationen auf den entsprechenden Paragraphen der BHO – die Lösungsansätze der jeweiligen Evaluationen sind allerdings höchst unterschiedlich. Der erste Beitrag des Frühjahrstreffens von Karoline Rodriguez Rivera bot einen kurzen Überblick über die gewählten Ansätze und nimmt dabei 40 Evaluationen für BMBF und BMWi der letzten Jahre in den Blick.

Eine weitere, häufig in Leistungsbeschreibungen von Evaluationen formulierte Anforderung richtet sich auf die Nutzung von Kontrollgruppenansätzen. Auch hier ist die Bandbreite der gewählten methodischen Zugänge erheblich. Zwei Beiträge des Frühjahrstreffens zeigen anhand von vier konkreten Evaluationsvorhaben, welche Herausforderungen bestehen und welche Methoden zum Einsatz kommen. Während Christian Rammer über Möglichkeiten und Grenzen eines Kontrollgruppenansatzes in einem Programm berichtete, das ganz bewusst die "besten" Unternehmen fördern möchte, schilderte Peter Kaufmann, wie die Durchführung von Kontrollgruppenvergleichen von (a) den institutionellen Settings, (b) der Datenverfügbarkeit, und (3) dem Design der Studie beeinflusst werden kann.  

Die Interpretation von Befragungsdaten stellt Evaluationen und Monitoring-Ansätze häufig vor die Herausforderung, individuelle und höchst subjektive Einschätzungen der Befragten richtig zu deuten. Die Standardisierung und Nutzung von Vergleichsdaten kann ein Zugang sein, um hier typisches Antwortverhalten zu identifizieren und damit besser zu interpretieren. Stefan Schröder vom Projektträger Jülich sowie Jan Wessels vom Projektträger VDI/VDE-IT stellten einen Ansatz eines vergleichenden Monitorings mehrerer Fördermaßnahmen im Rahmen der Projektträgerschaft „Offene Innovationskulturen“ vor.

Nach der Mittagspause werden unterschiedliche methodische Herausforderung und Lösungsanasätze anhand aktueller Evaluationsbeispiele diskutiert. Martina Kauffeld-Monz schilderte in Hinblick auf Vernetzungsanalysen, welches relevante netzwerkanalytische Fragestellungen im Rahmen von Evaluationsstudien sind, welche Rolle Mikro-, Meso-, und Makroebene spielen und wie ein angemessener Mix aus quantitativen und qualitativen Indikatoren zur Anwendung gelangen kann. Der Beitrag von Leo Wangler und Christiane Kerlen widmete sich der Frage, wie mit deutlichem zeitlichen Abstand zu erwartende und damit nur schwer direkt zu messende Wirkungen von Fördermaßnahmen durch die Nutzung von Indikatoren zur Innovationsfähigkeit frühzeitiger abgeschätzt werden können. Peter Kaufmann schließlich präsentierte erste Einblicke in die laufende Evaluation der österreichischen Weltraumstrategie.

Folgende Präsentationen sind bereits verfügbar:

• Christian Rammer: Fokus auf die "Besten" und Kontrollgruppenansätze
• Stefan Schröder / Jan Wessels: Maßnahmenmonitoring in der Projektträgerschaft "Offene Innovationskulturen"

Das Frühjahrstreffen des Arbeitskreises „Forschungs-, Technologie- und Innovationspolitik“ (FTI) fand am 12.5.2016 in Berlin (VDI/VDE-IT) statt und widmete sich dem Thema Projektträger und Evaluation

Evaluation hat sich im Politikfeld FTI als Standardverfahren der Bewertung von Fördermaßnahmen sowie als Steuerungsinstrument für Ministerien und Projektträger etabliert. Der Druck - z.B. durch den Bunderechnungshof - in Richtung einer weiteren Standardisierung von Verfahren und eines kontinuierlichen Monitorings wächst allerdings. Damit ändert sich auch die Rolle von Projektträgern (PTs) in Deutschland, die bislang eher reaktiv in Evaluationen eingebunden waren. Sie nehmen nun zunehmend eine aktivere Rolle ein, müssen die Evaluierbarkeit von Programmen von Anfang an mitdenken, müssen entsprechende Monitoring-Daten bereithalten, die Evaluatoren bei der Umsetzung unterstützen und die Implementierung von Evaluationsergebnissen sicherstellen. Zudem übernehmen PTs zunehmend häufiger selbst die Rolle von Evaluatoren, dies sowohl bei der Selbstevaluation eigener Maßnahmen wie auch bei der Evaluation „fremder“ Programme. Stärker zentralisierte Projektträger in anderen europäischen Ländern, auch in Österreich, sind hingegen schon länger in eine aktivere Rolle innerhalb von Evaluationen hineingewachsen und haben wichtige Erfahrungen für die aktuelle deutsche Diskussion beizusteuern.

Das Frühjahrstreffen 2016 sollte die veränderte Rolle von PTs aus zwei möglichen Perspektiven beleuchten:

PTs und ihre sich verändernde Rolle bei Evaluationen ihrer eigenen Fördermaßnahmen:

- Programme von der Konzeption an als „evaluierbar“ mitdenken

- Neue Anforderungen an die Generierung von Prozess- und Monitoringdaten

- PTs als Mitgestalter und Partner von Evaluationsprozessen

PTs als „Evaluatoren“ fremder Maßnahmen:

- Strategische Überlegungen zur Ausweitung des PT-Geschäfts (warum wollen PTs verstärkt Evaluationen selbst durchführen?)

- Konsequenzen: Kompetenzanforderungen, Rollenkonflikte, Rückwirkungen auf die eigene PT-Tätigkeit

Wie auch in den vergangenen Jahren richtete sich das Frühjahrstreffen 2016 des AK FTI insbesondere an Evaluationseinrichtungen, an Auftraggeber von Evaluationen in den Ministerien wie auch an Intermediäre wie Projektträger.

Agenda

Überblick Wessels

Vortrag Mayer (FFG und Evaluation)

Vortrag Knoll (AWS/ERP)

Vortrag Zinöcker (FWF)

Vortrag Koglin (PTJ und Programmfamilie Unternehmen Region)

Vortrag Astor (Perspektiven für die Evaluierung von Programmen der IKT-Förderung)

Das Frühjahrstreffen des Arbeitskreises „Forschungs-, Technologie- und Innovationspolitik“ (FTI) fand am 22.6.2015 in Berlin (Fraunhofer Forum) statt und widmete sich dem Thema Begleitende Evaluation und Begleitforschung bei heterogenen, komplexen Fördermaßnahmen.

Auf Bundesebene zeigt sich seit einigen Jahren der Trend, dass zu vielen Fördermaßnahmen Begleitevaluation oder -forschungen ausgeschrieben werden, die "klassische" ex-post-Evaluation weitgehend ersetzen. Bereits während des Programmzeitraums untersuchen sie den Umsetzungs-stand der geförderten Maßnahmen und die daraus resultierenden Wirkungen, um dem Fördergeber eine fundierte Informationsbasis für die Programmsteuerung zu bieten, Handlungsempfehlungen für eine Weiterentwicklung seines Förderinstrumentariums zu erarbeiten oder Hinweise zur Wirtschaftlichkeit des Programms zu liefern. Es erfolgen nicht nur zeitnah Ausschreibungen zu Begleitevaluationen oder -forschungen für die im Zuge der ersten und der neuen High-Tech Strategie der Bundesregierung entstandenen Maßnahmen. Einige Förderangebote, die bereits seit Jahren bestehen, werden über einen längeren Zeitraum begleitet. Diese mehrjährige Beobachtung der Fördertätigkeit bietet spezifische Möglichkeiten für eine sehr differenzierte Wirkungsanalyse und das Nachzeichnen von Umfeldveränderungen sowie Umfeldeinflüssen auf den Fördererfolg.

Das diesjährige Frühjahrstreffen des AK Forschungs-, Technologie- und Innovationspolitik thematisierte anhand unterschiedlicher Konstellationen, wie Begleitende Evaluation oder eine Begleitforschung bei komplexen Fördermaßnahmen mit heterogenen Maßnahmen- oder Akteurskonstellationen umgesetzt werden können und welchen Nutzen ein Fördergeber daraus ziehen kann. Drei Vorträge schilderten konkrete Beispiele begleitender Evaluationen, zwei Überblicksvorträge ordneten das Tagungsthema in den größeren Zusammenhang der Evaluation im Feld FTI ein. In einer Abschlussdiskussion aller Teilnehmer konnten die Sichtweisen der verschiedenen vertretenen Akteursgruppen (Auftraggebende, Evaluationseinrichtungen und Projektträger gegeneinander gestellt werden.

Rund 35 Evaluierende sowie Vertreter/-innen von Fördergebern und Projektträgern nahmen am Frühjahrstreffen teil, das vom Fraunhofer Institut für System- und Innovationsforschung ISI organisiert wurde.

 

Agenda

Überblick Kaufmann (KMU Austria)

Vortrag Wessels (Wirkungsanalyse Gründerwettbewerb Junge IKT)

Vortrag Kulicke (Begleitende Evaluation EXIST)

Vortrag Kind (Evaluation Wachstumskerne)

Das diesjährige Frühjahrstreffen des Arbeitskreises Forschungs-, Technologie und Innovationspolitik der DeGEval widmete sich im Schwerpunkt dem Thema Wirkungsanalysen nach §7 der Bundeshaushaltsordnung. In jüngster Zeit hat insbesondere der Bundesrechnungshof verstärkt auf diese verpflichtende Anforderung der Bundeshaushaltsordnung verwiesen, die Bundesministerien haben ihre Vergabepraxis entsprechend angepasst und weisen darauf hin, dass Evaluationen verpflichtend Zielerreichung, Wirksamkeit und Wirtschaftlichkeit der jeweiligen Maßnahmen zu untersuchen haben. Methodisch stellt diese Vorgabe Evaluationsprojekte im Bereich der Forschungs-, Technologie- und Innovationspolitik vor zum Teil erhebliche Herausforderungen. Echte Kontrollgruppenansätze können insbesondere in Technologieförderprogrammen mit kleinen Zielgruppen bisweilen nur eingeschränkt umgesetzt werden, Wirtschaftlichkeitsuntersuchungen erfordern ggf. eine Monetarisierung von Programmwirkungen, die nur bedingt leistbar sind. In der Diskussion mit Auftraggebende von Evaluationen und Evaluatoren wurde eine Zwischenbilanz gezogen, wie sich die veränderten Anforderungen auf die Praxis der Evaluation ausgewirkt haben, welche methodischen Ansätze diesen Anforderungen gerecht werden und welche weiteren Konsequenzen für die Vergabe und Durchführung von Evaluationen zu erwarten sind.

Agenda

Einführung Fr Kulicke

Präsentation BMWi

Präsentation VDI TZ

Präsentation FhG ISI zu SIGNO

Präsentation InterVal zu MNPQ

Präsentation IZT zu Energieforschung

Literaturhinweis:

• Veröffentlichung des Bundesrechnungshofes "Anforderungen an Wirtschaftlichkeitsuntersuchungen finanzwirksamer Maßnahmen nach § 7 Bundeshaushaltsordnung"

Der AK Forschungs-, Technologie- und Innovationspolitik veranstaltete am 11. Juni 2013 ein Frühjahrstreffen zum Thema „Portfolioevaluationen“.

Zumeist waren Evaluationen in der Vergangenheit – mit wenigen Ausnahmen - stark auf einzelne Programme bzw. Maßnahmen bezogen; zunehmend jedoch gibt es ein Interesse „über den Tellerrand“ einer einzelnen Maßnahme hinaus zu blicken. Immer mehr Evaluationen haben sich in jüngster Vergangenheit nicht mehr nur auf einzelne Förderungsprogramme bezogen, sondern jeweils auf ein definiertes Portfolio bzw. auf definierte Akteure und deren Förderungen bezogen. Ausgangspunkt der Definition eines solchen Portfolios können dabei Themen oder etwa Branchen sein, aber auch Förderungsinstrumente oder Förderungsagenturen.
Im Rahmen des Frühjahrstreffens berichteten EvaluatorInnen über ihre Erfahrungen mit Portfolioevaluierungen, wobei auch die Perspektive der Auftraggeberseite miteinbezogen wurden.

 

Session 1: Evidenz und Effekte in der und durch die Evaluation von Forschungs- Technologie- und Innovationsfördermaßnahmen

 

Das übergreifende Tagungsthema „Evaluation – Evidenz – Effekte“ lässt sich in zwei Fragen mit ganz unterschiedlicher Perspektive fassen: Im Sinne der Wirkungsforschung stellt sich zunächst die Frage, welche zusätzliche Evidenz in Hinblick auf die Wirkung von Forschungs-, Technologie- und Innovationspolitik durch den Einsatz von Evaluationen geschaffen wird? Gibt uns die Evaluation belastbare Hinweise auf die konkreten Effekte staatlichen Handelns in unserem Politikfeld, und welche Methoden sind hierfür geeignet, welche Erfahrungswerte lassen sich aus der bisherigen Evaluationspraxis ableiten? Ein einleitender Überblicksvortrag von Frau Dr. Kulicke, Frau Dr. Bührer und Frau Dr. Daimer wird hier das Feld aufspannen; das Thema wird aus österreichischer Perspektive in einem zweiten Vortrag durch Frau Dr. Mayer und Herrn Mag. Starzer vertieft.

In umgekehrter Richtung lässt sich darüber hinaus fragen, mit welcher Evidenz wir davon ausgehen können, dass Evaluationen selbst tatsächlich Effekte oder Wirkungen haben? Der Beitrag von Herrn Mag. Streicher wird diese Frage zu beantworten suchen und dabei insbesondere auch auf indirekte und nichtintendierte Effekte von Evaluationen eingehen.

Vorträge

• Dr. Sabine Mayer, Otto Starzer (FFG, Österreich): Förderung wirkt. Wirkt Förderung?
• Dr. Marianne Kulicke (FhG ISI): Methoden und Vorgehensweisen zur Wirkungsmessung in Evaluation – Querschau über die Evaluationspraxis von Forschungs-, Technologie- und Innovationsprogrammen
• Jürgen Streicher (WU Wien, KMU Forschung Austria): Evaluation’s influence on RTI policy making

Session 2: Evidenz und Effekte in der Evaluation in der Clusterevaluation

Die Frage nach den messbaren und evaluierbaren Wirkungen staatlichen Handelns im Bereich der Forschungs-, Technologie und Innovationspolitik stellt sich in besonderem Maße bei zunehmend komplexen, auf systemische Effekt zielenden Maßnahmen wie der Cluster- und Netzwerkförderung. Maßnahmen diesen Typs haben in den letzten Jahren an Zahl und Umfang deutlich zugenommen, gleichzeitig ist die Wirkung staatlicher Interventionen in diesem Feld besonders schwer zu messen, da vielfältige Wechselbeziehungen und unabhängige Einflussfaktoren zu berücksichtigen und die zeitlichen Verzögerungen einer möglichen Wirkungsmessung erheblich sind. In zwei Praxisbeiträgen berichten Frau Dr. Kind und Herr Dr. Rothgang von ihren Ansätzen der Clusterevaluation und diskutieren in einem Podiumsgespräch über entsprechende Herausforderungen und Lösungsansätze.

Vorträge
 

• Dr. Gerd Meier zu Köcker (IIT): Herausforderungen und Umsetzung eines evidenzbasierten Evaluationskonzeptes zur Wirkungsmessung von Clusterpolitik
• Dr. Michael Rothgang (RWI): Wirkungsanalyse der Cluster- und Netzwerkförderung als programmbegleitende Aufgabe: Das Konzept der Begleitenden Evaluierung des Förderinstruments „Spitzencluster-Wettbewerbs“ des BMBF

 

 

---

Frühjahrstreffen 2012 in Berlin
 

Wirkungsmodelle als methodische Herausforderung in Evaluationen

Die Frühjahrstagung des AK Forschungs-, Technologie- und Innovationspolitik stand in direktem Zusammenhang zum Thema der Jahrestagung 2012 der DeGEval „Evaluation – Evidenz – Effekte“. Vertieft wird im September 2012 in Potsdam die Frage, ob und in welchem Umfang die derzeitige Evaluationspraxis einen Beitrag zur Evidenzbasierung politischen Handelns leistet. Der Themenschwerpunkt hat besondere Relevanz gerade für Evaluationen im Bereich der Forschungs-, Technologie- und Innovationspolitik. Daher standen auf unserer Frühjahrstagung vorab drei Fragen im Mittelpunkt:
 

1. Wie können Wirkungsmodelle entwickelt werden, die dem Evaluationsgegenstand und den Anforderungen der Auftraggeber entsprechen? Welche Rolle können dabei partizipative Ansätze spielen?
    
2. Welchen Herausforderungen sehen sich Evaluationen gegenüber, wenn sie einen Beitrag zur Evidenzbasierung erfüllen wollen und Wirkungen in ihrer ganzen Komplexität und zeitlichen Dimension umfassend beschreiben oder quantitativ messen sollen?
    
3. Gibt es neue Zugänge zur Bewertung von Forschungs-, Technologie- und Innovationspolitik additiv oder subsidiär zu klassischen Evaluationen (z.B. ökonometrische Ansätze, Systemevaluationen etc.)?

Programm

Vorträge

• Dr. Marianne Kulicke, FhG ISI: Einführung in das Thema des Treffens
• Dr. Marianne Kulicke, FhG ISI: Wirkungsmodelle in klassischen Evaluationen und anderen Ansätzen zur Bewertung von Innovationspolitik – ein Überblick
• Judith Hoffmann, Institut für Technologie und Arbeit e. V.: Wirkmodelle als Grundlage einer prozessorientierten Programmevaluation
• Dr. Michael Rothgang, RWI: Wirkungsanalyse des "Spitzencluster-Wettbewerbs" - Herausforderungen und Konzept  
• Dr. Hans-Ulrich Brautzsch, IWH: Wirkungsmessung des ZIM durch eine Input-/Output-Analyse

 

---

Jahrestagung 2011 in Linz
 

Chancen und Herausforderungen partizipativer Ansätze

Die deutliche Zunahme von Evaluierungen im FTI Bereich mit formativem Charakter in Kombination mit begleitenden Evaluierungen und beratenden Aufgaben als strategisches Element des policy learning führt zu einem Bedeutungsgewinn des Themas Partizipation. Evaluierungen beziehen sich idR nicht nur auf die verschiedenen Sphären von Hochschulen, Industrie und Politik in ihrem Zusammenwirken, sondern auch auf verschiedene „Ebenen“ der Intervention und Umsetzung FTI-politischer Maßnahmen: idealtypisch wären dies die policy Ebene mit strategischer Verantwortung, die Ebene von Förderungseinrichtungen mit Verantwortung für die Umsetzung und das Erreichen der strategischen Ziele und schließlich – um die intendierten Wirkungen zu entfalten wohl am bedeutsamsten – die Zielgruppen der Förderung. Um präzise mit dem Konzept Partizipation in Evaluierungen umgehen zu können, ist klarzustellen, Was denn genau damit gemeint ist (Definition), Wie Partizipation ermöglicht und genutzt werden kann (Methoden), und zum anderen, Wer und Wie Weit partizipieren soll/darf (Zielgruppen, Grenzen). Die beiden ersten Vortragenden zeigen auf der Basis von Erfahrungen mit begleitenden Evaluierungen iwS diese „Ws“ auf und vergleichen sie mit Evaluierungen im Arbeitsmarkt- oder Sozialbereich.
 

 

Der zweite Beitrag verdeutlicht am Beispiel des Clustermonitorings in Berlin-Brandenburg die Bedeutung eines partizipativen Ansatzes für die Erzielung valider Ergebnisse. Es zielt auf die Darstellung der Clusterentwicklung in Berlin und Brandenburg einschließlich eines interregionalen Vergleichs. Dem liegt ein makroökonomischer Ansatz auf Basis sekundärstatistischer Daten zugrunde mit der Herausforderung, dass die amtliche Statistik nicht mit der Abgrenzung der regionalen Cluster übereinstimmt. Für eine trennscharfe Abgrenzung war die Ableitung eines Zurechnungsfaktors notwendig, was die aktive Mitarbeit der Clustermanager voraussetzte. Diese standen jedoch der Evaluierung kritisch gegenüber, da das Monitoring von politischer Seite als Steuerungsinstrument angelegt war. So befand sich die Projektumsetzung im Spannungsfeld zwischen Methodendiskussion und der Diskussion um die Nutzung der Ergebnisse. Die Lösung für beide Problemstellungen lag in der erfolgreichen Umsetzung eines partizipativen Ansatzes. Der Beitrag zeigt die unterschiedlichen Phasen des Monitoringprojekts auf und gibt Empfehlungen für die erfolgreiche Realisierung der Partizipation.

Vorträge:

• Partizipation bei Evaluierungen im FTI-Bereich: die großen W's : Mag. Aliette Dörflinger, (KMU FORSCHUNG AUSTRIA, Austrian Institute for SME Research), Dr. Sabine Mayer (Österreichische Forschungsförderungsgesellschaft, FFG) 
• Clustermonitoring Berlin-Brandenburg - Partizipation als Erfolgsfaktor : Dr. Gesa Koglin (TSB Technologiestiftung Berlin)

 
Moderation: Dr. Sonja Sheikh (KMU Forschung Austria) und Dr. Marianne Kulicke (Fraunhofer Institut für System- und Innovationsforschung)

 

---

Frühjahrstreffen 2011 des AK FTI am 6. Mai 2011 in Berlin

 

Anspruch und Wirklichkeit der Wirkungsanalyse von forschungs-, technologie- und innovationspolitischen Maßnahmen

Vor dem Hintergrund knapper werdender Budgets stehen politische Entscheidungsträger zunehmend unter dem Druck, die Wirkungen ihrer geförderten Maßnahmen zu rechtfertigen. Wirkungsanalysen (Impact-Messungen) sind daher häufig Bestandteil von Evaluationen forschungs-, technologie- und innovationspolitischer Maßnahmen. Die Evaluation einer FTI-Maßnahme soll eine ausreichende Informationsgrundlage liefern, um Aussagen über den Erfolg und die Wirkung treffen zu können. Insbesondere bei ex post Betrachtungen, aber auch bei noch laufenden Vorhaben soll der "Impact" einer Maßnahme auf Wirtschaft, Gesellschaft oder auch Umwelt nachgewiesen werden. Das schließt die FuE-Additionalität bei Unternehmen im Sinne des Anstoßen einer größeren Investition von FuE-Mitteln der Privatwirtschaft, die ohne Förderung nicht eingesetzt worden wäre, genauso mit ein, wie auch das Erreichen höherer Umsätze, Beschäftigungszuwachs oder die Verbesserung der Wettbewerbsfähigkeit von Unternehmen bis hin zur Stärkung ganzer Branchen und der Volkswirtschaft insgesamt. Außerdem zählen dazu auch qualitative Aspekte wie Verbesserungen der Innovationsfähigkeit von Unternehmen oder ihre Fähigkeit für Kooperationen mit Wissenschaftspartnern oder Unternehmen. 

 

Der Workshop ging der Frage nach, ob und wie der Anspruch an die Evaluation, Wirkungen nachzuweisen, in der Realität erfüllt werden kann. Der Workshop setzte sich u. a. mit folgenden Fragestellungen auseinander:
 

• Was genau wird unter Wirkung verstanden? Was sind brauchbare und praktikable Ansätze der Wirkungsmessung (Indikatoren/Methoden)? Was lässt sich realistisch messen? Wo gibt es Grenzen?

• Werden die Erwartungen der Technologiepolitiker erfüllt? Liefern Evaluationen die gewünschten Ergebnisse in Bezug auf die Wirkungsmessung? Wie brauchbar sind die abgeleiteten Empfehlungen für den Auftraggeber? Besteht Zufriedenheit mit den erzielten Ergebnissen oder gibt es große Diskrepanzen zwischen Anspruch und Wirklichkeit?

• Welche Erwartungen gibt es von den Auftraggebern an die Evaluation? Umgekehrt: was würde aus Sicht der Evaluatorinnen und Evaluatoren die Wirkungsmessung vereinfachen; was könnten die politischen Entscheidungsträger bei der Programmplanung und beim Programmvollzug beachten? Was ist in Zukunft zu erwarten? Werden in Zeiten knapper werdender Mittel, die Ansprüche an die Wirkungsmessung durch Evaluation noch steigen? Unter welchen Rahmenbedingungen (Druck vom Rechnungshof, Anforderungen aus den Ministerien) werden Evaluationsstudien vergeben und welche Konsequenzen hat dies in Bezug auf die Konzeption von Evaluationen?

Programm
 

---

Jahrestagung 2010 in Luxemburg

Methodische Fragen der FTI-Evaluation I und II

 

Dr. Marianne Kulicke / Dr. Susanne Bührer / Dr. Tasso Brandt  / Miriam Hufnagl (FhG ISI): Evaluationstypen und Evaluationsmethoden – ein Überblick
In Abhängigkeit vom "Lebenszyklus" eines Förderprogramms haben sich im Bereich der Forschungs-, Technologie- und Innovationspolitik in den vergangenen Jahren einzelne Typen von Evaluationen herauskristallisiert, die spezifische Anforderungen an das Evaluationsdesign sowie an die Methoden der Datenerhebung und –auswertung stellen. Solche Evaluationstypen sind die ex-ante-Evaluation, die Evaluation des Programmanlaufs einer neuen Fördermaßnahme, die Zwischenevaluation, die begleitende, die ex-post-Evaluation am Ende sowie die Wirkungsanalyse, bis zu mehrere Jahre nach Programmende. Diese verschiedenen Typen implizieren jeweils ein spezifisches Anforderungsprofil zur Methodik einer fundierten Evaluation. In einem Eigenforschungsprojekt des Fraunhofer ISI geht das Autorenteam der Frage nach, welches Evaluationsdesign und welche Datenerhebungs- bzw. –auswertungsmethoden bei den skizzierten Typen von Evaluationen vorzugsweise in den letzten Jahren zum Einsatz kamen und welche Kombinationen an Methoden auftreten.
 

Dr. Thorsten Lang (IWConsult): Zwillingsschätzung als Evaluierungsinstrument der Forschungsförderung:
In der Forschungspolitik wird versucht, durch verschiedene Förderinstrumente mehr  Investitionen in Forschung und Entwicklung (FuE) anzuregen. Zuschüsse oder Bürgschaften  senken die Kosten, so dass zusätzliche Forschungsprojekte rentabel werden. Dies gilt  freilich nur dann, wenn es zu keinen Mitnahmeeffekten kommt und lediglich private Mittel  durch staatliche Mittel verdrängt werden. Wie kann nun gemessen werden, ob und wie viel zusätzliche Forschungsausgaben getätigt  werden? 
 

Timo Mitze (RWI), Anne-Marie Scholz  (WSF), Tina Wolf (Universität Jena): Mobilisierungswirkungen des Spitzencluster-Wettbewerbs
Im Vergleich zur traditionellen Projektförderung entstehen durch Wettbewerbsverfahren, wie BioRegio, InnoRegio oder eben den Spitzencluster-Wettbewerb, Vorteile, welche einerseits auf den Wettbewerbscharakter selbst, andererseits auf die Selbstorganisation der Wettbewerber und die Vielfältigkeit entstehender Konzepte zurückzuführen sind. Der Vortrag zeigt auf, wie diese Mobilisierungswirkungen für den Spitzencluster-Wettbewerb  des BMBF, vor allem in finanzieller Hinsicht, gemessen werden soll.


Dr. Sonja Kind; Dr. Jan Wessels (VDI/VDE-IT): Struktur-Lege-Technik für die Trendanalyse und Roadmapping im Rahmen von ex-ante Evaluationen
Im Beitrag wird die Methodik der Strukturlegetechnik vorgestellt  und an einem praktischen Beispiel in  Zusammenarbeit mit den Teilnehmerinnen und Teilnehmern des Workshops vorgeführt. Das Instrument eignet sich besonders für die Durchführung von Trendanalysen und Erstellung von Roadmaps im Rahmen von ex-ante Evaluationen.

Mag. Iris Fischl  (KMU Forschung Austria): Die Methode der Sozialen Netzwerkanalyse (SNA) in der Evaluierung von FTI-Maßnahmen
Im Rahmen von Evaluierungen von FTI-Programmen, die u.a. auch Vernetzungsaktivitäten unterstützen, wird zunehmend die Methode der Sozialen Netzwerkanalyse (SNA) eingesetzt. Als sozialwissenschaftliches Verfahren zielt die SNA auf die Analyse und Darstellung sozialer Beziehungen zwischen individuellen und/oder kollektiven Akteuren. So ist es beispielsweise möglich, die Positionen einzelner Akteure in Beziehungsgeflechten (Netzwerken) zu identifizieren oder die Struktur von Kooperations- und Kommunikationsbeziehungen sowie Ressourcenaustauschprozessen zwischen einzelnen Akteuren abzubilden. Der Beitrag befasst sich vor diesem Hintergrund mit den Erfahrungen des Einsatzes der SNA in zwei ausgewählten, von der KMU FORSCHUNG AUSTRIA durchgeführten Evaluierungen im Forschungs-, Technologie- und Innovationsbereich.

 

---

Frühjahrstreffen 2010 des AK FTI  in Wien

 

---

Jahrestagung Münster 2009

Eine wichtigere Rolle für die Gesellschaft im Feld der Forschungs-, Technologie- und Innovationspolitik? Die Forschungs-, Technologie- und Innovationspolitik ist zumeist getrieben von der Technologieentwicklung und dem Forschungsfortschritt selbst. Akteure sind vor allem die ForscherInnen und EntwicklerInnen, neue Erkenntnisse und neue Lösungen prägen im Sinne eines „technology push“ die Politikgestaltung. Parallel konzentriert sich die Evaluation von Forschungs-, Technologie- und Innovationspolitik nicht selten auf die Ex Post-Analyse entsprechender Diffusionsprozesse und Förderprogramme. Die Gesellschaft als Quelle eines „demand pull“ oder als gestaltender Akteur spielt eine vergleichsweise geringere Rolle, auch wenn politische Strategien wie aktuell die Hightech-Strategie die Notwendigkeit einer stärker an gesellschaftlichen Bedürfnissen orientierte FTI-Politik betonen. Die zwei Beiträge des Workshops lenken den Blick auf Prozesse, in denen gesellschaftliche Aspekte – durch eine Öffnung der Forschungsevaluation im Sinne eines erweiterten Peer-Review bzw. durch die Evaluation des Foresight-Prozesses – stärker einbezogen sind. •    Janina Schirmer, Dr. Malte Schophaus (Wissenschaftliche Kommission Niedersachsen): „Extended Peer Review in der Forschungsevaluation als Antwort auf die Herausforderungen der Wissensgesellschaft?“ PDF

•    Judith Hoffmann (Institut für Technologie und Arbeit - Kaiserslautern): „Formative Prozessevaluation am Beispiel des BMBF-Foresight-Prozesses“ PDF

 

---

Frühjahrsteffen 2009 des AK FTI am 20. Mai 2009 in Karlsruhe

Der Arbeitskreis Forschungs-, Technologie- und Innovationspolitik der DeGEval hat am 20. Mai 2009 in Karlsruhe sein Frühjahrstreffen zum Thema „Kriterien und Indikatoren bei Evaluationen – Herausforderungen aus veränderten FTI Maßnahmen" durchgeführt. Mit Evaluatoren, Auftraggebern und Interessierten wurden die bei aktuellen Evaluationsprojekten eingesetzten Kriterien- und Indikatorensysteme diskutiert und einen Überblick über dieses stets aktuelle Feld der FTI-Evaluation geboten.

 

Auf dem Frühjahrstreffen erfolgte eine Bestandsaufnahme zu neueren Entwicklungen, es wurden Beispiele aus laufenden oder gerade abgeschlossenen Evaluationen vorgestellt. Das Frühjahrstreffen wurde in den Räumen des Fraunhofer Institut für System- und Innovationsforschung in Karlsruhe durchgeführt, das mit Dr. Marianne Kulicke im Sprecherteam des Arbeitskreises mitwirkt.

•Dr. Marianne Kulicke (Fraunhofer Institut für System- und Innovationsforschung): Überblick zu den Herausforderungen aus veränderten FTI Maßnahmen für Evaluationen PDF

•Dr. Sabine Mayer (KMU Forschung Austria): Systemevaluierung der österreichischen Forschungsförderung und –finanzierung PDF

•Anton Geyer (Technopolis Wien): Vergleichende Analyse zum Instrument Strategische Partnerschaften und Entwicklung eines Evaluationskonzepts

 

•Bernhard Lagemann (RWI Essen): Begleitende Evaluierung des Förderinstrumentes "Spitzen­cluster-Wettbewerb" des BMBF PDF

 

•Dr. Thomas Stahlecker (Fraunhofer Institut für System- und Innovationsforschung): Strategiebericht 2009 zur EU-Strukturpolitik PDF

•Dr. Sonja Kind und Dr. Jan Wessels/VDI/VDE-IT, Institut für Innovation und Technik (iit):Vergleich der Impact-Analyse-Methoden aus den Evaluationen der FP5 Programme Growth und IST WING-Interfaces PDF

 

 

---

Jahrestagung Klagenfurt 2008

Auf der Jahrestagung in Klagenfurt wurden die zwei folgenden Workshops durchgeführt:

Stellenwert von Evaluationen für Fördermaßnahmen in der FTI-Politik

Impulsreferate:

• Evelyn Bergsmann, Fakultät für Psychologie, Universität Wien:
  Die Arten der Verwendung von Evaluationen im Kontext von Steuerungsprozessen in den österreichischen Ministerien (PDF)
• Dr. Susanne Bührer, Fraunhofer ISI:
  Qualität und Wirkungen von Evaluationsstudien im europäischen Vergleich - erste Ergebnisse des EU-Projektes INNO-APPRAISAL (PDF)

Paneldiskussion mit:

• Dr. Sabine Mayer, Österreichische Forschungsförderungsgesellschaft (FFG)
• Mag. MA Michaela Topolnik, Rat für Forschung und Technologieentwicklung (RFTE)
• Dr. Rupert Pichler, Bundesministerium für Verkehr, Innovation und Technologie (BMVIT)

Moderation:

• Dr. Marianne Kulicke, Fraunhofer Institut für System- und Innovationsforschung (Fraunhofer ISI)

 

Systemevaluation - Policy-Evaluation – Strategieevaluation

Referenten:

• Mag. Sascha Ruhland, KMU FORSCHUNG AUSTRIA:
  Erste Erfahrungen aus der Systemevaluierung der österreichischen Forschungsförderung und -finanzierung (PDF)
• Dr. Sonja Kind, VDI/VDE Innovation + Technik GmbH:
  Begleitforschung der Hightech-Strategie in Deutschland – Eine Systemevaluation (PDF)
• Dr. Katherina Warta, Technopolis Group:
  Prozessunterstützung mit Evaluierungsansätzen bei der Einführung von Leistungsvereinbarungen in Luxemburg (PDF)

Moderation:

• Dr. Michael Stampfer, Wiener Wissenschafts-, Forschungs- und Technologiefonds (WWTF)

  

---

Frühjahrstreffen 9. Mai 2008 in Berlin: "Cluster- und Netzwerkevaluation"

Cluster- und Netzwerkprojekte sind zu einem wichtigen Ansatz der Technologie- und Innovationspolitik geworden. In Deutschland finden sich entsprechende Programme auf der nationalen Ebene – angefangen mit „BioRegio“ Anfang der 90er Jahre bis hin zu „Kompetenznetze Deutschland“ oder dem „Spitzenclusterwettbewerb“ heute. Noch weiter verbreitet sind Cluster- und Netzwerkansätze aber auf der Ebene der Bundesländer bzw. subregionaler Ebenen. Auch die Europäische Union hat mit ihrem Programm „Europe Innova“ den Cluster- und Netzwerkansatz in ihre Innovationspolitik integriert.

Für die Evaluation von Technologie- und Innovationspolitik bedeuten Cluster- und Netzwerkansätze eine spezifische Herausforderung. Regionale Rahmenbedingungen, Besonderheiten der Akteurskonstellation, Eigendynamiken der Interaktion prägen Netzwerke und Cluster in besonderem Maße. Evaluationen haben nicht nur Effekte staatlicher Intervention zu analysieren, sondern müssen endogene Prozesse und individuelle Besonderheiten zum Teil deutlich stärker mit berücksichtigen, als die bei der bislang vorherrschenden Programmförderung von Verbundprojekten der Fall war. In den letzten Jahren hat sich hier ein breiterer Erfahrungsschatz in Hinblick auf Evaluation aufgebaut, der für zukünftige Cluster- und Netzwerkevaluationen zu nutzen ist.

Das Programm als PDF

Beiträge:

• Dr. Marianne Kulicke; Fraunhofer ISI: Cluster und Netzwerkevaluation – eine kurze Bestandsaufnahme (PDF)
• Dr. Susanne Bührer; Fraunhofer ISI: Evaluation der Clusteroffensive Bayern (PDF)
• Michael Astor; prognos AG: Etablierung eines Monitoringsystems für die Clusterstrategie des Saarlandes (PDF)
• Dr. Mathias Kiese; Universität Hannover: Vergleich regionaler Cluster- und Netzwerkansätze (PDF)
• Dr. Jan Wessels; VDI/VDE-IT / Dr. Gerd Meier zu Köcker; iit: Benchmarking von Netzwerken als Ergänzung zu Evaluationen (PDF)

Kurzes Protokoll (PDF)

Dokumentation der Veranstaltung als AK-Veröffentlichung (PDF)

Dokumentation der Veranstaltung als Veröffentlichung in der Zeitschrift für Evaluation (PDF) (www.waxmann.com/index2.html)

---

Jahrestagung in Lüneburg 2006

 

Evaluation von Netzwerken in der grundlagenorientierten Forschung gemeinsam mit dem AK Hochschule
Die Förderung von Netzwerken spielt im Bereich der grundlagenorientierten Forschung eine zunehmend wichtige
Rolle. Aus diesem Grund haben sich der AK FTI-Politik und der AK Hochschule während der Jahrestagung 
der DeGEVal in Lüneburg zum Leitthema "Netzwerkevaluation - Evaluation von Netzwerken" mit der Frage der
Evaluation von Netzwerken in der grundlagenorientierten Forschung und Forschungsförderung befasst. 
Die Beiträge stellen konkrete Evaluationsstudien, deren methodische Ansätze und Ergebnisse zur Diskussion. 
• Evaluation der Sonderforschungsbereiche in Österreich
(Dr. Jakob Edler, Fraunhofer ISI)
• Erfahrungen mit der soziale Netzwerkanalysen am Beispiel der Evaluierung
des österreichischen Genomforschungsprogramms GEN-AU (Dr. Roald Steiner, KMU FORSCHUNG AUSTRIA)
• Interinstitutionelle Zusammenarbeit in DFG-geförderten Kooperationsprogrammen:
Identifikation von Forschungs-Clustern mit Hilfe der Sozialen Netzwerkanalyse
(Dr. Jürgen Güdler, DFG, Direktor Informationsmanagement)

 

 

Evaluation von Netzwerkförderung in den Neuen Bundesländern gemeinsam mit dem AK Strukturpolitik
Der AK FTI-Politik und der AK Strukturpolitik haben sich während der
Jahrestagung der DeGEVal in Lüneburg zumLeitthema "Netzwerkevaluation -
Evaluation von Netzwerken" mit der Frage der Evaluation der Netzwerkförderung
in den Neuen Bundesländern befasst. Hintergrund für die Themenwahl ist die
Beobachtung, dass seit Beginn der 1990erJahre eine Vielzahl von Förderprogrammen
sich dem Ziel des Aufbaus vonInnovationsnetzwerken gewidmet hat. Zu diesen
Förderprogrmmen existiert ebenfalls eine Vielzahl von Evaluationsstudien,
deren methodische Ansätze und Ergebnisse zur Diskussion gestellt wurden.
Die Beiträge im Einzelnen: 

• Erfahrungen aus der Ausbildung von Moderatoren und Managern für
  Wirtschaftsnetzwerke in Brandenburg (Dr. Karsten Koitz, EuroNorm GmbH)

• Netzwerkförderung in Ostdeutschland und deren bisherige Einzelevaluationen
  (Dr. Vivien Lo, Fraunhofer ISI / Kreditanstalt für Wiederaufbau)

• Nemo-Evaluierung (GIB - Gesellschaft für Innovationsforschung und
  Beratung mbH, Prof. Dr. Carsten Becker)

• Evaluation des Fördernetzwerks der industriellen Gemeinschaftsforschung
  (Dr. Michael Rothgang, RWI Essen)

• Hochschulen und ihre Rolle als "knowledge broker" in regionalen
  Innovationsnetzwerken (Dr. Martina-Kauffeld-Monz, DIW)
   

Frühjahrstreffen 2006 in Karlruhe

am 16. Februar 2006 fand am Fraunhofer ISI in Karlsruhe ein Frühjahrsworkshop zum Thema "Evaluation von Institutionen" statt. Leitthemen waren:

• Steuerung von Forschungsinstitutionen: Welche Voraussetzungen bringen diese mit, um Evaluationsergebnisse umzusetzen etc.?
• "Nebenthema": Wie gehen Forschungsinstitutionen mit den zunehmenden Anforderungen an Internationalisierung und Europäisierung um und wie schlägt sich dies in Evaluationen nieder?

Beiträge:

• Zusammenfassung der bisherigen Aktivitäten des AK im Bereich Evaluation von Institutionen (Susanne Bührer)
• BMWA-Leitfaden zur Evaluation von Institutionen / nachgeordneten Behörden (Mindirig. a.D. Hans-Peter Lorenzen)
• Managementsysteme nach ISO und Business-Excellence in Institutionen - Chancen und Voraussetzungen für die nachhaltige Umsetzung von Evaluationsergebnissen (Karsten Koitz, Euronorm)
• Evaluation von Institutionen aus Sicht der Unternehmensberatung (Gudio Benzler, Deloitte)
• Erfahrungen aus der Leibniz-Gemeinschaft (Susanne Holstein, Leibniz-Gemeinschaft)
• Evaluation der BAM (Regina Buhr, VDI-VDE/IT)
• Evaluierung von FFF und FWF (Leonhard Jörg, Technopolis)
• Evaluierung der Beratungs- und Betreuungsstrukturen zum 6. Rahmenprogramm in Österreich (Sonja Sheikh, KMU Forschung Austria; Vivien Lo, Jakob Edler, Fraunhofer ISI)

Jahrestagung in Essen 2005

Die Frage nach der Wirkung von Evaluationen gilt auf allen Ebenen der FTI-Politik, d.h. auf der Ebene von Projekten, Programmen, aber auch von Institutionen. Nachdem wir uns auf den vergangenen AK-Sitzungen bereits mehrfach dem Thema Evaluation von (Forschungs-)Institutionen gewidmet hatten, wollten wir die Jahrestagung in Essen dazu nutzen, über eine besondere Form von Institutionen – die "Agencies" bzw. "Projektträger" zu sprechen. Grund hierfür ist ein einerseits in vielen Ländern und auch auf Ebene der Kommission sichtbarer Trend zur "Agencification", andererseits aber auch deren spezifische Rolle im FTI-System, nämlich als Mittler zwischen Minsterien, Fördernehmern und externen Evaluatoren. Damit sind sie von allen Seiten mit den entsprechenden Erwartungen konfrontiert und müssen auf der Basis dieser heterogenen Stimmen ihre Arbeit verrichten.

Leitfragen waren:

A) Agencies als Gegenstand von Evaluationen

• Was ist das sinnvolle Rational hinter der Auslagerung von hoheitlichen Aufgaben in Agenturen, wo sind Vor- und wo sind Nachteile?
• Welche Aufgaben übernehmen Agenturen klassischerweise und wie sind diese zu evaluieren?
• Sind Evaluationen ein sinnvolles Mittel zur Steuerung von Agenturen?

B) Agencies als Betreuer, Konzipierer, Umsetzer von Evaluationen

• Welche Rolle haben Evaluationen in der FTI Politik aus Sicht der "Policy maker" und aus Sicht der Agenturen bzw. Fördereinrichtungen?
• Wie können Agenturen Evaluationen sinnvoll nutzen, wie setzen sie Ergebnisse um, wie werden Evaluationsergebnisse ins Feld zurück gespielt??
• Welche Auswirkungen haben die Evaluationsergebnisse auf das Design künftiger Programme etc.?

ReferentInnen:

A: Allgemeiner Teil

• Birgit Baumann (FFG, Wien): Einführung in das Thema Agencies. Erfahrungen aus dem "Strata Thematic Network MAP - Best Practices for Multi-Actors and Multi Measures Programmes in RTDI Policy"
• Ullrike Blankenfeld (BMWA, Berlin): "Eine Studie für mehr Evaluationskultur in der Innovationspolitik der 25 EU-Mitgliedstaaten: "Supporting the monitoring and evaluation of innovation programmes"
• Dr. Guido Benzler (Deloittle Business Consulting GmbH, Düsseldorf): "Die Evaluation von öffentlichen Forschungseinrichtungen aus der Sicht eines Evaluators"

Moderation: Dr. Susanne Bührer, Fraunhofer ISI, Karlsruhe

Block B: Fallbeispiele ·

• Horst Steg (VDI/VDE-IT, Berlin): "Evaluation des BMBF-Programms "Mikrosysteme": Konzeption, Begleitung und Konsequenzen für die Gestaltung und die Steuerung des weiteren Programms"
• Dr. Marianne Kordel-Bödigheimer (Projektträger im DLR - Gesundheitsforschung, Bonn): "Evaluationen im Bereich Gesundheitsforschung - Erfahrungen aus Sicht des Projektträgers"
  Moderation: Dr. Susanne Bührer, Fraunhofer ISI, Karlsruhe

Jahrestagung in Wien 2004

Titel: "Forschungseinrichtungen, Förderorganisationen und Förderprogramme: Wege der Evaluierung und Konsequenzen für den Reformprozess"
Nachdem sich der AK in den vergangenen Jahren neben der Evaluation von komplexen Multi-Akteur-Programmen (Kassel 1999, Karlsruhe 2000) insbesondere der Evaluation von Forschungseinrichtungen (Berlin 2000, Speyer 2001) gewidmet hat, knüpfte das Arbeitsprogramm für die Jahrestagung in Wien 2004 direkt an:Unter dem Titel "Forschungseinrichtungen, Förderorganisationen und Förderprogramme: Wege der Evaluierung und Konsequenzen für den Reformprozess" wurden in der ersten Hälfte des Workshops Beiträge zu den Themen:

• Evaluation nachgeordneter Behörden bzw. Forschungseinrichtungen des Bundesministeriums für Wirtschaft und Arbeit (BMWA), Herr Lorenzen, sowie zur
• Evaluation der Förderpogramme "Forschungsnetzwerke" des österreichischen Wissenschaftsfonds (FWF), Herr Rudi Novak (FWF)

gehört. Daran anschließend wurde der bisherige Themenkomplex erweitert und die Frage nach den spezifischen Herausforderungen gestellt, die mit der Evaluation von Forschungsförderungsorganisationen verknüpft sind. Als Beiträge konnten wir gewinnen:

• Reforms Reformed: Evaluation and the Modernisation of the Austrian R&D Funding, Herr Erik Arnold (Technopolis)
• Ansätze in der Additionalitätsmessung von Forschungsförderungseinrichtungen (Joanneum Research).

Angesichts der erheblichen Umstrukturierungen, die derzeit im österreichischen FTI-System zu beobachten sind, erfolgt insbesondere bei den letztgenannten Prä-sentationen ein enger Brückenschlag zum Leitthema der Jahrestagung, der Qualität von Reformen. Zur Logik und Motivation sowie zum Stand der Umsetzung der Umstrukturierungen wird es einen kurzen Input von Dorothea Sturn geben.

Jahrestagung in Hamburg 2003

Auf der Jahrestagung In Hamburg wurden zwei Workshops durchgeführt. Der erste fand gemeinsam mit dem AK Hochschule statt und widmete sich dem Thema:
Forschungsevaluation und Forschungsexcellenz
Leitfragen waren:

• Wie wird das Monitoring von Forschungsevaluationen geleistet?
• Welche Möglichkeiten gibt es, Forschungsschwerpunkte zu definieren? Welche Methoden haben sich hier bewährt (z.B. Foresights), welche eher nicht?
• Wie sehen die Folgewirkungen von Forschungsevaluationen an Hochschulen aus?

Als ReferentInnen konnten gewonnen werden:

• Marlene Fries (Bayerisches Staatsinstitut für Hochschulforschung und Hochschulplanung): Evaluation von Forschung und Lehre an Hochschulen in Bayern
• Dr. Tim Stuchtey (Humboldt Universität zu Berlin): STEP-Projekt
• Dr. Susanne Bührer (Fraunhofer ISI): Forschungslandkarte Hochschulmedizin

Der zweite Workshop widmete sich dem Thema:
Evaluation im Kontext des 6. Rahmenprogramms
Leitfragen hier waren:

• Welche Zielsetzungen sind mit der Entwicklung des Europäischen Forschungsraumes verbunden und wie sind diese zu bewerten?
• Welche Anforderungen an die Evaluation ergeben sich aufgrund der neuen Instrumente im FP 6 (Networks of Excellence und Integrated Projects)?
• Welche Ansätze zur Evaluation von NoE existieren?
• Wie ist "Forschungsexcellenz" messbar?

Die ReferentInnen und Beiträge waren:

• Frau Stahl-Rolf (VDI-TZ): International experiences with ex-ante and ex- post evaluations of networks of innovation
• Thomas Heinze (Fraunhofer ISI): Mapping of Excellence

Jahrestagung in Mainz 2002

Thema des Workshops war: Evaluationsstandards in der Forschungs-, Technologie- und Innovationspolitik: Praktische Beispiele für HerausforderungenDie Akteure im Bereich Evaluation von Forschungs- und Technologiepolitik sind zum Einen sehr heterogen (Naturwissenschaftler und Techniker, Wirtschaftswissenschaftler, Sozialwissenschaftler), zum Anderen mangelt es derzeit trotz der zunehmenden Nachfrage noch an übergreifenden Institutionen oder Netzwerken, die eine Verbreitung der Evaluationsstandards zumindest erleichtern würden. Aus diesem Grund wurde diskutiert,

• welche Standards sich ausgehend von den DeGEval-Standards für die Evaluation von Forschungs- und Technologiepolitik formulieren lassen,
• in welchen konkreten Evaluationsprojekten die Einhaltung der Standards der DeGEval gewissen Herausforderungen ausgesetzt war und
• welche Strategien bestehen, dies zu meistern.

Vortragsfolien:

• Daisy Wessel (Wissenschaftsrat): Aufgaben, Kriterien und Verfahren des Evaluationsausschusses des Wissenschaftsrates (pdf)
• Lutz Gros (BMBF): Qualitätssicherung in der Projektförderung (pdf)
• Michael Stampfer (WWTF): Evaluierungsstandards für die österreichische FTI-Politik (pdf)
• Klaus Zinöcker (Joanneum Research): Socio Economic Evaluation of public RTD-Policies (pdf)
• Dorothea Sturn (TiG): Evaluierung im Kontext des Policy-Cycles (pdf)

Frühjahrstreffen in Wien 2002

Der AK FTI Politik - hat im Juni 2002 gemeinsam mit der Plattform Evaluierung Forschung und Technologiepolitik -Österreich in Wien einen Workshop durchgeführt zum Thema:
Die Rolle von "Räten" in der FTI Politik: Politikberatung, Politikgestaltung, Politikevaluierung
Hintergrund: In einigen Ländern haben Räte sehr wichtige Funktionen bei der strategischen Orientierung von Technologiepolitik, was mit einer ganzen Reihe genauer zu analysierenden Vor- und Nachteile verbunden ist: größere oder kleinere Anfälligkeit des Systems gegenüber Lobbying, Neupositionierung der zuständigen Ministerien, Informationsasymetrien, Komplettierung oder auch Überdeterminierung des Policy Cycles, etc. Darüber hinaus gibt es klassischerweise zwei verschiedene Arten von Räten - zum einen die "Councils" wie wir sie z.B. aus U.K. her kennen, die eher die Funktion von Finanzierungsagenturen haben zum anderen die Politikberatungsfunktion wie etwa der deutsche Wissenschaftsrat oder auch der österreichische Rat für Forschung und Technologieentwicklung. Primäres Thema der Frühjahrstagung soll die Beratungsfunktion sein.Inhalte bzw. Leitfragen lauteten:

• Welche Missionen, Ziele und strategische Funktionen haben Räte, welche sollten sie haben?
• - Wie sind Räte zusammengesetzt? Wer befindet darüber?
• "Verbessern" Räte das Funktionieren des Politiksystems, das des Innovationssystems?
• Wie passen Beratung, strategische Planung und Evaluation jeweils zusammen?
• Können Räte zu einer Verbesserung der Evaluierungskultur beitragen?

Nach einem einführenden Beitrag zum Thema: Internationaler Vergleich von "scientific advisory structures" (Susanne Bührer (Fraunhofer ISI, D) wurden vier Einzelfälle näher vorgestellt und diskutiert:

• Esko-Olavi Seppälä (Science and technology policy council of Finland): Finnland
• Michael Binder (Austrian Council for Research and Technology Development): Österreich
• Erik Arnold (Technopolis Brighton, UK): Norwegen
• Andreas Strucke (Wissenschaftsrat, D): Deutschland

Jahrestagung in Speyer 2001

Der Workshop zur Jahrestagung hatte das Thema "Systemevaluation von Forschungseinrichtungen in Deutschland – Konsequenzen?"Zum Thema:
Seit den 1990er Jahren wurden in Deutschland vermehrt Forschungsinstitutionen als solche evaluiert. Im Dezember 1996 beschlossen die Regierungschefs von Bund und Ländern, als Teil einer Betrachtung der Bund-Länder-Forschungsfinanzierung die Evaluation aller gemeinsam finanzierten Forschungseinrichtungen zu veranlassen. Im Frühjahr 1999 schloss eine internationale Kommission eine „Systeme

Am 21. Mai veranstaltet der AK FTI sein Frühjahrstreffen zum Thema "Wirkungsmodelle als methodische Herausforderung in Evaluationen - Verhältnis von klassischen Evaluationen und anderen Zugängen zur Bewertung von Innovationspolitik" in den Räumen des Fraunhofer-Forum in Berlin.

Wir möchten einen intensiven Erfahrungsaustausch organisieren und sind daher an Ihrer aktiven Mitwirkung sehr interessiert. Wenn Sie gerade eine Evaluation bearbeiten oder abgeschlossen haben, bei der ein komplexes Wirkungsmodell explizit oder implizit verwendet wurde, oder wenn Sie interessante Methoden eingesetzt haben, die über die typische Methodik bei Evaluationen hinausgehen, würden wir uns über einen Vortragsvorschlag an das AK-Sprecherteam (s.u.) sehr freuen. Bitte schicken Sie uns eine entsprechende Mail bis zum 4. April.

Programm

Die Beiträge des Frühjahrstreffens 2008 zum Thema "Cluster- und Netzwerkevaluation"wurden in einer Broschüre des Arbeitskreises veröffentlicht, die hier online abgerufen werden kann.

Vorläufiges Programm

• 10:00 – 10:30:
  Cluster- und Netzwerkevaluation – eine kurze Bestandsaufnahme
• 10:30 – 12:30:
  Praxisbeispiele der Evaluation von Cluster- und Netzwerkprogrammen
• 12:30 – 13:15:
  Mittagspause
• 13:15 – 15:15:
  Praxisbeispiele der Evaluation von Cluster- und Netzwerkprogrammen
• 15:15 – 16:00:
  Podiumsdiskussion: Evaluation von Cluster- und Netzwerkprogrammen – Anforderungen aus Auftraggebersicht
• 16:00 – ca. 17:00:
  Der AK Forschungs-, Technologie- und Innovationspolitik – Aktuelle Themen und weiteres Vorgehen

 

Herzliche Grüße vom Sprecherteam

Dr. Jan Wessels

VDI/VDE Innovation + Technik
Steinplatz 1
10623 Berlin

Tel.: 030-310078-229
Fax: 030-310078-216

wessels@vdivde-it.de