Die Frühjahrstagung des AK-FTI fand am 31. Mai 2022 zwischen 13.00-17.00 Uhr statt.
Das Monitoring von Förderprogrammen ist bedeutend für die evidenz-basierte Steuerung von Forschungs-, Technologie- und Innovations- (FTI-) Programmen. Ziel des Monitorings ist es, Projekt- und Programmfortschritte zu überprüfen, um eine fundierte Entscheidungsgrundlage zu schaffen und Anpassungen vorzunehmen. Die Ergebnisse eines Monitorings dienen auch weiterführenden Analysen, z.B. im Rahmen von Evaluationen. Die Verfügbarkeit von Monitoringdaten kann im Fall nicht intendierter Effekte und unvorhergesehener Einflussfaktoren (z. B. der Corona-Krise) und bei dynamischen Transformationsprozessen (z. B. der Klima- und Energiewende) besonders relevant sein. Allgemein kann ein Monitoring unterschiedliche Beiträge leisten, wie z. B. Transparenz schaffen, Informationen zu einer späteren Evaluation beitragen, Daten für eine technologische Vorausschau zur Verfügung stellen oder Entscheidungsgrundlagen zur Steuerung komplexer Programme bieten.
Die diesjährige Frühjahrstagung des AK-FTI der DeGEval widmete sich dem Thema Monitoring aus unterschiedlichen Perspektiven. Nach einer Einführung in das Thema wurde anhand von Praxiserfahrungen diskutiert, wie das Monitoring in der Umsetzung von Programmen unterstützen kann und wo die Herausforderungen liegen. Es folgten Beiträge zu aktuellen Monitoring-Projekten und eine abschließende Diskussion zu den zukünftigen Entwicklungen und Anforderungen an das Monitoring zu FTI-Programmen.
Neue Ansprüche an das Monitoring zur Programmsteuerung und Synergien mit der Evaluation
In einem einleitenden Vortrag wurde die Bedeutung für eine Fachdiskussion zum Thema Monitoring hervorgehoben. Während die Evaluation von FTI-Programmen klar definierten Standards folgt und im Rahmen der Umsetzung von Evaluationen klare Vorgaben einzuhalten sind, zeigt sich für das Monitoring, dass die Vorgaben in Form einer Standardisierung weniger konkret sind. Die Grenzen zwischen Monitoring und Evaluation sind bisweilen fließend. Dies liegt auch daran, dass nicht jedes Programm über ein eigenes Monitoring-System verfügt und Informationsbedarfe dann über die Evaluation gedeckt werden, in anderen Programmen findet wiederum eine gewisse Arbeitsteilung zwischen der Evaluation und dem Monitoring statt. Die Schnittstellen zwischen Evaluation und Monitoring sind von besonderer Bedeutung, sind aber nicht immer eindeutig definiert. Im Idealfall kann sich die Evaluation relevanter Monitoring-Daten bedienen, woraus sich Möglichkeiten für Effizienzsteigerungen in der Umsetzung ergeben und mehr Ressourcen für relevante analystische Fragestellungen zur Verfügung stehen. Das Monitoring unterstützt in erster Linie bei der Durchführung, der Anpassung von Instrumenten und bei der Modifikation von Förderzielen. Das Programmmonitoring ist aktuell auch deshalb im Fokus der fachlichen Diskussion, weil die Ausrichtung der Innovationspolitik im Sinne einer Missionsorientierung perspektivisch eine Weiterentwicklung der Methodik erfordert.
Praxiserfahrungen mit der Unterstützung der Entscheidungsfindung wurden in dem zweiten Beitrag vorgestellt. Es wurde deutlich, dass Monitorings für die Programmsteuerung einen bedeutenden Beitrag liefern kann, um die Arbeit der Ministerien zu unterstützen. Der Erkenntnisgewinn ist zentral davon abhängig, dass bei den Durchführenden des Monitorings ein umfassendes Verständnis für den Erkenntnisbedarf der Entscheidungsträger vorhanden ist.
Praxisbeiträge: Erfahrungen mit der praktischen Umsetzung von Monitoringprojekten
Die Beiträge aus der Praxis verdeutlichten, dass Monitoring ganz unterschiedlich ausgestaltet sein kann.
In den letzten Jahren hat über die Umsetzung eine erhebliche Professionalisierung der Programmumsetzung stattgefunden, mitunter durch eine enge Verzahnung und Abstimmung zwischen PTs und wissenschaftlichen Beratungseinrichtungen, die gemeinsam an den Monitoring-Themen arbeiten. Wie der Praxisbeitrag von Iris Eckardt (PtJ) und Dr. Thorsten Lübbers (Ramboll) zum Monitoring zu EXIST-Gründerstipendium und EXIST-Forschungstransfer verdeutlichte.
Karoline Rodriguez vom Institut für Innovation und Technik (iit Berlin) präsentierte noch unveröffentlichte Befragungsdaten eines laufenden Monitorings zur BMBF-Fördermaßnahme VIP+. Das Monitoring wird seit 2018 im Rahmen der Projektträgerschaft „Offene Innovationskultur und KMU-Querschnittsaufgaben“ gemeinsam von Projektträger Jülich und VDI/VDE-IT für Referat BMBF/515 „Innovationsförderung; SprinD, Cluster, Gaia-X“ umgesetzt und bezieht sich auf unterschiedliche Maßnahmen.
Im Rahmen der Frühjahrstagung wurde das Thema Monitoring breiter gefasst, einschließlich einer wissenschaftlichen Begleitung der FuE-Programme, in Form von Analysen und der Wissensaufbereitung zur Themenfindung für neue Förderprogramme. Dieser Aspekt des Themenmonitorings wurde durch den Vortrag von Axel Mangelsdors Institut für Innovation und Technik (iit Berlin) vorgestellt.
Anhand der Beispiels Mobilität der Zukunft als Praxislabor für ein Wirkungsmonitoring zur Steuerung missionsorientierter FTI-Programme, wurden neue Anforderungen an das Monitoring zur Begleitung missionsorientierter Vorhaben oder Programme durch Jakob Kofler von KMU-Forschung Austria vorgestellt.
Status-quo und Ansprüche für das zukünftige Monitoring von FTI-Programmen: Abschlussdiskussion
In der Abschlussdiskussion kamen verschiedene Aspekte zur Ansprache, die für die zukünftige Umsetzung von Monitoring-Projekten relevant sind. Klar wurde, dass Monitoring ausreichende Kapazitäten braucht, um auf Basis der Inhalte relevante Informationen für die Programmsteuerung zur Verfügung zu stellen. Hierfür sind ergänzend zur standardisierten Datenerhebung zeitaufwändige Analyseschritte notwendig. Auf der anderen Seite besteht weiterhin Potenzial für Effizienzgewinne, durch Standardisierung und IT-Lösungen. Auch für das Monitoring sind Wirkmodelle die zentrale Basis der Indikatorenentwicklung. Monitoringberichte/ interne Trendanalysen fließen in aktuelle Diskussionen ein, doch bei den durchführenden Stellen besteht wenig Transparenz darüber, inwiefern dies Entscheidungen beeinflusst. Um steuerungsrelevante Informationen bereitzustellen, besteht die Herausforderung darin, überhaupt erst darzulegen, was gesteuert werden soll und wo hier die Verantwortlichkeiten liegen. Die Ergebnisse sind so zu verdichten, dass diese auf der strategischen Ebene sinnstiftend eingesetzt werden können. Um die Beteiligten zur Teilnahme an den Monitoring-Umfragen zu motivieren gilt es auch darüber nachzudenken, inwiefern die Befragten selbst vom Monitoring profitieren können. Spannend ist auch die Frage, ob und inwiefern von neuen Ansätzen des Monitorings zur Steuerung missionsorientierter FuE-Programme auch neue Anforderungen für klassische Monitoring-Systeme hervorgehen. Letztlich geht es dabei um die Frage, was klassische Monitoring-Systeme von neuen Ansätzen zu komplexeren Systemen lernen können.
Das virtuelle Frühjahrstreffen thematisierte den deutlich gestiegenen Anspruch von Förderprogrammen, einen Beitrag zu Transformationsprozessen zu leisten, die notwendig sind, um den gesellschaftlichen Herausforderungen wie Klimawandel, Änderungen im Mobilitätsverhalten, alternde Gesellschaft, Gesundheitsversorge usw., zu begegnen.
Es gibt Förderprogramme, die explizit auf Transformation ausgerichtet sind (z.B. Förderung der Elektromobilität oder der Bioökonomie) und weitere, mit einem Fokus auf anderen Forschungsthemen, bei denen die Integration solcher Ansprüche an Beiträge zu Transformationsprozessen erst beginnt. Damit hat das Transformationsthema und die Messung von Programmwirkungen, die weit über die unmittelbar geförderten Institutionenund Personengruppen hinausgehen, auch für laufende und zukünftige Evaluationen ein noch unterschiedliches Gewicht. Veränderungen lassen sich in den letzten Jahren jedoch nicht nur in den Förderinhalten konstatieren, sondern auch in den Förderansätzen und -instrumenten. Hierauf wurde der Fokus unseres Frühjahrstreffens gelegt.
In Vorträgen und interaktiven Elementen wurden die Folgen für die methodischen Vorgehensweisen, Sets an Indikatoren zur Wirkungsmessung, Reichweiten von Förderwirkungen, Einflüsse und Limitationen aus verschiedenen Bereichen außerhalb der Fördertätigkeit, Grenzen aus dem EU-Beihilferahmen, der Ressortzuständigkeiten usw. diskutiert.
Fazit: Dem Wandel bei Förderansätzen und Förderansprüchen muss auch ein Wandel in den Evaluationsansätzen und Methodiken folgen. Sie werden voraussichtlich multidisziplinärer und noch multidimensionaler.
Ihr FTI-Team
Marianne Kulicke, Leo Wangler und Peter Kaufmann
Hier gehts zum Programm.
Vorträge und Foliensätze:
- Dr. Marianne Kulicke (FhG ISI)/Peter Kaufmann (KMU Austria)/Dr. Leo Wangler (iit): Überblick zu neuen Förderinstrumenten, die in den letzten Jahren in Deutschland und Österreich implementiert wurden
- Dr. Stefanie Margraf (PtJ): Monitoring und Evaluation im EU-Kontext: Programmevaluation am Beispiel von Facce-JPI
- Dr. Thomas Schwietring : Das große Schlagwort "Transformation"
Im Rahmen der Herbsttagung des AK-FTI 2020 (diese fand am 16. Oktober 2020 von 14.30 – 17.00 Uhr statt) stand das Thema COVID-19 im Vordergrund. Es stellte sich die Frage, welche konkreten Auswirkungen die von der Corona-Pandemie ausgelöste Krise auf FTI-Evaluierungen haben bzw. haben werden. Die folgenden Leitfragen standen damit im Vordergrund der diesjährigen Herbsttagung:
Auf diesen Call kam es zur Einreichung dieser drei Beiträge, die das Thema Corona und Evaluation aus unterschiedlichen Blickwinkeln beleuchteten:
Beitrag 1: „Zwischen Emergency Calls, Post-Corona Konjunkturstimulierung & Experimentierräumen für die Entwicklung neuer Maßnahmen – wie findet Lernen statt?“
In dem Vortrag von Sabine Meyer wurde deutlich, dass die COVID-19 Krise auch die FTI-Politik und die Agenturen, die diese umsetzen, vor große Herausforderungen stellt. Zum einen geht es darum, rasche Lösungen in der Gesundheitskrise zu finden, zum anderen um einen Beitrag zur konjunkturellen Entwicklung aus der Krise heraus. Rasche Lösungen verlangen rasches Handeln - gemeinsam mit den österreichischen Ministerien BMDW und BMK hat die Forschungsförderungsgesellschaft bereits am 9.3.2020 den COVID Emergency Call gestartet mit insgesamt 26 Mio. EUR. Auch die ersten Förderungen mit Finanzierung aus dem Konjunkturpaket sind gestartet, deren Umsetzung testet als Pilot die übergreifende Nutzung verschiedener Förderungsformate für gemeinsame Ziele. Für Agenturen wie die FFG, und für die FTI Politik insgesamt heißt das auch, dass mehr Agilität und Flexibilität gefordert ist. Die FFG ist aus diesem Grund Partner im Innovation Growth Lab von Nesta, das experimentelle Zugänge in der FTI Politik unterstützt, und arbeitet mit anderen Europäischen Agenturen zusammen, um gemeinsam zu testen und zu lernen, wie Agenturen durch Piloten und Experimente Evidenz generieren können. Darauf aufbauend stellen sich Fragen an die Evaluierbarkeit der neuen politischen Herausforderungen: welchen Wert, welche Wirkung hat Geschwindigkeit? Wie sollen Lernumgebungen beschaffen sein, die es erlauben, evidenzbasiert neue Wege zu testen? Welche Rolle spielt Evaluierung in diesem sich rasch verändernden Umfeld? Diese und weitere Fragen wurden im Rahmen der diesjährigen Herbsttagung des AK-FTI diskutiert. Die Vortragsfolien finden Sie hier.
Beitrag 2: „Corona und die Nachhaltigkeitsfrage: Lessons learned aus einer Programmevaluation“
In dem Beitrag durch Susanne Bührer und Sarah Seus wurde anhand der Evaluation des Forschungsprogramms für Nachhaltigkeit (FONA) dargestellt, wie das Corona-Thema Auswirkungen auf das Evaluationsprojekt hatte. Einerseits konnte ein geplanter Diskurs auf Basis der Evaluationsergebnisse nicht wie geplant fortgesetzt werden, stattdessen wurden Vorschläge erarbeitet, wie der Diskurs dennoch fortgesetzt werden kann. In einem kurzen Zeitrahmen wurden möglichst viele Ideen für die strategische und operative Fortsetzung der Förderung gesammelt. Teil der weiterführenden Arbeiten waren auch Aspekte einer qualitativen ex ante Evaluation. Im Zuge dessen wurden 50 Telefoninterviews mit Vertreter*innen aus Hochschulen, der außeruniversitären Forschung, der Wirtschaft, den Kommunen und der Zivilgesellschaft geführt. So wurde der Frage nachgegangen, welche Auswirkungen die Corona-Krise auf die nachhaltige Entwicklung der Akteure hat. Im Kern ließen sich hierzu drei Gruppen von Antworten unterscheiden: (1) Corona spielt für die Nachhaltigkeit und insbesondere die Strategien zur Bewältigung des Klimawandels keine Rolle; (2) Corona drängt aufgrund seiner ernsthaften Folgen für Wirtschaft und Gesellschaft Nachhaltigkeitsthemen in den Hintergrund; (3) Corona führt zu einer kritischen Reflexion bisheriger Routinen in Wirtschaft, Wissenschaft, Politik und Gesellschaft, die FONA in seiner Förderpraxis aktiv aufgreifen kann. Im Rahmen des Vortrags wurden diese Antwortcluster differenzierter dargestellt und in die aktuellen Nachhaltigkeitsdiskurse eingebettet. Die Vortragsfolien finden Sie hier.
Beitrag 3: „Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen – erste empirische Ergebnisse aus verschiedenen Evaluationen deutscher Förderprogramme“
In einem abschließenden Beitrag wurde durch Karoline Rodriguez und Jan Wessels über die Erfahrungen zu den Auswirkungen der Corona-Pandemie auf Innovationsfördermaßnahmen berichtet. Die Ergebnisse zeigen deutlich, dass die aktuelle CORONA-Pandemie in erheblichem Ausmaß Wirtschaft, Verwaltung, zentrale Innovationsprozesse und möglicher Weise auch Forschungseinrichtungen und Universitäten beeinträchtigt. Anhand der Indikatorik ist es das Ziel, näher herauszufinden inwiefern die Krise auch die Zuwendungsempfänger zu evaluierender Programme beeinflussen wird. Für viele Akteure dürfte die aktuelle Situation zur Herausforderung werden, weil der Zugang zu Laboren eingeschränkt oder gar nicht mehr möglich ist, weil Personal fehlt, Lieferketten unterbrochen sind, Meetings abgesagt werden, Konferenzen nicht stattfinden, Finanzmittel umgeleitet werden etc. Somit stellt die CORONA-Pandemie auf für Evaluationen einen externen Einflussfaktor dar, der die angestrebte Wirkung zu untersuchender Programme in Hinblick auf die erfolgreiche Umsetzung von Innovationsprojekten und die Verhaltensänderung von Akteuren in Richtung Innovationsorientierung negativ beeinflussen könnte. Das ist insofern relevant, als damit die Wirkung des entsprechenden Programms im Vergleich mit anderen Programen, die nicht während der CORONA-Pandemie umgesetzt wurden, geringer ausfallen könnte, ohne dass dies dem Programm selbst zugerechnet werden darf. Zudem sind entsprechende Informationen auch im Sinne einer formativen Unterstützung laufender Programme und ihrer Anpassung an die Krise hilfreich. Um hierfür zu kontrollieren bzw. erste Daten zu erheben wurden im Sommer 2020 bereits geplante Befragungen von aktuellen und ehemaligen Zuwendungsempfängern in vier Programmen von BMBF, BMWi und BMVI mit spezifischen Fragen über die Auswirkungen von Corona ergänzt. Dabei wurden/werden sowohl Projekte in der Startphase, am Ende der Projektlaufzeit sowie in der Verwertungsphase befragt. Zudem wurde in einer Evaluation ein Workshop zu den Auswirkungen bei den geförderten Projekten umgesetzt. Im Rahmen dieses Beitrags wurden erste Ergebnisse der Befragungen vorgestellt und die Befragung konzeptionell in ein erstes Modell der Wirkung des externen Schocks „Corona“ auf laufende Innovationsprozesse eingeordnet. Teil des Beitrags war auch eine Skizzierung möglicher weiterer Forschungsbedarfe und Strategien. Die Vortragsfolien finden Sie hier.
Ihr FTI-Team
Marianne Kulicke, Leo Wangler und Peter Kaufmann
Am 18. Juni 2019 fand das diesjährige Frühjahrstreffen des AK FTI der DeGEval in Berlin statt. Es stellte methodische Herausforderungen und neue Herangehensweisen in den Mittelpunkt.
Vor dem Hintergrund der Bundeshaushaltsordnung müssen Evaluationen in der Regel Aussagen zur Vollzugs- und Maßnahmenwirtschaftlichkeit treffen. Mittelweile beziehen sich praktisch alle Ausschreibungen für Evaluationen auf den entsprechenden Paragraphen der BHO – die Lösungsansätze der jeweiligen Evaluationen sind allerdings höchst unterschiedlich. Der erste Beitrag des Frühjahrstreffens von Karoline Rodriguez Rivera bot einen kurzen Überblick über die gewählten Ansätze und nimmt dabei 40 Evaluationen für BMBF und BMWi der letzten Jahre in den Blick.
Eine weitere, häufig in Leistungsbeschreibungen von Evaluationen formulierte Anforderung richtet sich auf die Nutzung von Kontrollgruppenansätzen. Auch hier ist die Bandbreite der gewählten methodischen Zugänge erheblich. Zwei Beiträge des Frühjahrstreffens zeigen anhand von vier konkreten Evaluationsvorhaben, welche Herausforderungen bestehen und welche Methoden zum Einsatz kommen. Während Christian Rammer über Möglichkeiten und Grenzen eines Kontrollgruppenansatzes in einem Programm berichtete, das ganz bewusst die "besten" Unternehmen fördern möchte, schilderte Peter Kaufmann, wie die Durchführung von Kontrollgruppenvergleichen von (a) den institutionellen Settings, (b) der Datenverfügbarkeit, und (3) dem Design der Studie beeinflusst werden kann.
Die Interpretation von Befragungsdaten stellt Evaluationen und Monitoring-Ansätze häufig vor die Herausforderung, individuelle und höchst subjektive Einschätzungen der Befragten richtig zu deuten. Die Standardisierung und Nutzung von Vergleichsdaten kann ein Zugang sein, um hier typisches Antwortverhalten zu identifizieren und damit besser zu interpretieren. Stefan Schröder vom Projektträger Jülich sowie Jan Wessels vom Projektträger VDI/VDE-IT stellten einen Ansatz eines vergleichenden Monitorings mehrerer Fördermaßnahmen im Rahmen der Projektträgerschaft „Offene Innovationskulturen“ vor.
Nach der Mittagspause werden unterschiedliche methodische Herausforderung und Lösungsanasätze anhand aktueller Evaluationsbeispiele diskutiert. Martina Kauffeld-Monz schilderte in Hinblick auf Vernetzungsanalysen, welches relevante netzwerkanalytische Fragestellungen im Rahmen von Evaluationsstudien sind, welche Rolle Mikro-, Meso-, und Makroebene spielen und wie ein angemessener Mix aus quantitativen und qualitativen Indikatoren zur Anwendung gelangen kann. Der Beitrag von Leo Wangler und Christiane Kerlen widmete sich der Frage, wie mit deutlichem zeitlichen Abstand zu erwartende und damit nur schwer direkt zu messende Wirkungen von Fördermaßnahmen durch die Nutzung von Indikatoren zur Innovationsfähigkeit frühzeitiger abgeschätzt werden können. Peter Kaufmann schließlich präsentierte erste Einblicke in die laufende Evaluation der österreichischen Weltraumstrategie.
Folgende Präsentationen sind bereits verfügbar:
Das Frühjahrstreffen des Arbeitskreises „Forschungs-, Technologie- und Innovationspolitik“ (FTI) fand am 12.5.2016 in Berlin (VDI/VDE-IT) statt und widmete sich dem Thema Projektträger und Evaluation
Evaluation hat sich im Politikfeld FTI als Standardverfahren der Bewertung von Fördermaßnahmen sowie als Steuerungsinstrument für Ministerien und Projektträger etabliert. Der Druck - z.B. durch den Bunderechnungshof - in Richtung einer weiteren Standardisierung von Verfahren und eines kontinuierlichen Monitorings wächst allerdings. Damit ändert sich auch die Rolle von Projektträgern (PTs) in Deutschland, die bislang eher reaktiv in Evaluationen eingebunden waren. Sie nehmen nun zunehmend eine aktivere Rolle ein, müssen die Evaluierbarkeit von Programmen von Anfang an mitdenken, müssen entsprechende Monitoring-Daten bereithalten, die Evaluatoren bei der Umsetzung unterstützen und die Implementierung von Evaluationsergebnissen sicherstellen. Zudem übernehmen PTs zunehmend häufiger selbst die Rolle von Evaluatoren, dies sowohl bei der Selbstevaluation eigener Maßnahmen wie auch bei der Evaluation „fremder“ Programme. Stärker zentralisierte Projektträger in anderen europäischen Ländern, auch in Österreich, sind hingegen schon länger in eine aktivere Rolle innerhalb von Evaluationen hineingewachsen und haben wichtige Erfahrungen für die aktuelle deutsche Diskussion beizusteuern.
Das Frühjahrstreffen 2016 sollte die veränderte Rolle von PTs aus zwei möglichen Perspektiven beleuchten:
PTs und ihre sich verändernde Rolle bei Evaluationen ihrer eigenen Fördermaßnahmen:
- Programme von der Konzeption an als „evaluierbar“ mitdenken
- Neue Anforderungen an die Generierung von Prozess- und Monitoringdaten
- PTs als Mitgestalter und Partner von Evaluationsprozessen
PTs als „Evaluatoren“ fremder Maßnahmen:
- Strategische Überlegungen zur Ausweitung des PT-Geschäfts (warum wollen PTs verstärkt Evaluationen selbst durchführen?)
- Konsequenzen: Kompetenzanforderungen, Rollenkonflikte, Rückwirkungen auf die eigene PT-Tätigkeit
Wie auch in den vergangenen Jahren richtete sich das Frühjahrstreffen 2016 des AK FTI insbesondere an Evaluationseinrichtungen, an Auftraggeber von Evaluationen in den Ministerien wie auch an Intermediäre wie Projektträger.
Vortrag Mayer (FFG und Evaluation)
Vortrag Koglin (PTJ und Programmfamilie Unternehmen Region)
Vortrag Astor (Perspektiven für die Evaluierung von Programmen der IKT-Förderung)
Das Frühjahrstreffen des Arbeitskreises „Forschungs-, Technologie- und Innovationspolitik“ (FTI) fand am 22.6.2015 in Berlin (Fraunhofer Forum) statt und widmete sich dem Thema Begleitende Evaluation und Begleitforschung bei heterogenen, komplexen Fördermaßnahmen.
Auf Bundesebene zeigt sich seit einigen Jahren der Trend, dass zu vielen Fördermaßnahmen Begleitevaluation oder -forschungen ausgeschrieben werden, die "klassische" ex-post-Evaluation weitgehend ersetzen. Bereits während des Programmzeitraums untersuchen sie den Umsetzungs-stand der geförderten Maßnahmen und die daraus resultierenden Wirkungen, um dem Fördergeber eine fundierte Informationsbasis für die Programmsteuerung zu bieten, Handlungsempfehlungen für eine Weiterentwicklung seines Förderinstrumentariums zu erarbeiten oder Hinweise zur Wirtschaftlichkeit des Programms zu liefern. Es erfolgen nicht nur zeitnah Ausschreibungen zu Begleitevaluationen oder -forschungen für die im Zuge der ersten und der neuen High-Tech Strategie der Bundesregierung entstandenen Maßnahmen. Einige Förderangebote, die bereits seit Jahren bestehen, werden über einen längeren Zeitraum begleitet. Diese mehrjährige Beobachtung der Fördertätigkeit bietet spezifische Möglichkeiten für eine sehr differenzierte Wirkungsanalyse und das Nachzeichnen von Umfeldveränderungen sowie Umfeldeinflüssen auf den Fördererfolg.
Das diesjährige Frühjahrstreffen des AK Forschungs-, Technologie- und Innovationspolitik thematisierte anhand unterschiedlicher Konstellationen, wie Begleitende Evaluation oder eine Begleitforschung bei komplexen Fördermaßnahmen mit heterogenen Maßnahmen- oder Akteurskonstellationen umgesetzt werden können und welchen Nutzen ein Fördergeber daraus ziehen kann. Drei Vorträge schilderten konkrete Beispiele begleitender Evaluationen, zwei Überblicksvorträge ordneten das Tagungsthema in den größeren Zusammenhang der Evaluation im Feld FTI ein. In einer Abschlussdiskussion aller Teilnehmer konnten die Sichtweisen der verschiedenen vertretenen Akteursgruppen (Auftraggebende, Evaluationseinrichtungen und Projektträger gegeneinander gestellt werden.
Rund 35 Evaluierende sowie Vertreter/-innen von Fördergebern und Projektträgern nahmen am Frühjahrstreffen teil, das vom Fraunhofer Institut für System- und Innovationsforschung ISI organisiert wurde.
Überblick Kaufmann (KMU Austria)
Vortrag Wessels (Wirkungsanalyse Gründerwettbewerb Junge IKT)
Das diesjährige Frühjahrstreffen des Arbeitskreises Forschungs-, Technologie und Innovationspolitik der DeGEval widmete sich im Schwerpunkt dem Thema Wirkungsanalysen nach §7 der Bundeshaushaltsordnung. In jüngster Zeit hat insbesondere der Bundesrechnungshof verstärkt auf diese verpflichtende Anforderung der Bundeshaushaltsordnung verwiesen, die Bundesministerien haben ihre Vergabepraxis entsprechend angepasst und weisen darauf hin, dass Evaluationen verpflichtend Zielerreichung, Wirksamkeit und Wirtschaftlichkeit der jeweiligen Maßnahmen zu untersuchen haben. Methodisch stellt diese Vorgabe Evaluationsprojekte im Bereich der Forschungs-, Technologie- und Innovationspolitik vor zum Teil erhebliche Herausforderungen. Echte Kontrollgruppenansätze können insbesondere in Technologieförderprogrammen mit kleinen Zielgruppen bisweilen nur eingeschränkt umgesetzt werden, Wirtschaftlichkeitsuntersuchungen erfordern ggf. eine Monetarisierung von Programmwirkungen, die nur bedingt leistbar sind. In der Diskussion mit Auftraggebende von Evaluationen und Evaluatoren wurde eine Zwischenbilanz gezogen, wie sich die veränderten Anforderungen auf die Praxis der Evaluation ausgewirkt haben, welche methodischen Ansätze diesen Anforderungen gerecht werden und welche weiteren Konsequenzen für die Vergabe und Durchführung von Evaluationen zu erwarten sind.
Präsentation IZT zu Energieforschung
Literaturhinweis:
Der AK Forschungs-, Technologie- und Innovationspolitik veranstaltete am 11. Juni 2013 ein Frühjahrstreffen zum Thema „Portfolioevaluationen“.
Zumeist waren Evaluationen in der Vergangenheit – mit wenigen Ausnahmen - stark auf einzelne Programme bzw. Maßnahmen bezogen; zunehmend jedoch gibt es ein Interesse „über den Tellerrand“ einer einzelnen Maßnahme hinaus zu blicken. Immer mehr Evaluationen haben sich in jüngster Vergangenheit nicht mehr nur auf einzelne Förderungsprogramme bezogen, sondern jeweils auf ein definiertes Portfolio bzw. auf definierte Akteure und deren Förderungen bezogen. Ausgangspunkt der Definition eines solchen Portfolios können dabei Themen oder etwa Branchen sein, aber auch Förderungsinstrumente oder Förderungsagenturen.
Im Rahmen des Frühjahrstreffens berichteten EvaluatorInnen über ihre Erfahrungen mit Portfolioevaluierungen, wobei auch die Perspektive der Auftraggeberseite miteinbezogen wurden.
Session 1: Evidenz und Effekte in der und durch die Evaluation von Forschungs- Technologie- und Innovationsfördermaßnahmen
Das übergreifende Tagungsthema „Evaluation – Evidenz – Effekte“ lässt sich in zwei Fragen mit ganz unterschiedlicher Perspektive fassen: Im Sinne der Wirkungsforschung stellt sich zunächst die Frage, welche zusätzliche Evidenz in Hinblick auf die Wirkung von Forschungs-, Technologie- und Innovationspolitik durch den Einsatz von Evaluationen geschaffen wird? Gibt uns die Evaluation belastbare Hinweise auf die konkreten Effekte staatlichen Handelns in unserem Politikfeld, und welche Methoden sind hierfür geeignet, welche Erfahrungswerte lassen sich aus der bisherigen Evaluationspraxis ableiten? Ein einleitender Überblicksvortrag von Frau Dr. Kulicke, Frau Dr. Bührer und Frau Dr. Daimer wird hier das Feld aufspannen; das Thema wird aus österreichischer Perspektive in einem zweiten Vortrag durch Frau Dr. Mayer und Herrn Mag. Starzer vertieft.
In umgekehrter Richtung lässt sich darüber hinaus fragen, mit welcher Evidenz wir davon ausgehen können, dass Evaluationen selbst tatsächlich Effekte oder Wirkungen haben? Der Beitrag von Herrn Mag. Streicher wird diese Frage zu beantworten suchen und dabei insbesondere auch auf indirekte und nichtintendierte Effekte von Evaluationen eingehen.
Vorträge
Session 2: Evidenz und Effekte in der Evaluation in der Clusterevaluation
Die Frage nach den messbaren und evaluierbaren Wirkungen staatlichen Handelns im Bereich der Forschungs-, Technologie und Innovationspolitik stellt sich in besonderem Maße bei zunehmend komplexen, auf systemische Effekt zielenden Maßnahmen wie der Cluster- und Netzwerkförderung. Maßnahmen diesen Typs haben in den letzten Jahren an Zahl und Umfang deutlich zugenommen, gleichzeitig ist die Wirkung staatlicher Interventionen in diesem Feld besonders schwer zu messen, da vielfältige Wechselbeziehungen und unabhängige Einflussfaktoren zu berücksichtigen und die zeitlichen Verzögerungen einer möglichen Wirkungsmessung erheblich sind. In zwei Praxisbeiträgen berichten Frau Dr. Kind und Herr Dr. Rothgang von ihren Ansätzen der Clusterevaluation und diskutieren in einem Podiumsgespräch über entsprechende Herausforderungen und Lösungsansätze.
Vorträge
Wirkungsmodelle als methodische Herausforderung in Evaluationen
Die Frühjahrstagung des AK Forschungs-, Technologie- und Innovationspolitik stand in direktem Zusammenhang zum Thema der Jahrestagung 2012 der DeGEval „Evaluation – Evidenz – Effekte“. Vertieft wird im September 2012 in Potsdam die Frage, ob und in welchem Umfang die derzeitige Evaluationspraxis einen Beitrag zur Evidenzbasierung politischen Handelns leistet. Der Themenschwerpunkt hat besondere Relevanz gerade für Evaluationen im Bereich der Forschungs-, Technologie- und Innovationspolitik. Daher standen auf unserer Frühjahrstagung vorab drei Fragen im Mittelpunkt:
Programm
Vorträge
Chancen und Herausforderungen partizipativer Ansätze
Die deutliche Zunahme von Evaluierungen im FTI Bereich mit formativem Charakter in Kombination mit begleitenden Evaluierungen und beratenden Aufgaben als strategisches Element des policy learning führt zu einem Bedeutungsgewinn des Themas Partizipation. Evaluierungen beziehen sich idR nicht nur auf die verschiedenen Sphären von Hochschulen, Industrie und Politik in ihrem Zusammenwirken, sondern auch auf verschiedene „Ebenen“ der Intervention und Umsetzung FTI-politischer Maßnahmen: idealtypisch wären dies die policy Ebene mit strategischer Verantwortung, die Ebene von Förderungseinrichtungen mit Verantwortung für die Umsetzung und das Erreichen der strategischen Ziele und schließlich – um die intendierten Wirkungen zu entfalten wohl am bedeutsamsten – die Zielgruppen der Förderung. Um präzise mit dem Konzept Partizipation in Evaluierungen umgehen zu können, ist klarzustellen, Was denn genau damit gemeint ist (Definition), Wie Partizipation ermöglicht und genutzt werden kann (Methoden), und zum anderen, Wer und Wie Weit partizipieren soll/darf (Zielgruppen, Grenzen). Die beiden ersten Vortragenden zeigen auf der Basis von Erfahrungen mit begleitenden Evaluierungen iwS diese „Ws“ auf und vergleichen sie mit Evaluierungen im Arbeitsmarkt- oder Sozialbereich.
Der zweite Beitrag verdeutlicht am Beispiel des Clustermonitorings in Berlin-Brandenburg die Bedeutung eines partizipativen Ansatzes für die Erzielung valider Ergebnisse. Es zielt auf die Darstellung der Clusterentwicklung in Berlin und Brandenburg einschließlich eines interregionalen Vergleichs. Dem liegt ein makroökonomischer Ansatz auf Basis sekundärstatistischer Daten zugrunde mit der Herausforderung, dass die amtliche Statistik nicht mit der Abgrenzung der regionalen Cluster übereinstimmt. Für eine trennscharfe Abgrenzung war die Ableitung eines Zurechnungsfaktors notwendig, was die aktive Mitarbeit der Clustermanager voraussetzte. Diese standen jedoch der Evaluierung kritisch gegenüber, da das Monitoring von politischer Seite als Steuerungsinstrument angelegt war. So befand sich die Projektumsetzung im Spannungsfeld zwischen Methodendiskussion und der Diskussion um die Nutzung der Ergebnisse. Die Lösung für beide Problemstellungen lag in der erfolgreichen Umsetzung eines partizipativen Ansatzes. Der Beitrag zeigt die unterschiedlichen Phasen des Monitoringprojekts auf und gibt Empfehlungen für die erfolgreiche Realisierung der Partizipation.
Vorträge:
Moderation: Dr. Sonja Sheikh (KMU Forschung Austria) und Dr. Marianne Kulicke (Fraunhofer Institut für System- und Innovationsforschung)
Anspruch und Wirklichkeit der Wirkungsanalyse von forschungs-, technologie- und innovationspolitischen Maßnahmen
Vor dem Hintergrund knapper werdender Budgets stehen politische Entscheidungsträger zunehmend unter dem Druck, die Wirkungen ihrer geförderten Maßnahmen zu rechtfertigen. Wirkungsanalysen (Impact-Messungen) sind daher häufig Bestandteil von Evaluationen forschungs-, technologie- und innovationspolitischer Maßnahmen. Die Evaluation einer FTI-Maßnahme soll eine ausreichende Informationsgrundlage liefern, um Aussagen über den Erfolg und die Wirkung treffen zu können. Insbesondere bei ex post Betrachtungen, aber auch bei noch laufenden Vorhaben soll der "Impact" einer Maßnahme auf Wirtschaft, Gesellschaft oder auch Umwelt nachgewiesen werden. Das schließt die FuE-Additionalität bei Unternehmen im Sinne des Anstoßen einer größeren Investition von FuE-Mitteln der Privatwirtschaft, die ohne Förderung nicht eingesetzt worden wäre, genauso mit ein, wie auch das Erreichen höherer Umsätze, Beschäftigungszuwachs oder die Verbesserung der Wettbewerbsfähigkeit von Unternehmen bis hin zur Stärkung ganzer Branchen und der Volkswirtschaft insgesamt. Außerdem zählen dazu auch qualitative Aspekte wie Verbesserungen der Innovationsfähigkeit von Unternehmen oder ihre Fähigkeit für Kooperationen mit Wissenschaftspartnern oder Unternehmen.
Der Workshop ging der Frage nach, ob und wie der Anspruch an die Evaluation, Wirkungen nachzuweisen, in der Realität erfüllt werden kann. Der Workshop setzte sich u. a. mit folgenden Fragestellungen auseinander:
Was genau wird unter Wirkung verstanden? Was sind brauchbare und praktikable Ansätze der Wirkungsmessung (Indikatoren/Methoden)? Was lässt sich realistisch messen? Wo gibt es Grenzen?
Werden die Erwartungen der Technologiepolitiker erfüllt? Liefern Evaluationen die gewünschten Ergebnisse in Bezug auf die Wirkungsmessung? Wie brauchbar sind die abgeleiteten Empfehlungen für den Auftraggeber? Besteht Zufriedenheit mit den erzielten Ergebnissen oder gibt es große Diskrepanzen zwischen Anspruch und Wirklichkeit?
Welche Erwartungen gibt es von den Auftraggebern an die Evaluation? Umgekehrt: was würde aus Sicht der Evaluatorinnen und Evaluatoren die Wirkungsmessung vereinfachen; was könnten die politischen Entscheidungsträger bei der Programmplanung und beim Programmvollzug beachten? Was ist in Zukunft zu erwarten? Werden in Zeiten knapper werdender Mittel, die Ansprüche an die Wirkungsmessung durch Evaluation noch steigen? Unter welchen Rahmenbedingungen (Druck vom Rechnungshof, Anforderungen aus den Ministerien) werden Evaluationsstudien vergeben und welche Konsequenzen hat dies in Bezug auf die Konzeption von Evaluationen?
Methodische Fragen der FTI-Evaluation I und II
Dr. Marianne Kulicke / Dr. Susanne Bührer / Dr. Tasso Brandt / Miriam Hufnagl (FhG ISI): Evaluationstypen und Evaluationsmethoden – ein Überblick
In Abhängigkeit vom "Lebenszyklus" eines Förderprogramms haben sich im Bereich der Forschungs-, Technologie- und Innovationspolitik in den vergangenen Jahren einzelne Typen von Evaluationen herauskristallisiert, die spezifische Anforderungen an das Evaluationsdesign sowie an die Methoden der Datenerhebung und –auswertung stellen. Solche Evaluationstypen sind die ex-ante-Evaluation, die Evaluation des Programmanlaufs einer neuen Fördermaßnahme, die Zwischenevaluation, die begleitende, die ex-post-Evaluation am Ende sowie die Wirkungsanalyse, bis zu mehrere Jahre nach Programmende. Diese verschiedenen Typen implizieren jeweils ein spezifisches Anforderungsprofil zur Methodik einer fundierten Evaluation. In einem Eigenforschungsprojekt des Fraunhofer ISI geht das Autorenteam der Frage nach, welches Evaluationsdesign und welche Datenerhebungs- bzw. –auswertungsmethoden bei den skizzierten Typen von Evaluationen vorzugsweise in den letzten Jahren zum Einsatz kamen und welche Kombinationen an Methoden auftreten.
Dr. Thorsten Lang (IWConsult): Zwillingsschätzung als Evaluierungsinstrument der Forschungsförderung:
In der Forschungspolitik wird versucht, durch verschiedene Förderinstrumente mehr Investitionen in Forschung und Entwicklung (FuE) anzuregen. Zuschüsse oder Bürgschaften senken die Kosten, so dass zusätzliche Forschungsprojekte rentabel werden. Dies gilt freilich nur dann, wenn es zu keinen Mitnahmeeffekten kommt und lediglich private Mittel durch staatliche Mittel verdrängt werden. Wie kann nun gemessen werden, ob und wie viel zusätzliche Forschungsausgaben getätigt werden?
Timo Mitze (RWI), Anne-Marie Scholz (WSF), Tina Wolf (Universität Jena): Mobilisierungswirkungen des Spitzencluster-Wettbewerbs
Im Vergleich zur traditionellen Projektförderung entstehen durch Wettbewerbsverfahren, wie BioRegio, InnoRegio oder eben den Spitzencluster-Wettbewerb, Vorteile, welche einerseits auf den Wettbewerbscharakter selbst, andererseits auf die Selbstorganisation der Wettbewerber und die Vielfältigkeit entstehender Konzepte zurückzuführen sind. Der Vortrag zeigt auf, wie diese Mobilisierungswirkungen für den Spitzencluster-Wettbewerb des BMBF, vor allem in finanzieller Hinsicht, gemessen werden soll.
Dr. Sonja Kind; Dr. Jan Wessels (VDI/VDE-IT): Struktur-Lege-Technik für die Trendanalyse und Roadmapping im Rahmen von ex-ante Evaluationen
Im Beitrag wird die Methodik der Strukturlegetechnik vorgestellt und an einem praktischen Beispiel in Zusammenarbeit mit den Teilnehmerinnen und Teilnehmern des Workshops vorgeführt. Das Instrument eignet sich besonders für die Durchführung von Trendanalysen und Erstellung von Roadmaps im Rahmen von ex-ante Evaluationen.
Mag. Iris Fischl (KMU Forschung Austria): Die Methode der Sozialen Netzwerkanalyse (SNA) in der Evaluierung von FTI-Maßnahmen
Im Rahmen von Evaluierungen von FTI-Programmen, die u.a. auch Vernetzungsaktivitäten unterstützen, wird zunehmend die Methode der Sozialen Netzwerkanalyse (SNA) eingesetzt. Als sozialwissenschaftliches Verfahren zielt die SNA auf die Analyse und Darstellung sozialer Beziehungen zwischen individuellen und/oder kollektiven Akteuren. So ist es beispielsweise möglich, die Positionen einzelner Akteure in Beziehungsgeflechten (Netzwerken) zu identifizieren oder die Struktur von Kooperations- und Kommunikationsbeziehungen sowie Ressourcenaustauschprozessen zwischen einzelnen Akteuren abzubilden. Der Beitrag befasst sich vor diesem Hintergrund mit den Erfahrungen des Einsatzes der SNA in zwei ausgewählten, von der KMU FORSCHUNG AUSTRIA durchgeführten Evaluierungen im Forschungs-, Technologie- und Innovationsbereich.
Eine wichtigere Rolle für die Gesellschaft im Feld der Forschungs-, Technologie- und Innovationspolitik? Die Forschungs-, Technologie- und Innovationspolitik ist zumeist getrieben von der Technologieentwicklung und dem Forschungsfortschritt selbst. Akteure sind vor allem die ForscherInnen und EntwicklerInnen, neue Erkenntnisse und neue Lösungen prägen im Sinne eines „technology push“ die Politikgestaltung. Parallel konzentriert sich die Evaluation von Forschungs-, Technologie- und Innovationspolitik nicht selten auf die Ex Post-Analyse entsprechender Diffusionsprozesse und Förderprogramme. Die Gesellschaft als Quelle eines „demand pull“ oder als gestaltender Akteur spielt eine vergleichsweise geringere Rolle, auch wenn politische Strategien wie aktuell die Hightech-Strategie die Notwendigkeit einer stärker an gesellschaftlichen Bedürfnissen orientierte FTI-Politik betonen. Die zwei Beiträge des Workshops lenken den Blick auf Prozesse, in denen gesellschaftliche Aspekte – durch eine Öffnung der Forschungsevaluation im Sinne eines erweiterten Peer-Review bzw. durch die Evaluation des Foresight-Prozesses – stärker einbezogen sind. • Janina Schirmer, Dr. Malte Schophaus (Wissenschaftliche Kommission Niedersachsen): „Extended Peer Review in der Forschungsevaluation als Antwort auf die Herausforderungen der Wissensgesellschaft?“ PDF
• Judith Hoffmann (Institut für Technologie und Arbeit - Kaiserslautern): „Formative Prozessevaluation am Beispiel des BMBF-Foresight-Prozesses“ PDF
Der Arbeitskreis Forschungs-, Technologie- und Innovationspolitik der DeGEval hat am 20. Mai 2009 in Karlsruhe sein Frühjahrstreffen zum Thema „Kriterien und Indikatoren bei Evaluationen – Herausforderungen aus veränderten FTI Maßnahmen" durchgeführt. Mit Evaluatoren, Auftraggebern und Interessierten wurden die bei aktuellen Evaluationsprojekten eingesetzten Kriterien- und Indikatorensysteme diskutiert und einen Überblick über dieses stets aktuelle Feld der FTI-Evaluation geboten.
Auf dem Frühjahrstreffen erfolgte eine Bestandsaufnahme zu neueren Entwicklungen, es wurden Beispiele aus laufenden oder gerade abgeschlossenen Evaluationen vorgestellt. Das Frühjahrstreffen wurde in den Räumen des Fraunhofer Institut für System- und Innovationsforschung in Karlsruhe durchgeführt, das mit Dr. Marianne Kulicke im Sprecherteam des Arbeitskreises mitwirkt.
•Dr. Marianne Kulicke (Fraunhofer Institut für System- und Innovationsforschung): Überblick zu den Herausforderungen aus veränderten FTI Maßnahmen für Evaluationen PDF
•Dr. Sabine Mayer (KMU Forschung Austria): Systemevaluierung der österreichischen Forschungsförderung und –finanzierung PDF
•Anton Geyer (Technopolis Wien): Vergleichende Analyse zum Instrument Strategische Partnerschaften und Entwicklung eines Evaluationskonzepts
•Bernhard Lagemann (RWI Essen): Begleitende Evaluierung des Förderinstrumentes "Spitzencluster-Wettbewerb" des BMBF PDF
•Dr. Thomas Stahlecker (Fraunhofer Institut für System- und Innovationsforschung): Strategiebericht 2009 zur EU-Strukturpolitik PDF
•Dr. Sonja Kind und Dr. Jan Wessels/VDI/VDE-IT, Institut für Innovation und Technik (iit):Vergleich der Impact-Analyse-Methoden aus den Evaluationen der FP5 Programme Growth und IST WING-Interfaces PDF
Jahrestagung Klagenfurt 2008
Auf der Jahrestagung in Klagenfurt wurden die zwei folgenden Workshops durchgeführt:
Stellenwert von Evaluationen für Fördermaßnahmen in der FTI-Politik
Impulsreferate:
Paneldiskussion mit:
Moderation:
Systemevaluation - Policy-Evaluation – Strategieevaluation
Referenten:
Moderation:
Frühjahrstreffen 9. Mai 2008 in Berlin: "Cluster- und Netzwerkevaluation"
Cluster- und Netzwerkprojekte sind zu einem wichtigen Ansatz der Technologie- und Innovationspolitik geworden. In Deutschland finden sich entsprechende Programme auf der nationalen Ebene – angefangen mit „BioRegio“ Anfang der 90er Jahre bis hin zu „Kompetenznetze Deutschland“ oder dem „Spitzenclusterwettbewerb“ heute. Noch weiter verbreitet sind Cluster- und Netzwerkansätze aber auf der Ebene der Bundesländer bzw. subregionaler Ebenen. Auch die Europäische Union hat mit ihrem Programm „Europe Innova“ den Cluster- und Netzwerkansatz in ihre Innovationspolitik integriert.
Für die Evaluation von Technologie- und Innovationspolitik bedeuten Cluster- und Netzwerkansätze eine spezifische Herausforderung. Regionale Rahmenbedingungen, Besonderheiten der Akteurskonstellation, Eigendynamiken der Interaktion prägen Netzwerke und Cluster in besonderem Maße. Evaluationen haben nicht nur Effekte staatlicher Intervention zu analysieren, sondern müssen endogene Prozesse und individuelle Besonderheiten zum Teil deutlich stärker mit berücksichtigen, als die bei der bislang vorherrschenden Programmförderung von Verbundprojekten der Fall war. In den letzten Jahren hat sich hier ein breiterer Erfahrungsschatz in Hinblick auf Evaluation aufgebaut, der für zukünftige Cluster- und Netzwerkevaluationen zu nutzen ist.
Beiträge:
Dokumentation der Veranstaltung als AK-Veröffentlichung (PDF)
Dokumentation der Veranstaltung als Veröffentlichung in der Zeitschrift für Evaluation (PDF) (www.waxmann.com/index2.html)
Jahrestagung in Lüneburg 2006
Evaluation von Netzwerken in der grundlagenorientierten Forschung gemeinsam mit dem AK Hochschule Die Förderung von Netzwerken spielt im Bereich der grundlagenorientierten Forschung eine zunehmend wichtige Rolle. Aus diesem Grund haben sich der AK FTI-Politik und der AK Hochschule während der Jahrestagung der DeGEVal in Lüneburg zum Leitthema "Netzwerkevaluation - Evaluation von Netzwerken" mit der Frage der Evaluation von Netzwerken in der grundlagenorientierten Forschung und Forschungsförderung befasst. Die Beiträge stellen konkrete Evaluationsstudien, deren methodische Ansätze und Ergebnisse zur Diskussion. • Evaluation der Sonderforschungsbereiche in Österreich (Dr. Jakob Edler, Fraunhofer ISI) • Erfahrungen mit der soziale Netzwerkanalysen am Beispiel der Evaluierung des österreichischen Genomforschungsprogramms GEN-AU (Dr. Roald Steiner, KMU FORSCHUNG AUSTRIA) • Interinstitutionelle Zusammenarbeit in DFG-geförderten Kooperationsprogrammen: Identifikation von Forschungs-Clustern mit Hilfe der Sozialen Netzwerkanalyse (Dr. Jürgen Güdler, DFG, Direktor Informationsmanagement)
Evaluation von Netzwerkförderung in den Neuen Bundesländern gemeinsam mit dem AK Strukturpolitik
Der AK FTI-Politik und der AK Strukturpolitik haben sich während der
Jahrestagung der DeGEVal in Lüneburg zumLeitthema "Netzwerkevaluation -
Evaluation von Netzwerken" mit der Frage der Evaluation der Netzwerkförderung
in den Neuen Bundesländern befasst. Hintergrund für die Themenwahl ist die
Beobachtung, dass seit Beginn der 1990erJahre eine Vielzahl von Förderprogrammen
sich dem Ziel des Aufbaus vonInnovationsnetzwerken gewidmet hat. Zu diesen
Förderprogrmmen existiert ebenfalls eine Vielzahl von Evaluationsstudien,
deren methodische Ansätze und Ergebnisse zur Diskussion gestellt wurden.
Die Beiträge im Einzelnen:
Frühjahrstreffen 2006 in Karlruhe
am 16. Februar 2006 fand am Fraunhofer ISI in Karlsruhe ein Frühjahrsworkshop zum Thema "Evaluation von Institutionen" statt. Leitthemen waren:
Beiträge:
Jahrestagung in Essen 2005
Die Frage nach der Wirkung von Evaluationen gilt auf allen Ebenen der FTI-Politik, d.h. auf der Ebene von Projekten, Programmen, aber auch von Institutionen. Nachdem wir uns auf den vergangenen AK-Sitzungen bereits mehrfach dem Thema Evaluation von (Forschungs-)Institutionen gewidmet hatten, wollten wir die Jahrestagung in Essen dazu nutzen, über eine besondere Form von Institutionen – die "Agencies" bzw. "Projektträger" zu sprechen. Grund hierfür ist ein einerseits in vielen Ländern und auch auf Ebene der Kommission sichtbarer Trend zur "Agencification", andererseits aber auch deren spezifische Rolle im FTI-System, nämlich als Mittler zwischen Minsterien, Fördernehmern und externen Evaluatoren. Damit sind sie von allen Seiten mit den entsprechenden Erwartungen konfrontiert und müssen auf der Basis dieser heterogenen Stimmen ihre Arbeit verrichten.
Leitfragen waren:
A) Agencies als Gegenstand von Evaluationen
B) Agencies als Betreuer, Konzipierer, Umsetzer von Evaluationen
ReferentInnen:
A: Allgemeiner Teil
Moderation: Dr. Susanne Bührer, Fraunhofer ISI, Karlsruhe
Block B: Fallbeispiele ·
Jahrestagung in Wien 2004
Titel: "Forschungseinrichtungen, Förderorganisationen und Förderprogramme: Wege der Evaluierung und Konsequenzen für den Reformprozess"
Nachdem sich der AK in den vergangenen Jahren neben der Evaluation von komplexen Multi-Akteur-Programmen (Kassel 1999, Karlsruhe 2000) insbesondere der Evaluation von Forschungseinrichtungen (Berlin 2000, Speyer 2001) gewidmet hat, knüpfte das Arbeitsprogramm für die Jahrestagung in Wien 2004 direkt an:Unter dem Titel "Forschungseinrichtungen, Förderorganisationen und Förderprogramme: Wege der Evaluierung und Konsequenzen für den Reformprozess" wurden in der ersten Hälfte des Workshops Beiträge zu den Themen:
gehört. Daran anschließend wurde der bisherige Themenkomplex erweitert und die Frage nach den spezifischen Herausforderungen gestellt, die mit der Evaluation von Forschungsförderungsorganisationen verknüpft sind. Als Beiträge konnten wir gewinnen:
Angesichts der erheblichen Umstrukturierungen, die derzeit im österreichischen FTI-System zu beobachten sind, erfolgt insbesondere bei den letztgenannten Prä-sentationen ein enger Brückenschlag zum Leitthema der Jahrestagung, der Qualität von Reformen. Zur Logik und Motivation sowie zum Stand der Umsetzung der Umstrukturierungen wird es einen kurzen Input von Dorothea Sturn geben.
Jahrestagung in Hamburg 2003
Auf der Jahrestagung In Hamburg wurden zwei Workshops durchgeführt. Der erste fand gemeinsam mit dem AK Hochschule statt und widmete sich dem Thema:
Forschungsevaluation und Forschungsexcellenz
Leitfragen waren:
Als ReferentInnen konnten gewonnen werden:
Der zweite Workshop widmete sich dem Thema:
Evaluation im Kontext des 6. Rahmenprogramms
Leitfragen hier waren:
Die ReferentInnen und Beiträge waren:
Jahrestagung in Mainz 2002
Thema des Workshops war: Evaluationsstandards in der Forschungs-, Technologie- und Innovationspolitik: Praktische Beispiele für HerausforderungenDie Akteure im Bereich Evaluation von Forschungs- und Technologiepolitik sind zum Einen sehr heterogen (Naturwissenschaftler und Techniker, Wirtschaftswissenschaftler, Sozialwissenschaftler), zum Anderen mangelt es derzeit trotz der zunehmenden Nachfrage noch an übergreifenden Institutionen oder Netzwerken, die eine Verbreitung der Evaluationsstandards zumindest erleichtern würden. Aus diesem Grund wurde diskutiert,
Vortragsfolien:
Frühjahrstreffen in Wien 2002
Der AK FTI Politik - hat im Juni 2002 gemeinsam mit der Plattform Evaluierung Forschung und Technologiepolitik -Österreich in Wien einen Workshop durchgeführt zum Thema:
Die Rolle von "Räten" in der FTI Politik: Politikberatung, Politikgestaltung, Politikevaluierung
Hintergrund: In einigen Ländern haben Räte sehr wichtige Funktionen bei der strategischen Orientierung von Technologiepolitik, was mit einer ganzen Reihe genauer zu analysierenden Vor- und Nachteile verbunden ist: größere oder kleinere Anfälligkeit des Systems gegenüber Lobbying, Neupositionierung der zuständigen Ministerien, Informationsasymetrien, Komplettierung oder auch Überdeterminierung des Policy Cycles, etc. Darüber hinaus gibt es klassischerweise zwei verschiedene Arten von Räten - zum einen die "Councils" wie wir sie z.B. aus U.K. her kennen, die eher die Funktion von Finanzierungsagenturen haben zum anderen die Politikberatungsfunktion wie etwa der deutsche Wissenschaftsrat oder auch der österreichische Rat für Forschung und Technologieentwicklung. Primäres Thema der Frühjahrstagung soll die Beratungsfunktion sein.Inhalte bzw. Leitfragen lauteten:
Nach einem einführenden Beitrag zum Thema: Internationaler Vergleich von "scientific advisory structures" (Susanne Bührer (Fraunhofer ISI, D) wurden vier Einzelfälle näher vorgestellt und diskutiert:
Jahrestagung in Speyer 2001
Der Workshop zur Jahrestagung hatte das Thema "Systemevaluation von Forschungseinrichtungen in Deutschland – Konsequenzen?"Zum Thema:
Seit den 1990er Jahren wurden in Deutschland vermehrt Forschungsinstitutionen als solche evaluiert. Im Dezember 1996 beschlossen die Regierungschefs von Bund und Ländern, als Teil einer Betrachtung der Bund-Länder-Forschungsfinanzierung die Evaluation aller gemeinsam finanzierten Forschungseinrichtungen zu veranlassen. Im Frühjahr 1999 schloss eine internationale Kommission eine „Systeme
Am 21. Mai veranstaltet der AK FTI sein Frühjahrstreffen zum Thema "Wirkungsmodelle als methodische Herausforderung in Evaluationen - Verhältnis von klassischen Evaluationen und anderen Zugängen zur Bewertung von Innovationspolitik" in den Räumen des Fraunhofer-Forum in Berlin.
Wir möchten einen intensiven Erfahrungsaustausch organisieren und sind daher an Ihrer aktiven Mitwirkung sehr interessiert. Wenn Sie gerade eine Evaluation bearbeiten oder abgeschlossen haben, bei der ein komplexes Wirkungsmodell explizit oder implizit verwendet wurde, oder wenn Sie interessante Methoden eingesetzt haben, die über die typische Methodik bei Evaluationen hinausgehen, würden wir uns über einen Vortragsvorschlag an das AK-Sprecherteam (s.u.) sehr freuen. Bitte schicken Sie uns eine entsprechende Mail bis zum 4. April.
Die Beiträge des Frühjahrstreffens 2008 zum Thema "Cluster- und Netzwerkevaluation"wurden in einer Broschüre des Arbeitskreises veröffentlicht, die hier online abgerufen werden kann.
Vorläufiges Programm
Herzliche Grüße vom Sprecherteam
Dr. Jan Wessels
VDI/VDE Innovation + Technik
Steinplatz 1
10623 Berlin
Tel.: 030-310078-229
Fax: 030-310078-216
Dr. Marianne Kulicke
Fraunhofer ISI
E-Mail:marianne.kulicke@isi.fraunhofer.de
Dr. Leo Wangler
VDI/VDE Innovation + Technik GmbH
E-Mail: Leo.Wangler@vdivde-it.de