Aktuelles

Die vierte Tagung des Arbeitskreises Demokratie (DeGEval), zum dritten Mal in Kooperation mit der PrEval Zukunftswerkstätten, setzte sich am 5. und 6. Juni 2025 in Berlin mit einer für die Demokratieförderung und Extremismusprävention zunehmend relevanten Frage auseinander: Welche Rolle kann und sollte Selbstevaluation in diesen Handlungsfeldern einnehmen? Die Veranstaltung am Deutschen Zentrum für Integrations- und Migrationsforschung (DeZIM) brachte Vertreter*innen aus Praxis, Wissenschaft, Evaluation und fördermittelgebenden Institutionen zusammen, um Erfahrungen auszutauschen und neue Ansätze zu diskutieren.

Zentrale Erkenntnisse und Diskussionsfelder

Monitoring der Selbstevaluation in der Praxis

Ein Schwerpunkt der Tagung lag auf der Präsentation aktueller Forschungsergebnisse zur Verbreitung und Nutzung von Selbstevaluationsmethoden in der Praxis. Ian Kattein und Andreas Uhl vom Institut für Interdisziplinäre Konflikt- und Gewaltforschung (IKG) stellten Ergebnisse einer bundesweiten Erhebung zu Evaluationskapazitäten vor. Diese zeigte auf, unter welchen Bedingungen Selbstevaluation als gewinnbringend wahrgenommen wird und wie die gewonnenen Erkenntnisse in der praktischen Arbeit Anwendung finden.

Die Studie verdeutlichte sowohl die Potenziale als auch die Herausforderungen, die Praktiker*innen bei der Implementierung von Selbstevaluationsverfahren erleben. Dabei wurde deutlich, dass Selbstevaluation längst nicht mehr nur als zusätzliche Belastung, sondern zunehmend als Chance für Qualitätsentwicklung und interne Lernprozesse verstanden wird.

Vielfältige Perspektiven aus der Praxis

Die Podiumsdiskussion mit Vertreter*innen verschiedener Organisationen bot einen facettenreichen Einblick in die praktische Anwendung von Selbstevaluationsmethoden. Pierre Asisi (ufuq.de) beleuchtete Herausforderungen in der historisch-politischen Bildung, während Toma El-Sarout (basa e.V.) praktische Erfahrungen aus der digitalen Jugendarbeit zum Klimawandel einbrachte. Svetla Koynova von Violence Prevention Network stellte interne wissenschaftliche Ansätze zur Selbstevaluation in der Extremismusprävention vor, ergänzt durch die Förderperspektiven von André Nagel (Bundeszentrale für politische Bildung), Timo Reinfrank (Amadeu-Antonio-Stiftung) und Dr. Anneli Rüling (BMFSFJ).

Die Diskussion machte deutlich, dass Selbstevaluation kontextspezifisch, bedarfsorientiert und an die Projektpraxis angelehnt entwickelt werden muss. Besonders die Frage nach der Balance zwischen externer Rechenschaftslegung sowie interner Qualitätssicherung und formativer Weiterentwicklung erwies sich als zentral.

Gelingensfaktoren und Gütekriterien

Dr. Susanne Giel vertiefte in ihrer Keynote die konzeptionellen Grundlagen erfolgreicher Selbstevaluationen. Sie betonte die Notwendigkeit klarer Begriffsbestimmungen und ordnete Selbstevaluation in den breiteren historischen Kontext von Evaluation und Qualitätsentwicklung ein. Besonders hervorzuheben sind die von ihr identifizierten Gelingensfaktoren: ausreichende zeitliche und personelle Ressourcen, methodische Kompetenzen, klare Zielsetzungen und eine Organisationskultur, die Lernen und Reflexion unterstützt.

Die Referentin warnte vor unrealistischen Erwartungen und machte deutlich, dass Selbstevaluation kein kostengünstiger Ersatz für externe Fremdevaluation sein kann, sondern vielmehr eine Ergänzung darstellt, die spezifische Vorteile bietet – insbesondere den direkten Zugang zu praxisrelevanten Informationen und die Möglichkeit kontinuierlicher Anpassungen.

Innovative Ansätze und Methoden

Demokratie-Index als Selbstevaluationstool

Ein besonders praxisrelevanter Ansatz wurde im Workshop zum Demokratie-Index vorgestellt. Dieses am Institut für Sozialarbeit und Sozialpädagogik entwickelte Instrument ermöglicht es Partnerschaften für Demokratie im Bundesprogramm "Demokratie leben!" ihre "demokratische Qualität" selbst zu bewerten. Das Tool bietet im Zusammenspiel von Fremd- und Selbstevaluation quantitative Vergleichsoptionen auf der Programmebene und kann für Benchmarking-Prozesse genutzt werden.

Digitale Herausforderungen und Lösungsansätze

Der Workshop zu digitalen Bildungs- und Präventionsprojekten beleuchtete die besonderen Potenziale und Herausforderungen der Wirkungsmessung im digitalen Raum. Auch eine im Rahmen der Evaluation des Bundesprogramms „Demokratie leben!“ entwickelte Indikatoren-Toolbox zur Selbstevaluation war Gegenstand der Betrachtung. Es wurde deutlich, dass traditionelle Evaluationsmethoden oft nicht ausreichen und innovative Ansätze entwickelt werden müssen, die den spezifischen Eigenschaften digitaler Interventionen gerecht werden.

Machtkritische Perspektiven

Der Workshop zur Auseinandersetzung mit machtkritischen Aspekten der Selbstevaluation problematisierte verschiedene Machtebenen: von der Verpflichtung zur Selbstevaluation durch Fördermittelgeber über interne Hierarchien bis hin zu der Frage, inwieweit Teilnehmende zur Mitwirkung an Evaluationen verpflichtet werden können. Diese Reflexion zeigte auf, dass Selbstevaluation nicht per se partizipativer oder emanzipatorischer ist als externe Evaluation, sondern bewusst gestaltet werden muss, um Machtverhältnisse nicht zu reproduzieren.

Besondere Zielgruppen und methodische Anpassungen

Evaluation von Polizeifortbildungen

Ein konkretes Beispiel für zielgruppenspezifische Anpassungen bot der Workshop zur Evaluation von Polizeifortbildungen. Hier wurde deutlich, wie Evaluationsinstrumente kontinuierlich weiterentwickelt und an die spezifischen Anforderungen der Zielgruppe angepasst werden müssen. Die Erfahrungen zeigten sowohl die Potenziale als auch die Grenzen standardisierter Evaluationsinstrumente auf.

Wirkkonzeption in der Selbstevaluation

Ein wichtiger Fokus der sekundären und tertiären Extremismusprävention liegt auf dem Vertrauensaufbau zu Klient*innen. Der Workshop zu Wirkkonzeptionen thematisierte diesen Aspekt als Wirkung und Wirkvoraussetzung, die etwa durch “Tagebuchnotizen“ für die Selbstevaluation genutzt werden können. In praktischen Übungen in Kleingruppensettings wurde erprobt, wie ein Beziehungsaufbau als Teil von Wirkanalysen untersucht werden kann. So wurde gezeigt, wie wichtig Wirkkonzeptionen von Maßnahmen für die Konzeption von Selbstevaluationen sind.

Der Workshop zur Arbeit mit vulnerablen Gruppen musste aus gesundheitlichen Gründen leider entfallen.

Herausforderungen und Ausblick

Die Tagung machte deutlich, dass trotz der positiven Entwicklungen im Bereich Selbstevaluation noch erhebliche Herausforderungen bestehen. Dazu gehören:

Ressourcenfragen: Selbstevaluation benötigt Zeit, Personal und methodische Kompetenzen. Viele Organisationen sind hier noch nicht ausreichend ausgestattet. Dabei sind praxisnahe Methoden und Ansätze zu entwickeln, die den Möglichkeiten der Zivilgesellschaft entsprechen und zugleich verwertbare Daten hervorbringen.

Qualitätssicherung: Wie kann Selbstevaluation in Projekten und Organisationen in kontinuierliche Qualitätssicherung sowie die formative Entwicklung von Ansätzen integriert werden? Hier sind in Projekten personelle und zeitliche Ressourcen und möglichst auch Unterstützungsstrukturen in Trägerorganisationen zu verankern, die hierzu Kontinuität ermöglichen.

Selbst- und Fremdevaluation: Wie können die Vorteile einer praxisnahen Selbstevaluation sinnvoll mit den Möglichkeiten von Fremdevaluation verbunden werden? Externe Evaluierende können systematische Qualifizierungen von Praktiker*innen in Selbstevaluationsmethoden und ggf. bei der Konzipierung eines selbstevaluativen Vorgehens unterstützen.

Berichtslegung: Wie können Erkenntnisse der Selbstevaluation über den internen Gebrauch hinaus nach außen und insbesondere an Fördereinrichtungen kommuniziert werden? Hierzu sollten Fördereinrichtungen klare Handreichungen und Unterstützung anbieten, damit Selbstevaluation mit realistischen Zielen verknüpft ist.

Wissenschaftliche Begleitung: Die Praxis ist der Wissenschaft oft voraus, was das Wissen über Wirkmöglichkeiten und -mechanismen betrifft. Evaluierende und Wissenschaft sollten befähigt werden, Wirkerkenntnisse aus der Praxis zu konzeptualisieren und sowohl in Handreichungen für die Praxis als auch wissenschaftliche in Fachpublikationen zu veröffentlichen.

Fazit

Die Tagung machte deutlich, dass Selbstevaluation dann erfolgreich ist, wenn sie als integraler Bestandteil von Projektpraxis und Qualitätsentwicklungsprozessen verstanden und entsprechend mit Ressourcen ausgestattet wird. Die Vielfalt der vorgestellten Ansätze zeigt, dass es nicht die eine richtige Methode gibt, sondern dass kontextspezifische Lösungen entwickelt werden müssen, die den jeweiligen Zielen, Zielgruppen, Projektansätzen und Rahmenbedingungen gerecht werden. Dabei sind kontinuierliche Kooperationen und Wissenstransfer zwischen Praxis und Evaluationsforschung zentral, um Kompetenzen und Erkenntnisse gemeinsam weiterentwickeln und auf neue Bedarfe anpassen zu können.

Tagung von AK Demokratie und PrEval „Sollten wir die Demokratie(-förderung) und ihre Evaluation automatisieren?“ Haus der Leibniz-Gemeinschaft, 3.-4. Juni 2024

Am 3. und 4. Juni 2024 fand in Kooperation mit dem Verbundprojekt PrEval – Zukunftswerkstätten, Evaluation und Qualitätssicherung in der Extremismusprävention, Demokratieförderung und politischen Bildung die Frühjahrstagung des AK Demokratie der Deutschen Gesellschaft für Evaluation (DeGEval) statt. Im Haus der Leibniz-Gemeinschaft in Berlin fanden sich Evaluator*innen, Wissenschaftler*innen, Zivilgesellschaft, Vertretungen von Bundesministerien und weitere Interessierte ein, insgesamt rund 60 Personen, um über die Rolle von Künstlicher Intelligenz (KI) in der Evaluation zu diskutieren. Im Zentrum der Tagung standen die Fragen, ob KI die Demokratie(-förderung) stärken kann und wie sie für deren Evaluation einsetzbar ist. Über zentrale Inputs und interaktive Formate wurden KI- Erhebungsmethoden und Ansätze des Wissenstransfers, politische und ethische Herausforderungen, die mit dem Einsatz von KI einhergehen sowie Fragen des Datenschutzes erörtert. Ziel der Tagung war es, unter Berücksichtigung der Risiken herauszuarbeiten, welche neuen Möglichkeiten die KI für die Evaluation und die Demokratie(-förderung) bereithält.

Nach einleitenden Begrüßungen durch PD Dr. Rainer Strobl (proVal, für die Sprecher*innen des AK Demokratie) und Dr. J. Olaf Kleist (DeZIM-Institut, für die PrEval Zukunftswerkstätten) begann die Tagung mit einer Diskussionsrunde zum Einfluss der KI auf die Demokratie. Rainer Rehak (Weizenbaum-Institut) erläuterte die verschiedenen Arten von KI und ihre Anwendungslogiken, um einerseits einer Überschätzung ihrer Möglichkeiten zu widersprechen und andererseits die Notwendigkeit ihrer Regulierung zu betonen. Dr. Katja Muñoz (Deutsche Gesellschaft für Auswärtige Politik) fokussierte kritisch den Einsatz von KI für Desinformation und die Möglichkeit der Manipulation demokratischer Wahlen und Prozesse, während Dr. Deborah Schnabel (Bildungsstätte Anne Frank) die neuen Möglichkeiten der politischen Bildung hervorhob - etwa durch den Einsatz von Bots oder „Hologrammen“ anstelle von Zeitzeugen - aber auch vor Verstärkung von Rassismus und Antisemitismus durch antidemokratische Akteure warnte. Dr. Anneli Rüling (BMFSFJ) verwies auf die vielfältigen, potenziellen Anwendungen von KI im Bundesfamilienministerium, z.B. in der Forschung und der Demokratieförderung, um Daten erfassen und auswerten zu können, nicht ohne jedoch auf datenschutzrechtliche Einschränkungen und halluzinierende Gefahren hinzuweisen. In der anschließenden Diskussion bestand Einigkeit darüber, dass die KI in alle Bereiche von Verwaltungen und politischer Bildung vordringen wird, Sinn und Zweck aber in jedem Einzelfall hinterfragt werden muss, zumal teils nicht absehbare Folgen damit verbunden sind. So müssten KI-Anwendungen eben evaluiert und analog einer kritischen Mediennutzung der Umgang mit KI gelernt und gelehrt werden.

Im zweiten Teil der Tagung stellten verschiedene Arbeitsgruppen der PrEval-Zukunftswerkstätten erste Überlegungen vor. Anknüpfend an die Podiumsdiskussion präsentierte Marcus Kindlinger (Universität Duisburg-Essen/ PrEval) Überlegungen zu einem Monitoring von KI-Verständnis (Literacy) und stellte dafür verschiedene Kriterien vor, die für einen bewussten Umgang mit der Technik - insbesondere für Jugendliche und im Bereich der Bildung - nötig sind. Anschließend fragten Svetla Koynova (PrEval/ Violence Prevention Network) und Moritz Lorenz (PrEval/ i-unito) in einem interaktiven Format, inwiefern ChatGPT dabei helfen kann, ein Evaluationskonzept zu erstellen. Die mit Prompts erfragten Ergebnisse, so der Kanon, waren durchaus richtig, aber für die Durchführung und sinnvolle Anwendung zu ungenau und zu unspezifisch: Ohne gute Kenntnisse von Evaluation war eine allgemeine generative KI nicht nutzbar. KI kann diese Arbeit zwar nicht entsprechend ausführen, aber hilfreiche Assistenzfunktionen übernehmen.

In der abendlichen, von Irina Bohn (ISS/ AK Demokratie) moderierten Keynote spannte Linda Raftree (MERL Tech Initiative) einen breiten Rahmen auf: KI-Arten und Vorstellungen über diese, ihre kommerzielle Verarbeitung von KI-Daten bis hin zu Anwendungsbeispielen in der Evaluation wurden erläutert, um ethische Risiken und Einschränkungen aufzuzeigen. Die anschließende Debatte thematisierte dann die Implikationen von KI-Daten, ihrer gesellschaftlichen Nutzung und ihrer Entwicklungspotentiale. Raftree stellte klar, dass die Nutzung von KI in der Evaluation noch ganz am Anfang stehe und hier Kollaborationen jenseits etablierter Tech-Giganten notwendig seien, um gemeinsam das demokratische und ethische Potential der KI für Evaluationen herauszuarbeiten und anzuwenden.

Der zweite Tag begann nach einer Begrüßung durch Dr. Mirjam Weiberg (DeZIM-Institut/ AK Demokratie) mit Vorträgen zur Erhebung von (Evaluations-)Daten mittels KI. Kai Rompczyk (Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit) zeigte anhand der Evaluation von entwicklungspolitischen Projekten, wie eine automatische Kategorisierung durch KI transparent gestaltet wurde. Ein Instrument zur assestierten Auswertung qualitativer Interviews stellte Dr. Susanne Friese (Founding director of Queludra / Max-Planck-Institut zur Erforschung multireligiöser und multiethnischer Gesellschaften) vor, um zu zeigen, wie dabei Fallstricke umgangen und durch flexible Codierung verschiedenen Fragstellungen am gleichen Material bearbeitet werden können. Dimitar Dimitrov (GESIS) führte die Möglichkeit der Nutzung von Big Data durch KI aus, am Beispiel von Tweets während der COVID-Pandemie und ihres Bezugs auf wissenschaftliche Studien, um die Qualität öffentlicher Debatten zu steigern. In der anschließend von Simon Müller (DeZIM-Institut/ PrEval) moderierten Diskussion, waren sich die Präsentierenden einig, dass der Einsatz von KI für die Sozialforschung noch in Pilotphasen stecke, aber großes Potential besitze, Datenmengen und damit auch Fragestellungen zu bearbeiten, die bisher nicht in Betracht gezogen wurden. In dem abrundenden Vortrag zum Datenschutz bei der Nutzung von KI zog Dr. Susanne Friese eine positive Bilanz anhand der Nutzungsbedingungen und Verarbeitung von Daten durch KI-Anbieter und -Plattformen, zumindest sofern die richtigen Einstellungen und Tools benutzt würden. In den Nachfragen wurde jedoch auch Skepsis laut, inwiefern Zusagen von Tech-Firmen und die Intransparenz von KI-Systemen vertrauenswürdig seien, nicht zuletzt da hier ein offener Graubereich zwischen legalem und ethischem Datenschutz bestehe.

Zum Abschluss der Tagung präsentierte Prof. Dr. Jan Hense, moderiert von PD Dr. Rainer Strobl (AK Sprecher*innenteam / proVal), in seiner Keynote die Überlappung von KI und den vielfältigen Aufgaben von Evaluierenden. Er gab einen Einblick in die Funktionsweise von Large Language Models (LLM) und ging dann entlang von Erhebungen und Studien der Frage nach, womit Evaluierende beschäftig seien. Das Ziel solle sein, Funktionen von KI und Aufgaben von Evaluationen in einer angedachten Matrix zusammen zu bringen: Wo und wie könnten KI-Anwendungen zukünftig hilfreich sein. Dabei betonte er, dass KI weniger die Arbeit und Verantwortung der Evaluation übernehmen könne, sondern dass sie vielmehr Hilfsmittel seien. Dies führte nicht nur zu Diskussionen darüber, wo die Kompetenzen von Evakuierenden liegen, sondern auch darüber, ob die Verantwortung letztlich nicht bei den Auftraggebenden liegen solle und diese mit passenden KI-Instrumenten Evaluationen daher selbst durchführen könnten. Am Ende bestätigte sich der Titel des Vortrags: „Vorhersagen sind schwer, vor allem, wenn sie die künstliche Intelligenz betreffen.“

Insgesamt konnte die Tagung einen Einblick in den aktuellen Stand im Themenfeld KI-Demokratie(-förderung) und Evaluation geben, zu Überlegungen und Diskussionen anregen und die Relevanz der KI für zukünftige Evaluationen zumindest vorsichtig unterstreichen.