Die Entwicklung von Künstlicher Intelligenz (KI) hat das Potential, den Berufsstand der Evaluation stark zu verändern. In der Evaluationsforschung ist das Thema aber gerade erst im Begriff, größere und regelmäßigere Aufmerksamkeit zu erlangen – unter anderem ausgelöst durch den Hype um Large Language Models wie den Text Roboter Chat GPT. In einer gemeinsamen Session „Alles ChatGPT oder was? – Chancen und Herausforderungen Künstlicher Intelligenz (KI) in der Evaluation“ setzten sich die beiden DeGEval-Arbeitskreise „Methoden in der Evaluation“ und „Professionalisierung“ mit den Chancen und Herausforderungen des Einsatzes von KI in der Evaluierungsarbeit und für Evaluierende auseinander.
Ausgehend von dem großen Interesse und positiven Feedback zur Session haben die Veranstalter:innen Alexander Kocks und Franziska Heinze vom AK Methoden sowie Jessica Prigge vom AK Professionalisierung entschieden, zu einem digitalen Follow-Up-Austausch am Dienstag, 28.11.2023 um 17:00 bis 18:30 Uhr einzuladen. Alle Interessierten – auch diejenigen, die nicht an der Session teilnehmen konnten – sind herzlich willkommen, weiter über das Thema zu diskutieren! Beim ersten Treffen soll ausgelotet werden, wie weitere Formen des Austausches (z.B. Diskussionsforen), der Information (z.B. über Einblicke in die Arbeit mit KI; Erfahrungsberichte) und Zusammenarbeit (z.B. zur Frage von Leitlinien im Umgang mit KI in der Evaluation) aussehen und organisiert werden können. Interessierte melden sich gern bis zum 24.11.2023 unter der Emailadresse ak-methoden@degeval.org, um einen Zugangslink zu erhalten.
Für diejenigen, die nicht bei der Session dabei sein konnten, findet sich untenstehend eine Zusammenfassung über Inhalte und Diskussionen sowie die offizielle Sessiondokumentation:
Session: „Alles ChatGPT oder was? – Chancen und Herausforderungen Künstlicher Intelligenz (KI) in der Evaluation“ auf der DeGEval-Jahrestagung 2023
Mit einem Kurzinput wurde in der sehr gut besuchten Session (90 Teilnehmende) zunächst ein gemeinsames Verständnis darüber hergestellt, was unter KI zu verstehen ist und reflektiert, wie und unter welchen Bedingungen KI in der Evaluation zur Anwendung kommen kann. In seinem Impulsvortrag „Künstliche Intelligenz (KI) in der Evaluierungspraxis – von der technologischen Revolution in den Arbeitsalltag“ beleuchtete Kai Rompczyk, Deutsches Evaluierungsinstitut für Entwicklungszusammenarbeit (DEval), die jüngsten Fortschritte in dem Bereich KI, insbesondere die Entwicklungen von Sprachmodellen wie ChatGPT. Mit der Erfindung des Prinzips autonom lernender und handelnder KIs, gesteigerter Rechenleistung und Datenverfügbarkeit (Big Data) sowie sinkender technischer Kosten ist die Implementierung von KIs in unterschiedlichsten Anwendungsbereichen möglich geworden und verbreitet sich rasant. In immer mehr Teilbereichen übersteigen die KIs dabei die Kompetenzen von Menschen. Rompczyk demonstrierte die Nutzungsmöglichkeiten von KIs anhand von Beispielen wie automatisierte Aufbereitung von Evidenz, Qualitätssicherung oder Durchführung von statistischen Analysen (z.B. Regressionsanalysen). Dabei machte er deutlich, dass der Einsatz von KIs in allen Evaluierungsphasen nützlich sein kann. Ein großer Mehrwert bestehe darin, dass KIs unzählige Iterationen von analytischen Aufgaben aus unterschiedlichsten Perspektiven durchführen können. Abschließend wies er auf die Risiken der KI in der Evaluierungspraxis hin. Er betonte die wachsende Spannung zwischen Big Data und Datenschutz und fragte, ob die aktuellen Methoden zum Schutz sensibler Daten noch ausreichend sind. Er warnte vor Verzerrungen und Vorurteilen, die durch die Trainingsdaten entstehen können, und der Gefahr der Intransparenz durch die Blackbox-Natur vieler KI-Modelle. Rompczyk sprach auch die Herausforderungen an, die sich aus scheinbar menschlichen Kompetenzen mit nichtmenschlichen Fehlern ergeben, und die potenzielle Erosion des Vertrauens in etablierte Wissensnetzwerke durch den Einsatz von KI-Technologien wie Deepfakes. Er betonte schließlich die Notwendigkeit bei der Verwendung von KIs in der Evaluierungspraxis die Einhaltung von Evaluierungsstandards zu überprüfen.
Davon ausgehend ermöglichte die Session einen strukturierten Austausch in Kleingruppen zu Chancen und Risiken des Einsatzes der Technologien mit Blick auf zentrale Evaluationsstandards (Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit) sowie zur Frage, was der Einsatz von KI für unsere Professionalität und weitere Professionalisierung als Evaluierende bedeutet. Die Ergebnisse wurden anschließend im Plenum zusammengetragen:
Zahlreiche Chancen und Potenziale von KI wurden genannt. Angesichts voranschreitender technischer Entwicklungen und sich zunehmend verbessernden Leistungen von KI-Lösungen wurden viele Vorteile mit Bezug zu Nützlichkeitsstandards gesehen (z.B. Berichterstattung, umfangreichere Datenanalysen, Rechtzeitigkeit). Weitere Potenziale wurden hinsichtlich der systematischen (Fehler-)Überprüfung und Genauigkeit von Datenauswertungen, bezogen auf Automatisierungs- und damit einhergehende Kostenvorteile oder in Bezug auf Möglichkeiten der systematischen Anonymisierung oder Zugänglichkeit von Evaluationsergebnissen (Fairnessstandards) betont.
Herausforderungen von KI wurden z.T. sehr grundsätzlich diskutiert, ohne dass bereits Lösungen gefunden worden wären. Dies betrifft beispielsweise das Verhältnis von menschlicher und Algorithmen-basierter Erkenntnis oder im Anschluss an den Kurzinput die mit der Anwendung von KI einhergehende Intransparenz, die zur Einschränkung des Datenschutzes und der Nachvollziehbarkeit von Ergebnissen führen kann.
Für den Umgang mit den benannten Herausforderungen wurden erste Lösungen vorgeschlagen, die sich vor allem auf Weiterbildungs- und Schulungsbedarfe, Erfahrungsaustausch, technische Lösungen (z.B. lokales Hosting) oder die Verständigung auf die Gültigkeit von Evaluationsstandards (Transparenz, Datenschutz, Möglichkeiten und Limitationen der Technologien kennen) bezogen.
Im Hinblick auf die Evaluation als Profession wurden Folgen für das Berufsfeld antizipiert, beispielsweise Risiken in der „Wegrationalisierung“ menschlicher Arbeit, sinkende Kompetenzen und Glaubwürdigkeit von Evaluierenden oder eine Stärkung größerer Evaluierungsinstitutionen. Außerdem wurden Bedarfe der Fort- und Weiterbildung in Evaluation formuliert einerseits zur konkreten Anwendung (wie Prompts schreiben), andererseits wird ein reflexiver Umgang mit KI eingefordert (z.B. „Fehlerquellen antizipieren“) und sie dabei auch selbst zum Evaluationsgegenstand gemacht.
Gemeinsam wurde ausblickend der Frage nachgegangen, was es braucht, um Evaluation bzw. Evaluierende im Umgang mit Chancen und Herausforderungen von KI zu stärken. Vorschläge gingen einerseits in die Richtung, Erfahrungsaustausch zu stärken und zu fördern, eine Ad hoc-Gruppe einzurichten sowie vor allem die (Selbst-)Vergewisserung im Umgang mit Ansprüchen der Evaluationsstandards im Hinblick auf Chancen, Herausforderungen und Professionalisierungsanforderungen zu stärken.
