Call for Proposals
Ihr Beitrag für die 30. DeGEval-Jahrestagung (gemeinsam mit der SEVAL)!
Towards a new era or back to the roots
The discussions about artificial intelligence (AI) have triggered fantasies about the future all around the globe. However, there is currently no doubt that general AI does not yet exist. Although tremendous progress has been made, the development of an artificial generalized intelligence is yet to come. This also means that currently large language models, machine learning, or processes of automation dominate actual debates and developments, which underlines that it is important to be specific about which AI applications individuals talk about.
Beyond this, the first honeymoon of these and related developments and human interaction seems to be over. Algorithms that have learned to discriminate, social media that seems to be connected with psychological problems and paradoxically with increased isolation, large language models that hallucinate, and an internet that has not fulfilled its promises of making the world a freer and more equal place.
In these discussions evaluation plays an eminent role for several reasons. AI and evaluation seem to be a promising combination as they combine machine and human ambitions to learn. At first glance, one could argue that AI sooner or later will make evaluation obsolete because if there are self-learning and optimizing software systems, processes, machines etc., it seems hard to believe why evaluation should further exist.
However, this would lead to some well-known problems and challenges. For example, it would mean that AI sooner or later evaluates itself, but there is no reason to assume that AI evaluates itself on a neutral basis, as research has already shown that, for instance, large language models tend towards pleasing people. Hence, why should we assume that algorithms will not be able to create socially or AI-desired results? This leads to another challenge: what if there are constellations in which AI tools evaluate other AI tools or in which humans evaluate AI tools (etc.)? There is no guarantee that a common or mutual understanding exists. It is even unclear if it is acceptable from a normative point of view that AI tools evaluate humans and human behavior (e.g. in fields of childcare, education, care etc.).
In sum, the combination of AI and evaluation is linked to many different questions that range from simple practical challenges such as how to integrate AI tools into evaluation to questions of data security and data protection, to normative questions about the role of AI and humans in modern society, to empirical questions about the intended but also the unintended effects of AI tools on human beings in evaluation processes, on organizations or procedures (etc.).
The joint annual conference of SEVAL and DeGEval 2027 in Freiburg will deal with this topic. The topical direction of the annual conference combines the many strands about AI and evaluation that have been discussed in single sessions or in spring conferences of various working groups and even within the newly founded ad hoc group in spring 2026. Thus, it aims to set the stage for a global overview of the state and the further development of evaluation in the digital age. To deepen these discussions, the annual conference welcomes contributions which address the following questions:
- How does AI affect evaluation routines, professionalization of evaluation and standards of evaluation?
- Which myths evolve around AI applications (e.g. in terms of saving resources)?
- What are the lessons learned about the intended and unintended consequences of AI use in evaluations?
- What are ethical problems of AI use in evaluations?
- How does AI-supported work in evaluation projects look, and which forms of interaction are used (from human-in-the-loop towards evaluative AI that assesses other AI applications)?
- In how far have AI applications changed the expectations of clients and evaluators?
- Which theoretical concepts are used to integrate AI applications and humans in evaluation settings?
Idea-Workshop
- Which AI tools have changed your evaluation practices significantly and why?
- What is your most relevant prompt and why?
- Which recommendations would you like to give to other evaluators in order to avoid some hard lessons learned?
We cordially invite you to actively participate in the discussion in Freiburg and to present your contribution at the annual conference.
- Submissions on the conference topic relate to aspects of the above-mentioned topic area “Evaluation and AI” and deal with them scientifically, reflectively, or practically and from a perspective that is as interdisciplinary and cross-policy as possible.
- General submissions: Other contributions related to evaluation that meet the review criteria and do not directly relate to the conference theme are also explicitly welcome.
Submissions will be accepted starting November 10, 2026, via the DeGEval conference management system (www.conftool.com/degeval2027). The following presentation formats are available in German, French or English:
- Lightning talk: A lightning talk presents an ongoing or completed research or practical project with its innovative aspects or novel questions in a way that is as easy to understand as possible. A lightning talk session consists of up to ten five-minute lightning talks, followed by three minutes of questions.
- Individual presentation: Individual presentations take a practical, reflective, and/or scientific look at topics relevant to evaluation. Preference will be given to contributions in this category with a theoretical, methodical, or methodological focus or on research on evaluation. If specific evaluation studies or projects are presented, the focus should be on the evaluation level and the subject level should only be addressed as necessary. Each presentation is usually allocated 20 minutes plus 10 minutes for discussion. Individual presentations are grouped into thematic sessions (max. 3 presentations per session).
- Complete session: Complete sessions (90 minutes) can be designed as lecture sessions, panel discussions, workshops, or in other forms. Abstracts should include a description of the planned session as well as all participating contributions and individuals (sessions with “NN” participation are generally not accepted). For lecture sessions, brief summaries of the individual presentations must be submitted, and the participants in discussion panels, including moderators, must be named. Please submit these together as a single submission. Since policy-specific sessions are usually already organized by the respective DeGEval working groups, some of which issue their own calls for papers, preference will be given to sessions that clearly demonstrate a cross-policy perspective.
Please submit your abstract with a maximum of 2,500 characters including spaces (for complete sessions with a maximum of 5,000 characters) by March 9, 2027 (final deadline without extension!) via our conference management system (www.conftool.com/degeval2027) and follow the instructions for submission. All submissions will be reviewed anonymously. The following criteria will be primarily used to decide on acceptance:
- Relevance of the topic
- Substantive and methodological quality
- Clarity of the abstract (research question, methodology, main arguments)
- Clearly identifiable focus on evaluation aspects
- Subject-specific relevance / connection to the current state of the discussion in the field of evaluation
- Innovative content
- Cross-policy perspective
- Connection to the conference theme (only for contribution category 1)
You will be notified of the acceptance of your contribution by June 1, 2027. Further information on the conference can be found here.
Contact:
DeGEval – Gesellschaft für Evaluation e. V. (German Evaluation Society)
An der Trift 40
66123 Saarbrücken, Germany
Mobile: +49 (0) 152 56123078
Email: info@degeval.org
Call for Proposals
Die Diskussionen über Künstliche Intelligenz (KI) haben weltweit Fantasien über die Zukunft geweckt. Bislang besteht jedoch kein Zweifel daran, dass es derzeit keine allgemein einsetzbare KI gibt. Obwohl enorme Fortschritte erzielt worden sind, steht die Entwicklung einer allgemein einsetzbaren Künstlichen Intelligenz noch bevor. Das bedeutet auch, dass aktuell große Sprachmodelle, maschinelles Lernen oder Automatisierungsprozesse die Debatten und Entwicklungen dominieren, weshalb es wichtig ist, genau zu spezifizieren, über welche KI-Anwendungen jeweils gesprochen wird.
Darüber hinaus scheint die anfängliche Euphorie rund um diese und damit verbundene Entwicklungen sowie die Mensch-Maschine-Interaktion vorbei zu sein. Zu nennen sind hier Algorithmen, die gelernt haben, zu diskriminieren, soziale Medien, die offenbar mit psychischen Problemen und paradoxerweise mit zunehmender Vereinsamung in Verbindung stehen, große Sprachmodelle, die halluzinieren, und ein Internet, das sein Versprechen, die Welt zu einem freieren und gerechteren Ort zu machen, nicht eingelöst hat.
In diesen Diskussionen spielt Evaluation aus mehreren Gründen eine herausragende Rolle. KI und Evaluation scheinen sich vielversprechend zu ergänzen, da sie das Streben nach Lernen sowohl von Maschinen als auch von Menschen zusammenführen. Auf den ersten Blick könnte man argumentieren, dass KI die Evaluation früher oder später überflüssig machen wird, denn wenn es selbstlernende und sich selbst optimierende Softwaresysteme, Prozesse, Maschinen usw. gibt, scheint es schwer vorstellbar, warum Evaluation weiterhin notwendig sein sollte.
Dies würde jedoch zu einigen bekannten Problemen und Herausforderungen führen. So würde es beispielsweise bedeuten, dass KI sich früher oder später selbst evaluiert, doch es gibt keinen Grund anzunehmen, dass dies auf neutraler Basis geschieht, da Untersuchungen bereits gezeigt haben, dass beispielsweise große Sprachmodelle dazu neigen, Menschen zu gefallen. Warum sollten wir also davon ausgehen, dass Algorithmen nicht in der Lage sein werden, Ergebnisse zu erzielen, die gesellschaftlich oder aus Sicht der KI erwünscht sind? Daraus ergibt sich eine weitere Herausforderung: Was passiert, wenn KI-Tools andere KI-Tools evaluieren oder wenn Menschen KI-Tools evaluieren (usw.)? Es gibt keine Garantie für ein gemeinsames oder gegenseitiges Verständnis. Es ist sogar unklar, ob es aus normativer Sicht akzeptabel ist, dass KI-Tools Menschen und menschliches Verhalten bewerten (z. B. in Bereichen wie Kinderbetreuung, Bildung, Pflege usw.).
Zusammenfassend lässt sich sagen, dass die Verbindung von KI und Evaluation mit vielen verschiedenen Fragen verbunden ist, die von einfachen praktischen Herausforderungen – wie beispielsweise der Integration von KI-Tools in die Evaluation – über Fragen der Datensicherheit und des Datenschutzes bis hin zu normativen Fragen zur Rolle von KI und Menschen in der modernen Gesellschaft sowie empirischen Fragen zu den beabsichtigten, aber auch unbeabsichtigten Auswirkungen von KI-Tools auf Menschen in Evaluationsprozessen, auf Organisationen oder Prozesse (usw.) reichen.
Die gemeinsame Jahrestagung von DeGEval und SEVAL 2027 in Freiburg wird sich mit diesem Thema befassen. Die thematische Ausrichtung der Jahrestagung bündelt die zahlreichen Diskussionen zu KI und Evaluation, die bereits in einzelnen Veranstaltungen oder auf Frühjahrstagungen verschiedener Arbeitskreise sowie im Rahmen der im Frühjahr 2026 neu gegründeten Ad-hoc-Gruppe geführt wurden. Damit soll die Grundlage für einen umfassenden Überblick über den aktuellen Stand und die weitere Entwicklung der Evaluation im digitalen Zeitalter geschaffen werden. Um diese Diskussionen zu vertiefen, freuen wir uns für die Jahrestagung über Beiträge, die sich mit folgenden Fragen befassen:
- Wie wirkt sich KI auf Evaluationsabläufe, die Professionalisierung der Evaluation und Evaluationsstandards aus?
- Welche Mythen ranken sich um KI-Anwendungen (z. B. hinsichtlich der Ressourceneinsparung)?
- Welche Erkenntnisse gibt es hinsichtlich der beabsichtigten und unbeabsichtigten Folgen des Einsatzes von KI in Evaluationen?
- Welche ethischen Probleme ergeben sich aus dem Einsatz von KI in Evaluationen?
- Wie sieht KI-gestützte Arbeit in Evaluationsprojekten aus, und welche Formen der Interaktion kommen zum Einsatz (von „Human-in-the-Loop“ bis hin zu evaluativer KI, die andere KI-Anwendungen bewertet)?
- Inwieweit haben KI-Anwendungen die Erwartungen von Auftraggebenden und Evaluierenden verändert?
- Welche theoretischen Konzepte werden genutzt, um KI-Anwendungen und Menschen in Evaluationskontexten zu integrieren?
Ideen-Workshop
- Welche KI-Tools haben Ihre Evaluierungspraktiken erheblich verändert und warum?
- Was ist Ihr wichtigster Prompt und warum?
- Welche Empfehlungen möchten Sie anderen evaluierenden Personen geben, um schwierige Lektionen zu vermeiden?
Wir laden Sie herzlich ein, an der Diskussion in Freiburg aktiv teilzunehmen und Ihren Beitrag auf der Jahrestagung vorzustellen. Sie können Vorschläge zu zwei Beitragskategorien einreichen, die im Programm entsprechend ausgewiesen sein werden:
- Einreichungen zum Tagungsthema beziehen sich auf Aspekte des oben umrissenen Themenbereichs "Evaluation and AI" und setzen sich mit ihnen wissenschaftlich, reflexiv oder praktisch und aus einer möglichst fach- und politikfeldübergreifenden Perspektive auseinander.
- Allgemeine Einreichungen: Explizit sind auch andere Beiträge mit Evaluationsbezug willkommen, die den Begutachtungskriterien entsprechen und sich nicht direkt auf das Tagungsthema beziehen.
Die Beitragseinreichung wird ab dem 10. November 2026 über das Konferenzverwaltungssystem der DeGEval (www.conftool.com/degeval2027) möglich sein. Zur Wahl stehen folgende Beitragsformate in deutscher, englischer oder französischer Sprache:
- Blitzvortrag: In einem Blitzvortrag wird ein noch laufendes oder bereits abgeschlossenes Forschungs- oder Praxisprojekt mit seinen innovativen Aspekten oder neuartigen Fragestellungen auf möglichst allgemein verständliche Weise dargestellt. Eine Blitzvortragssession besteht aus bis zu zehn fünfminütigen Blitzvorträgen, an die sich je drei Minuten Fragen anschließen.
- Einzelvortrag: In Einzelvorträgen werden evaluationsrelevante Themen praktisch, reflexiv und/oder wissenschaftlich betrachtet. Bevorzugt werden in dieser Kategorie Beiträge mit einem theoretischen, methodischen oder methodologischen Fokus oder zur Forschung über Evaluation. Wenn konkrete Evaluationsstudien oder -projekte vorgestellt werden, sollte der Schwerpunkt auf der Evaluationsebene liegen und die Gegenstandsebene nur soweit erforderlich thematisiert werden. Für einen Vortrag stehen üblicherweise 20 Minuten plus 10 Minuten Diskussionszeit zur Verfügung. Einzelvorträge werden zu thematischen Sessions zusammengestellt (max. 3 Vorträge pro Session).
- Komplette Session: Komplette Sessions (90 Minuten) können als Vortragssession, als Podiumsdiskussion, Workshop oder in anderer Form konzipiert sein. Abstracts umfassen hier die Beschreibung der geplanten Session sowie aller beteiligten Beiträge und Personen (Sessions mit „NN“-Beteiligung werden in der Regel nicht akzeptiert). Bei einer Vortragssession sind kurze Inhaltsangaben der einzelnen Vorträge mit einzureichen sowie die Beteiligten bei Diskussionspanels inklusive Moderation zu benennen. Bitte reichen Sie diese dann gesammelt als einzelne Einreichung ein. Da politikfeldspezifische Sessions in der Regel bereits von den jeweiligen Arbeitskreisen der DeGEval gestaltet werden, zu denen teils eigene Calls erfolgen, werden Sessions bevorzugt, die eine klar politikfeldübergreifende Perspektive aufweisen.
Bitte reichen Sie Ihren Abstract mit max. 2.500 Zeichen inklusive Leerzeichen (für komplette Sessions mit max. 5.000 Zeichen) bis zum 9. März 2027 (finaler Termin ohne Verlängerung!) über unser Konferenzverwaltungssystem (www.conftool.com/degeval2027) ein und beachten Sie dort die Hinweise zur Einreichung. Alle Beiträge werden in einem anonymen Review-Verfahren begutachtet. Folgende Kriterien werden beim Entscheid über die Annahme primär herangezogen:
- Relevanz des Themas
- Inhaltliche und methodische Qualität
- Nachvollziehbarkeit des Abstracts (Problemstellung, Vorgehen, Hauptargumente)
- Klar erkennbarer Fokus auf Evaluationsaspekte
- Fachspezifische Aktualität / Bezug zum aktuellen Stand der Diskussion im Evaluationsfeld
- Innovationsgehalt
- Politikfeldübergreifende Perspektive
- Bezug zum Tagungsthema (nur bei Beitragskategorie 1)
Sie werden bis zum 1. Juni 2027 über die Beitragsannahme informiert. Nähere Informationen zur Tagung finden Sie hier.
Kontakt:
DeGEval – Gesellschaft für Evaluation e. V.
An der Trift 40
66123 Saarbrücken
Mobil: +49 (0) 152 56123078
E-Mail: info
@degeval.org