Ergebnisprotokoll der vierten Sitzung Arbeitsgruppe zur Ethik in der                  Evaluation am 20.05.2011 in Saarbrücken

Beginn: 13:00Uhr – Ende: 

Tagesordnung / Verlauf:

TOP 1:   Bericht zu den Arbeitsergebnissen der Unterarbeitsgruppen

UAG 1:                Niemand anwesend, der die Ergebnisse der Arbeitsgruppe präsentieren kann.

UAG 2:                 EES Podiumsdiskussion zum Thema mit internationalen Kollegen (Diskussionsgrundlage: Thema Unabhängigkeit in anderen Nationen). Thema Unabhängigkeit hat sehr unterschiedliche Konnotationen, basierend auch auf kultureller Varianz. Anstoß für 10 Experteninterviews mit internationalen Evaluatoren – konnte noch nicht realisiert werden.

TOP 2:   Erarbeitung einer Beschlussvorlage an die DeGEval-Mitgliederversammlung

Hintergrund: 2009 wurde vor der Mitgliederversammlung der Antrag auf die Einrichtung einer Ethikkommission gestellt. Die Arbeitsgruppe Ethik beschäftigt sich seither mit den Fragen bezüglich Durchführbarkeit und Umsetzung dieser Forderung.

Vor der Gründung einer Ethikkommission ergeht der Vorschlag an die Mitgliederversammlung, einen Code of Conduct zu entwickeln.

 Abstimmung: Die Anwesenden befürworten einstimmig den Vorschlag, den formulierten Text für die Beschlussvorlage der Mitgliederversammlung vorzulegen.
 
TOP 3:   Planung der Sitzung der Ethik-AG auf der DeGEval-Jahrestagung in Linz

Erstes organisatorisches Meeting am Vormittag nach der Mitgliederversammlung. Zeit-Slot für die Sitzung / Diskussion der AG steht noch nicht endgültig fest.

Inhaltliche Themenvorschläge (für die Beantragung von Time-Slots):

-          Grenzen von Partizipation? Wie weit darf sie gehen, um Unabhängigkeit und Wissenschaftlichkeit nicht zu gefährden?
-          Grenzen der Partizipation in der Evaluation?
-          Inwieweit darf man sich in Abhängigkeit von Zielgruppen begeben? Wo muss man sich abgrenzen?
-          Ist es unethisch, bestimmte Zielgruppen auszuschließen und sie als „Datenträger“‘ zu instrumentalisieren?
-          Die Begründung nicht-partizipativen Vorgehens.
-          Was ist schon eine Selbstevaluation? Ab wann ist etwas eine Evaluation und wann nicht?
-          Ethische Anforderungen an partizipativ angelegte Evaluation 

Form: Podiumsdiskussion / Streitgespräch mit Experten verschiedener Felder

Titel des Slots:   Zur Ethik der Zielgruppenbeteiligung in der Evaluation.

Teilnehmer für die Panel-Diskussion (insg. 5 Personen):

Entwicklungszusammenarbeit – Reinhard Stockmann

Gesundheit – Georg Spiel

Bildung – N.N.                  bzw.      Forschung / Hochschulevaluation – N.N.

Kultur / Kunst – N.N.    oder      Soziales – Vertreter der partizipativen Evaluation N.N.

Wirtschaft – N.N.            oder      Rechnungshof (Audit) – N.N.

 
Moderation:      Wolfgang Meyer

TOP 4 und TOP 5:             Bericht zum Antrag eines AKs Ethik in Gründung / Erarbeitung eines Mission Statements

Anlass: Forderung eines Mission Statements seitens der DeGEval bis zum 23.05.11.

Abstimmung: Die endgültige Fassung des Mission Statements wurde einstimmig angenommen.

Der erste Interims-Ansprechpartner für den AK Ethik i.G. ist Reinhard Stockmann.

Als zweiter Interims-Ansprechpartner wird Wolfgang Meyer vorgeschlagen und mit Fürstimmen der Anwesenden und einer Enthaltung gewählt.

TOP 6:   Verschiedenes

-          Aufforderung an UAG 1 ihre Ergebnisse bis zur Jahrestagung in Linz zu präsentieren
-          Dokumentation der AG-Ergebnisse (z.B. Protokolle auf der DeGEval-Homepage)

Ergebnisprotokoll der dritten Sitzung der Arbeitsgruppe zur Ethik der Evaluation im Rahmen der DeGEval-Tagung am 17.09.2010

__________________________________________________________________________

Prof. Dr. Reinhard Stockmann eröffnet die Sitzung und stellt die Agenda vor. Die Tagesordnung wird von den Teilnehmern angenommen. Da zu diesem Treffen neue Teilnehmer hinzugekommen sind, erläutert Herr Stockmann nochmals kurz, wie es zur Gründung der AG Ethik kam und berichtet von der Formierung der beiden UAG sowie den Treffen in Saarbrücken und Mainz. Er weist zudem darauf hin, dass er und Dr. Wolfgang Meyer auf der EES Tagung in Prag erneut die Ergebnisse der Umfrage zu Unabhängigkeit von Evaluationen vorstellen werden. Des Weiteren soll die Entwurfsfassung des Artikels „Unabhängigkeit in Evaluationen“, die anlässlich der DeGEval-Tagung verteilt wurde, weiter ausgearbeitet und bei der ZfEV zur Veröffentlichung eingereicht werden.

Dörte Schott trägt die Ergebnisse der ersten UAG vor und berichtet in diesem Rahmen von dem Umgang verschiedener Fachgesellschaften mit dem Gegenstand Ethik. Hierbei zeigt sich, dass es eine große Varianz in der Handhabung mit der Thematik in den verschiedenen Gesellschaften gibt: Es finden sich Ethikräte, Ethikkommissionen, Schiedsstellen, Ethikgremien sowie institutionalisierte Schieds- und Schlichtungsverfahren bzw. Mediationsverfahren. Aufgrund ihrer Recherchetätigkeit rät die erste UAG: Bevor die Gründung einer Ethik-Kommission innerhalb der DeGEval überhaupt anvisiert werden kann, muss zunächst geklärt werden, worauf sich diese Ethik-Kommission beruft (bspw. auf einen „Code of Conduct“). Zudem solle erörtert werden, welche Aufgaben die Kommission verfolgen will. Ob sie beispielsweise eine vermittelnde oder eine sanktionierende Funktion einnehmen möchte.

Die zweite UAG verzichtete auf die Darstellung der Ergebnisse der Online-Befragung zum Thema Unabhängigkeit von Evaluationen, da diese bereits am Vorabend im Anschluss an die Verleihung des DeGEval-Nachwuchspreises vor einem breiten Publikum präsentiert worden waren.

Die Teilnehmer der Ethik-AG einigen sich darauf, dass weitere Schritte unternommen werden müssen, bevor dem Vorstand der DeGEval und der Mitgliederversammlung Vorschläge unterbreitet werden können. Diese lassen sich in drei Aufgaben unterteilen:

1. 1)So soll einerseits ein Schema zur Konflikterfassung entworfen werden, um damit anschließend potentielle ethische Konfliktfälle in Evaluationen sammeln zu können. Berthold Schobert, Dörte Schott und Oliver Schwab erklären sich dazu bereit, diese Aufgabe zu übernehmen. Zur Ermittlung der Konfliktfälle wird Berthold Schobert an die verschiedenen Arbeitskreise herantreten und diese um Auskunft bitten. Dr. Helmuth von Dellemann bietet seine Mithilfe bei der Erstellung eines Erfassungsschemas an. Gloria Possart erklärt in diesem Zusammenhang, dass sie neben der Veröffentlichung von Artikeln über die Arbeit der Ethik-AG in den Verbandszeitschriften des DBSH und des BBS einen Aufruf zur Einreichung von Konfliktfällen in Evaluationen starten möchte. Die Leser sollen dabei dazu aufgerufen werden, ihre Erfahrungen mit Konfliktfällen in Evaluationen an Frau Possart zu melden. Die Ergebnisse würden dann an Berthold Schobert weitergeleitet.
   
   
2. 2)Es soll weiter im internationalen Kontext recherchiert werden, welche Beispiele es im Umgang mit dem Thema Ethik in anderen Gesellschaften gibt. Die EES Tagung soll genutzt werden, um Regeln, Mechanismen und Vorgehen hierzu in anderen Evaluationsgesellschaften zu ermitteln. Prof. Dr. Reinhard Stockmann und Dr. Wolfgang Meyer erklären sich dazu bereit, diese Aufgabe zu übernehmen. Außerdem werden sie (und Hanna Schenke) die Entwurfsfassung des Artikels weiter ausarbeiten und zur Veröffentlichung in der ZfEV einreichen.
   
   
3. 3)Es wird erwogen eine qualitative Befragung der Auftraggeber von Evaluationen durchzuführen und somit die Ergebnisse der standardisierten Befragung zu ergänzen. Hanna Schenke hat sich unter Vorbehalt dazu bereit erklärt, dies zu übernehmen, wenn sich weitere Mitstreiter zur Bewältigung der Aufgabe finden.
   
   

Die drei Aufgaben sollten optimalerweise bis zur Frühjahrstagung der AG abgeschlossen sein. Zielsetzung ist, aufgrund einer verbreiterten Daten- und Informationsbasis bei der Frühjahrstagung zu entscheiden, welche Vorschläge dem Vorstand der DeGEval im Hinblick auf einen „Code of Conduct“ sowie im Hinblick auf die Einrichtung einer Ethik-Kommission unterbreitet werden. Nach der Frühjahrstagung soll die AG dementsprechend konkrete Beschlussempfehlungen für den Vorstand der DeGEval erarbeitet haben.

Die AG Ethik einigt sich zudem darauf, künftig den Diskurs zum Thema Ethik voranzutreiben. Da Einigkeit darüber besteht, dass diese Aufgabe eine Organisationsform benötigt, wird erneut die Frage nach der Gründung eines Arbeitskreises für die AG Ethik gestellt. Die Teilnehmer stimmen mit einer Gegenstimme, acht Zustimmungen und zehn Enthaltungen für die Gründung eines Arbeitskreises Ethik in der DeGEval. Prof. Dr. Reinhard Stockmann wird den AK in Gründung beim Vorstand der DeGEVal beantragen.

Im weiteren Verlauf der Arbeit der AG Ethik soll zudem diskutiert werden, ob das übergreifende Thema Ethik als Sitzungsthema für die DeGEval-Tagung 2013 vorgeschlagen werden soll.

Protokollantin: Hanna Schenke

Ergebnisprotokoll der zweiten Sitzung der Arbeitsgruppe zur Ethik der
Evaluation am 18.06.2010 in Mainz

__________________________________________________________________________

Ablauf:

Beide Untergruppen der AG Ethik berichteten über die bisherigen Ergebnisse ihrer Arbeit.

Die erste UAG zum Thema Ethik-Kommission erläuterte kurz die Ergebnisse ihrer Recherchetätigkeit (Internetrecherche, Anfragen per Email und Telefon) hinsichtlich der Fragen, wie das Thema Ethik in anderen Fachgesellschaften aber auch in Universitäten verankert ist und welche Formen der (außergerichtlichen) Konfliktbearbeitung grundsätzlich in Frage kommen. Die Beteiligten berichteten u.a. von den Schwierigkeiten, die die vertiefende Recherche mit sich brachte, da die angesprochenen Fachgesellschaften zunächst nicht auf die Anfragen der AG-Teilnehmer reagierten. Auf telefonische Nachfragen stellte sich heraus, dass die Institutionen der Ethikbeauftragten/Ethikkommission in den zwei angesprochenen Fachgesellschaften in den letzten 10 Jahren kaum in Anspruch genommen wurden. Es wurde vereinbart, dass die Gruppe ihre Arbeitsergebnisse verschriftlicht. .

Die zweite UAG zur Durchführung einer Mitgliederbefragung zur Unabhängigkeit der Evaluation stellte erste Ergebnisse der Online-Befragung vor. Angesichts des stagnierenden Rücklaufs wurde beschlossen, die Befragung nun zu beenden und keine weiteren Nachfassaktionen durchzuführen. Bis zur Jahrestagung soll ein Arbeitspapier mit den zentralen Ergebnissen erstellt werden.

Weitere Themen und weiteres Vorgehen:

Basierend auf den Arbeitsergebnissen der beiden Gruppen, einigte man sich auf folgendes weiteres Vorgehen:

• Reinhard Stockmann wird in der kommenden Mitgliederversammlung über die Aktivitäten der AG Ethik berichten.
  
  
• Die Ergebnisse der Online-Befragung werden in einem Plenumsvortrag während der DeGEval-Jahrestagung (im Rahmen der Verleihung des DeGEval-Nachwuchs- sowie des Medienpreises) von Reinhard Stockmann, dem Sprecher der AG Ethik, präsentiert.
  
  
• Um mit der Arbeit in der ersten UAG vorankommen zu können ist, es erforderlich, die potentiellen Zielgruppen einer solchen Anlaufstelle und die potentiell zu klärenden Konflikte zu kennen. Deshalb möchte die AG Ethik typische ethische Konfliktfälle, aus denen dann ein gemeinschaftlicher Lernprozess entwickelt werden kann, zusammenstellen und transparent machen. Hierfür wird von der ersten UAG bis zur kommenden Jahrestagung ein erster Vorschlag für ein Erfassungsschema erarbeitet werden. Die AG Sitzung während der Jahrestagung soll für die Ergänzung/Überarbeitung des Erfassungsschemas und für ein erstes Brainstorming zur Sammlung typischer Konfliktfälle genutzt werden.
  
  
• In der AG Sitzung im Rahmen der Jahrestagung soll außerdem diskutiert werden, ob ein Code of Conduct entwickelt und weitere Vorschläge für den Vorstand der DeGEVal von der AG Ethik formuliert werden sollen.
  
  
• Uwe Schmidt hat sich dazu bereit erklärt, die verschiedenen europäischen Evaluationsorganisationen, über den Mailverteiler der NESE (National Evaluation Societies of Europe) zu deren Umgang mit dem Thema Ethik zu befragen und diese Informationen der ersten UAG zur Verfügung zu stellen.
  
  

Abschließend wurde zur Diskussion gestellt, ob sich aus der AG Ethik ein Arbeitskreis der DeGEval gründen solle. Über diesen Punkt konnte noch keine Einigkeit erzielt werden und das Thema wird auf der Jahrestagung erneut zur Diskussion gestellt.

Protokollantin: Hanna Schenke

Ergebnisprotokoll der ersten Sitzung Arbeitsgruppe zur Ethik der Evaluation am 22.01.2010 in Saarbrücken

__________________________________________________________________________

Hintergrund:

Das Thema Ethik von Evaluationen, speziell die Frage nach der Unabhängigkeit, hat in den letzten Jahren verstärkt innerhalb der DeGEval an Aufmerksamkeit gewonnen. So wurden mehrere Veranstaltungen zum Thema auf DeGEval-Jahrestagungen durchgeführt.

Auf der letzten DeGEval-Mitgliederversammlung wurde von Dr. Wolfgang Bewyl der Antrag zur Gründung einer Ethik-Kommission eingereicht, der heftig diskutiert wurde. Uwe Schmidt erläutert den Anwesenden zunächst noch mal die Gründe, warum der Vorschlag vom Vorstand in dieser Form abgelehnt wurde.

Das Thema wird vom Vorstand zwar als wichtig erachtet, Skepsis besteht jedoch bezüglich der Einführung einer Interventionsfunktion der DeGEval.

In der heutigen Sitzung einigt sich die Arbeitsgruppe darauf, dass die Frage nach der Rolle der DeGeval offen angegangen werden soll. Zu prüfen ist, inwieweit die DeGEval als „Hüterin der DeGeval-Stanards“ fungieren kann, d.h. inwieweit sie eine Schlichterfunktion übernehmen und gegebenenfalls als Ombudsstelle fungieren soll. Ferner ist zu prüfen, ob die Standards der DeGeval um spezielle Ethik-Standards zu erweitern sind, die z.B. den Aspekt der Unabhängigkeit stärker in den Vordergrund stellen.

Themenbestimmung, Klärung zukünftiger Fragestellungen

Die Arbeitsgruppe legt fest, dass sie folgende Fragestellungen und Themen erörtern möchte:

• Welche Standardergänzungen soll es in Zukunft geben bzw. müssen entwickelt werden? Soll ein „Code of Conduct“ erstellt werden?
  
  
• Sollte die DeGeval in ihrer Funktion als Ombudsstelle eher eine aktive oder eine passive Rolle einnehmen, d.h. sucht sie aktiv nach Fällen, in denen die Unabhängigkeit von Evaluation(en) gefährdet ist oder wartet sie, bis entsprechende Fälle an sie herangetragen werden?
  
  
• Welche Verfahren und Vorgehensweisen bezüglich dieser Thematik gibt es bereits in anderen Organisationen und Fachgesellschaften (und was kann man daraus lernen)?
  
  

Die Arbeitsgruppe bestimmt ferner, dass folgende Themen und Fragestellungen zwar Berührungspunkte mit der Thematik „Unabhängigkeit von Evaluationen“ aufweisen, jedoch nicht im Kontext dieser Arbeitsgruppe behandelt werden sollen:

• Vergabe von Evaluationssiegeln – also Bewertungen hinsichtlich der Qualität von Evaluationen
  
  
• Zertifizierung und Registrierung von Mitgliedern der DeGeval
  
  
• Qualitätssicherung
  
  

Online-Befragung

Auf Vorschlag des CEvals wurde die Durchführung einer Online-Befragung der DeGeval-Mitglieder als erste Bestandsaufnahme hinsichtlich der Unabhängigkeit von Evaluationen beschlossen. Im Rahmen dieser Befragung soll u.a. ermittelt werden, welche Formen der Abhängigkeit zwischen Auftraggeber und Auftragnehmer existieren und wie viele der DeGeval-Mitglieder bereits mit der Problematik konfrontiert wurden. Die Ergebnisse der Umfrage sollen idealerweise im Rahmen der nächsten DeGeval-Tagung öffentlich (auch über diese Arbeitsgruppe hinaus) präsentiert werden. Dr. Uwe Schmidt wird dieses Unterfangen an den Vorstand herantragen und um dessen Unterstützung bitten. Mittlerweile ist ein entsprechender Vorstandsbeschluss zur Unterstützung der Online-Erhebung bereits erwirkt worden.

Ferner wurde angeregt, die quantitative Untersuchung zusätzlich um qualitative Befragungen zu ergänzen. In Anbetracht der begrenzten Personalressourcen und des engen Zeitrahmens bis zur nächsten DeGEval-Jahrestagung kamen die Mitglieder der Arbeitsgruppe jedoch zu dem Schluss, dass dies gegenwärtig nicht zusätzlich noch zu leisten sei. Es ist jedoch angedacht – aufbauend auf den Ergebnissen der quantitativen Erhebung und den Diskussionsergebnissen der nächsten Jahrestagung – eventuell eine qualitative Untersuchung zu einem späteren Zeitpunkt durchzuführen. Bis dahin soll geprüft werden, ob dieses Thema eventuell auch als Masterarbeit für eine(n) Studenten/in vergeben werden kann.

Einteilung in Arbeitsgruppen, Ernennung Sprecher/Ansprechpartner/Arbeitsaufträge

Aus der Diskussion zu den zu bearbeitenden Themenfeldern und zu dem Vorschlag einer Online-Datenerhebung einigte sich die Arbeitsgruppe darauf, zwei Unterarbeitsgruppen innerhalb dieser AG mit folgenden Aufgabengebieten zu gründen:

Die erste Arbeitsgruppe (Gruppe 1) soll bis zur nächsten gemeinsamen Arbeitsgruppensitzung untersuchen, wie andere Evaluations- und benachbarte Fachgesellschaften mit dem Thema Ethik umgehen und wie dieses innerhalb der Fachgesellschaften verankert ist (Vorhandensein von Schlichtungsstellen, Code of Conduct etc.). Sie erstellt hierzu eine Synopse und präsentiert die Arbeitsergebnisse.

Teilnehmer Gruppe 1: Gloria Possert, Marianne Lück-Filsinger, Dörte Schott, Theodor Leiber Ansprechpartnerin für diese Arbeitsgruppe ist Frau Gloria Possart.

Nächstes Treffen der Gruppe 1: es wurde kein fixer Termin vereinbart, Interessenten sollen sich an Frau Possert wenden.

Die zweite Arbeitsgruppe (Gruppe 2) hat die Vorbereitung und Durchführung der standardisierten DeGEval-Mitgliederbefragung zum Thema Unabhängigkeit von Evaluationen zur Aufgabe. Die Online-Befragung ist für Mai vorgesehen. Allen DeGEval-Mitgliedern soll hier die Möglichkeit gegeben werden, anonym über ihre Erfahrungen zu berichten und ihre Auffassungen hinsichtlich der Notwendigkeit eines unabhängigen Arbeitens von Evaluatoren darzulegen. Die Befragung soll sich dabei u.a. an den ähnlichen Erhebungen der AEA orientieren.

Teilnehmer Gruppe 2: Reinhardt Stockmann, Wolfgang Meyer, Uwe Schmidt, Berthold Schobert, Hanna Schenke. Ansprechpartner für diese Arbeitsgruppe ist Dr. Wolfgang Meyer.

Nächstes Treffen der Gruppe 2: 19. Februar, 11 Uhr, Campus Saabrücken.

Prof. Dr. Reinhardt Stockmann wurde zum Sprecher der Arbeitsgruppe Ethik ernannt. Die gesamte Arbeitsgruppe Ethik wird sich am 18. Juni um 12.30 Uhr am Campus der Universität in Mainz treffen. Wichtige Tagesordnungspunkte sind die Ergebnisse der beiden Unterarbeitsgruppen und die Vorbereitung der Präsentationen für die DeGEval-Jahrestagung.

Protokollführung:

Hanna Schenke