Partizipation – nichts außergewöhnliches
Partizipation ist heute ein zentraler Bestandteil von vielen Evaluationen. Aktive Beteiligung und Teilhabe an Evaluationsprozessen sind häufig eine wichtige Voraussetzung für das Gelingen eines Evaluationsvorhabens. Die Mitwirkung an Evaluationen – indem Betroffene und Beteiligte einen Einfluss erhalten auf die Fragestellungen einer Evaluation, verwendete Kriterien, die Interpretation der Ergebnisse oder die Erarbeitung von Bewertungen und Handlungsempfehlungen – führt zu einer höheren Akzeptanz und letztlich besseren Nutzung der Evaluationsergebnisse. Damit wird die Qualität von Evaluationen bedeutend verbessert.
Was bedeutet Partizipation
Partizipation ist die aktive Einbeziehung der Auftraggebenden und der von einer Evaluation Betroffenen an der Durchführung der Evaluation. Partizipation kann von der Beteiligung nur der direkt Betroffenen bis zur Einbeziehung aller Gruppen mit einem legitimen Interesse reichen. Der Evaluationsprozess einer partizipativen Evaluation kann entscheidend von den Evaluierenden gesteuert werden oder die Beteiligten selbst erhalten einen hohen Einfluss auf den Verlauf. Partizipation kann zudem in ihrer Tiefe von der angemessenen Berücksichtigung der Blickwinkel der Beteiligten bis beispielsweise hin zur Mitwirkung an der Interpretation der Evaluationsergebnisse reichen. Eine klassische Unterscheidung von partizipativen Evaluationen zielt auf deren Veränderungsanspruch ab. Partizipative Evaluationen können dem Zweck dienen, bessere Entscheidungsgrundlagen für die Bewertung und Fortführung von Projekten und Programmen zu erhalten. Partizipative Evaluationen können aber auch mit dem Anspruch verfolgt werden, durch die Einbeziehung der Betroffenen soziale Veränderungen zu initiieren.
Warum Partizipation
Partizipation begründet sich aus einem grundsätzlich demokratischen und demokratiefördernden Grundverständnis von Evaluation. Systematische und wertende Einschätzungen können nur im jeweiligen Kontext der an Handlungen Beteiligten angemessen getroffen werden. So ist die Einschätzung von Arbeitsmarktprogrammen ohne die Berücksichtigung des Blicks von Arbeitssuchenden ebenso verfehlt wie die Bewertung von Hochschullehre ohne die Einbeziehung der Perspektive von Studierenden.
Zugleich kann Partizipation auch einen wesentlichen Baustein des praktischen Evaluationshandelns darstellen. Die zentralen Standards von Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit lassen sich nur mit jeweils angemessenen Beteiligungsverfahren erreichen. Partizipative Verfahren ermöglichen es, fachlich fundierte und zudem hilfreiche Ergebnisse einer Evaluation zu erzielen.
Partizipation – wie?
Wird Partizipation als wesentlicher Bestandteil des Evaluationshandelns verstanden, ist die frühzeitige und nachvollziehbare Beteiligung grundlegend. Hierzu sind vorab alle Betroffenen und zu Beteiligenden zu identifizieren. Nur dann ist es möglich, Problem- und Fragestellungen adäquat zu formulieren und „blinde Flecken“ oder einseitige Zuweisungen zu vermeiden.
Notwendig sind dabei diplomatisches Vorgehen und Fingerspitzengefühl. Dies betrifft einerseits die Kooperation mit den Auftraggebenden der Evaluation. Ebenso wichtig ist andererseits der integrative, faire und transparente Umgang mit den Personen, die – direkt oder indirekt – von Evaluationsergebnissen betroffen sind. Die dazu möglichen Verfahren sind vielfältig und hängen von der jeweiligen Zielsetzung und dem jeweiligen Ablauf ab.
Von zentraler Bedeutung ist es, die unterschiedlichen Sichtweisen von Beteiligten und Betroffenen auf den Evaluationsgegenstand sowie auf die Ergebnisse der Evaluation einzubeziehen und darzustellen. Die Berücksichtigung verschiedener Perspektiven erhöht die Präzision der Evaluationsergebnisse. Perspektivenvielfalt sowohl im Hinblick auf Zielvorstellungen als auch auf Bewertungsmaßstäbe ist beispielsweise für eine Programmdurchführung positiv, denn der langfristige Erfolg von Programmen, z.B. zum Stadtumbau, hängt nicht nur vom Votum der Experten ab, sondern auch von der Einschätzung der Bewohnerinnen und Bewohner vor Ort. Hier entscheidet sich, was „ankommt“.
Zugleich ermöglicht eine frühzeitige Einbeziehung unterschiedlicher Akteure auch gegenseitiges Lernen und die schrittweise Weiterentwicklung von Kenntnissen und Fähigkeiten. Nicht nur Programme und ihre Evaluationen profitieren von Partizipation. Durch gemeinsam initiierte, bewertete, reflektierte und weiterentwickelte Veränderungsprozesse können alle beteiligten Akteure ihre Kompetenzen erweitern. Im Bildungsbereich können so schrittweise neue Qualitäten für Schule und Hochschule entwickelt werden und zu neuen Lernkulturen führen.
Herausforderungen bei der Partizipation
Mit der Partizipation tauchen auch immer wieder grundsätzliche wie speziell evaluationsbezogene Probleme auf. Prinzipiell stellt sich die Frage: Wer darf teilnehmen, warum darf jemand teilnehmen und wie weit geht die Einbeziehung? Und wer entscheidet im Zweifelsfall?
Und speziell für Evaluationen stellt sich die Frage, wann grundlegende Prinzipien der Evaluation wie beispielsweise die Fundierung mit empirischen Forschungsmaßstäben in Frage gestellt werden. Wie weit ist die umfassende Mitwirkung mit wissenschaftlichen Gütekriterien vereinbar, die sichern, dass Evaluation mehr ist als bloßes Feedback oder interessengeleitete Meinungsbekundung? Wie weit sind bei einer Vielfalt von Akteuren die Kriterien der Handhabbarkeit und Effizienz noch zu gewährleisten? Einfache Antworten gibt es hier nicht. Die methodischen Fragen sind jeweils abhängig vom Zweck der Evaluation zu beantworten. Ohne ein gewisses Maß an Partizipation geht es jedoch in der Regel kaum.
Qualität dauerhaft sichern
Entscheidend für eine partizipative Evaluation ist ein gemeinsam vereinbarter Einstieg in den Evaluationsprozess. Hier gilt es, zusammen die Möglichkeiten und Notwendigkeiten zu bestimmen und auszuhandeln. Neben dem Grundverständnis für Möglichkeiten, Grenzen und Kosten der Partizipation auf allen Seiten sind auch die Methodenkompetenzen und Fähigkeiten der Prozessorganisation von Evaluatorinnen und Evaluatoren von entscheidender Bedeutung. Ihre Qualität ist zentral. Entsprechend gilt es, diese Kompetenzen und Fähigkeiten bei allen Evaluationsbeteiligten aufzubauen und dauerhaft sicherzustellen.
Die DeGEval – Gesellschaft für Evaluation e.V. hat zur Unterstützung professioneller und relevanter Evaluation Standards für Evaluation, zur Aus- und Weiterbildung in Evaluation sowie Empfehlungen für Auftraggebende veröffentlicht, die auch Informationen zum Thema Partizipation enthalten.
Partizipation in der Evaluation - Positionspapier 04 der DeGEval als PDF
Evaluationen analysieren und bewerten das Erreichen von Zielen und die Wirkungen von Maßnahmen. Unabhängig von ihrem Umfang, ihrer finanzi-ellen Ausstattung und ihrem zeitlichen Horizont kann die Evaluation Entschei-dungsträger und Praxis dabei unterstützen, die Zielgenauigkeit und Wirksamkeit von Maßnahmen, Strategien und anderen Gegenständen objektiv zu überprüfen und systematisch zu verbessern. Eine häufige Frage dabei ist, welche methodischen Ansprüche unter praktischen Bedingungen zu erfüllen sind, damit Evaluation diese Aufgaben seriös und kompetent wahrnehmen kann. Das vorliegende Positionspapier versteht sich als eine Zusammenfassung zentraler Antworten auf diese Frage. Es richtet sich ins-besondere an Personen und Institutionen, die Evaluationen beauftragen, verantworten oder ihre Ergebnisse aufnehmen und nutzen wollen, sowie an die interessierte Öffentlichkeit.
1. Was kennzeichnet Evaluationsmethoden?
Evaluationsmethoden stammen vielfach aus dem Repertoire der empirischen Sozialforschung. Doch darüber hinaus bedient sich die Evaluation weiterer methodischer Zugänge. So sind z.B. die Delphi-Methode, Grup-pendiskussionen oder auch Kosten-Nutzwert-Analysen Instrumente, die an der Schnittstelle zwischen Datenerhebung (qualitativ und/oder quantitativ) und Bewertung anzusiedeln sind. Evaluationen zeichnen sich häufig durch einen Methoden-Mix aus. Sie kombinieren unter dem Begriff der Triangulation verschiedene methodische Verfahren, um unterschiedliche Perspektiven angemessen berücksichtigen zu können.
2. Gibt es richtige und falsche Methoden?
Anders als die Grundlagenforschung muss die meist auftragsbasierte Eva-luation klug ausbalancieren zwischen hohen methodischen Standards und einer ökonomisch vertretbaren, pragmatischen, häufig unter Zeitdruck ste-henden methodischen Herangehensweise. Es gibt daher kein einfaches „richtig oder falsch“ bei der Methodenwahl, sondern bestenfalls ein „richtig und falsch“ hinsichtlich der Angemessenheit an den jeweiligen Evaluations-gegenstand. Allerdings gibt es fast nie nur eine Methode der Wahl, sondern verschiedene, deren Auswahl begründet werden soll.
Für bestimmte Evaluationsanliegen sind jedoch bestimmte methodische Zugänge besonders hervorzuheben. Wenn es um Wirkungsanalysen geht, sind dies – soweit es die Praxis erlaubt – insbesondere
(quasi-)experimentelle Designs mit der Möglichkeit, Vergleichsgruppen hin-reichend zu berücksichtigen. Sofern die Zuteilung zu den Vergleichsgruppen durch Selbstselektion erfolgt, sollte der dadurch möglicherweise entstehende Störfaktor z.B. durch entsprechende statistische Methoden (matching) oder andere Erhebungsdesigns ausgeglichen werden.
3. Über welche Methodenkompetenz sollten Evaluierende verfügen?
Evaluierende müssen über ein breites Methodenspektrum verfügen. Zwar kommt in keiner Evaluation das gesamte Methodenspektrum zum Einsatz. Doch die Evaluierenden müssen über genügend methodische Kenntnisse verfügen, um Potenziale und Grenzen der eingesetzten Verfahren und Zu-gänge einschätzen zu können sowie deren Anwendung entsprechend be-gründen zu können; was die Kenntnis alternativer Verfahren voraussetzt.
4. Welche Konsequenzen ergeben sich für Auftraggebende?
Angemessene Methoden und eine hohe Qualität der Evaluation liefern eine fundierte Basis für die Nutzung von Evaluationsergebnissen; sie erzeugen allerdings auch Kosten. Die Auftragsvergabe einer Evaluation darf daher nicht nur nach ökonomischen Gesichtspunkten erfolgen. Inhaltliche und qualitative Kriterien müssen im Vordergrund stehen.
Die DeGEval – Gesellschaft für Evaluation hat zur Unterstützung professio-neller und relevanter Evaluation Standards für Evaluation, Empfehlungen für Auftraggebende sowie zur Aus- und Weiterbildung in Evaluation veröffentlicht, die auch weiterführende Informationen zu Fragen der Evaluationsmethoden bieten.
> DeGEval-Positionspapier 03 - Methoden der Evaluation als PDF
1. What relevance and function does evaluation have in society?
Evaluation contributes substantially to the assessment of projects, pro-grammes, and organisations. One of evaluation’s central fields of application is that of public and state programmes initiated through political legislation. Thus, the assessment of ‘public’ action is very much at the forefront in evaluation. Beginning with programmes in the education, social and health sector, evaluation’s field of application has now grown to encompass all areas of public action. Due to the increasing autonomy and self-monitoring of political subsystems and organisations (e.g. universities) the obligation has grown accordingly to legitimise programmes vis-à-vis political decision makers and the public. It is the task of evaluation in this context to examine the consequences of political and administrative decisions and to provide public and political debates with sound and factual information. In this sense, evaluation takes on an informative dimension providing a decision basis founded in factual knowledge and it serves, moreover, the legitimation and transparency of processes within organisations. It supports processes of quality assurance and development and should encourage learning process in organisations.
2. How much evaluation does society need?
In comparison to its lengthy history in the USA evaluation in Europe is a relatively new development. However, in today’s Europe evaluation proce-dures are regularly used in various fields of socio-political action. Unfortu-nately, these procedures often are only in limited accordance with profes-sional standards or are frequently under funded. If, however, evaluations are supposed to provide well-informed consultation for the direction of future policies, it is imperative that they are carried out professionally and are adequately funded. It is of especial importance that the findings of past evaluations are more actively taken into consideration and that the focus of future evaluations is shifted more towards the lasting impact of measures and programmes on society. It is not the quantity of evaluations, but their relevance with regard to and their contribution towards the deepening of insight that are of central importance.
3. Should evaluation take a socio-political position?
Evaluation is not just mere measuring and quantification, but inherently also an assessment. Therefore, evaluations should take diverse and contrary positions into account and make clear the evaluation criteria used. An evaluative practice conceived in this way can enlighten, support, and create trust. Consequently, evaluation does not take a socio-political position itself, but sheds light on diverse positions.
4. How can evaluation findings make their way into societal practice?
Evaluation contributes to making societal processes more transparent and, thus, promotes a fruitful dialogue. The participation of stakeholders in the evaluation process and clarity in the presentation of evaluation findings in-crease the utility of evaluations. This decidedly does not only apply to positive findings. The ‘failure’ of a programme is equally as informative and as beneficial to further societal development. To what extent evaluation results actually are taken onboard in political processes depends mostly on the re-spective client and the political decision makers. It requires that politics and practice are open to learning from evaluation results. At the same time, the public should have a vested interest in demanding evaluation as a tool of political and public accountability.
The DeGEval – Evaluation Society has published standards for evaluation, recommendations for clients, and recommendations for education and training in evaluation in order to support and further professional evaluation in relevant fields of application. For further information please visit: http://www.degeval.de.
> Policy Document 02 of the DeGEval – Evaluation Society as pdf
1. Welche Relevanz und Funktion hat Evaluation für die Gesellschaft?
Evaluation leistet einen substanziellen Beitrag zur Bewertung von Projekten, Programmen und Organisationen. Ein zentrales Anwendungsfeld von Evaluation sind (politisch initiierte) öffentliche Programme. Somit steht die Bewertung ‚öffentlichen‘ Handelns im Vordergrund. Waren es zunächst Programme im Bildungs-, Sozial- und Gesundheitsbereich, so hat sich das Anwendungsspektrum von Evaluation mittlerweile auf alle Bereiche öffentlichen Handelns ausgeweitet. Mit zunehmender Autonomie und Selbststeuerung politischer Teilbereiche und Organisationen (wie z.B. Universitäten) wächst die Legitimationspflicht gegenüber politischen Entscheidungsträgern und der Öffentlichkeit. Die Aufgabe von Evaluation ist es dabei, Wirkungen politischer und administrativer Entscheidungen zu überprüfen und fundierte, sachliche Informationen zu öffentlichen und politischen Debatten bereitzustellen. Evaluation hat in diesem Sinne eine aufklärerische Funktion und ermöglicht eine wissensbasierte Entscheidungsfindung. Evaluation dient zudem der Legitimation und Transparenz innerhalb einer Organisation. Sie unterstützt Prozesse der Qualitätssicherung und -entwicklung und soll Organisationen in ihren Lernprozessen fördern.
2. Wie viel Evaluation braucht die Gesellschaft?
Einer langen Tradition von Evaluation öffentlicher Programme in den Vereinigten Staaten steht eine vergleichsweise kurze europäische Geschichte der Evaluation gegenüber. Bewertungsverfahren werden in Europa mittlerweile in vielen Feldern gesellschaftspolitischen Handelns regelmäßig eingesetzt. Sie entsprechen jedoch oft nur eingeschränkt professionellen Standards der Evaluation und sind häufig unterfinanziert. Sollen Evaluationen jedoch für die Ausrichtung künftiger Politik wissensbasierte Hinweise liefern, so müssen sie professionell durchgeführt und adäquat finanziert werden. Dabei gilt es, die Befunde bereits durchgeführter Evaluationen stärker zu nutzen sowie den Fokus zukünftiger Evaluationen vermehrt auf die nachhaltige Wirkung von Maßnahmen und Programmen für die Gesellschaft zu richten. Im Fokus steht nicht die Quantität von Evaluationen, sondern deren Relevanz und Beitrag zum Erkenntnisgewinn.
3. Soll Evaluation gesellschaftspolitisch Position beziehen?
Evaluation ist nicht bloßes Messen, sondern stets auch Bewerten. Evaluationen sollen daher unterschiedliche und gegenläufige Wertpositionen möglichst unparteiisch berücksichtigen und die zugrundeliegenden Bewertungskriterien explizit und transparent machen. Eine so verstandene Evaluationspraxis kann aufklären, unterstützen und Vertrauen fördern. Evaluation bezieht somit in aller Regel nicht selbst eine gesellschaftspolitische Position, sondern macht vielmehr unterschiedliche Wertpositionen sichtbar.
4. Wie können Evaluationsergebnisse Eingang in die gesellschaftliche Praxis finden?
Evaluation kann zur Transparenz gesellschaftspolitischer Prozesse und damit zum Dialog beitragen. Beteiligung gesellschaftlicher Akteure im Prozess der Evaluation sowie Klarheit in der Berichterstattung fördern den Nutzen von Evaluationen. Nicht nur positive Ergebnisse von Evaluationen zählen, auch das ‚Scheitern‘ eines Programmes stellt eine wichtige Erkenntnis dar und ist hilfreich für die weitere gesellschaftliche Entwicklung. Inwieweit Evaluationsergebnisse in politische Prozesse eingehen und damit Wirkung erzielen, hängt wesentlich von den Auftraggebenden und politischen Entscheidungsträgern ab. Dies setzt voraus, dass Politik und Praxis bereit sind, aus Evaluationsergebnissen zu lernen. Gleichzeitig sollte die Öffentlichkeit daran interessiert sein, Evaluation als Maßnahme zur öffentlichen Rechenschaftslegung einzufordern.
Die DeGEval – Gesellschaft für Evaluation hat zur Unterstützung professioneller und relevanter Evaluation Standards für Evaluation, Empfehlungen für Auftraggebende sowie zur Aus- und Weiterbildung in Evaluation veröffentlicht.
> DeGEval-Positionspapier 02 - Evaluation und Gesellschaft als pdf
Modern societies are shaped by complex governance processes within which the economic, political, educational and social system and further stakeholders pursue diverse, and oftentimes contradictory interests each with a different logic of action. Moreover, the globalisation of markets makes even further demands on governance processes, as has been demonstrated by the recent financial crisis. This complex relationship of governance and evaluation was the topic of the 11th annual meeting of the DeGEval - Gesellschaft fuer Evaluation in Klagenfurt, Austria.
In recent years, evaluations have become more important in all fields of politics and practice. They can provide well-founded information for policy planning, the improvement of operational sequences in organisations and for the further development of professional practices in general. In the opinion of DeGEval, this is both an opportunity and a risk: an opportunity in that evaluations can improve governance processes via well-founded knowledge and transparent evaluation policies; a risk, however, insofar as evaluations can be used solely to legitimise political decisions and the evaluations themselves - due to growing demand and often low budgets - can lack essential quality standards.
From the perspective of DeGEval, the interconnection of evaluations with decision-making processes in political, economic and other fields of practice is an essential requirement to contribute to a reflective attitude of decision-makers, to found governance on a factual basis and to assess and anticipate consequences accurately. Thus, evaluations contribute to politics and practice founded upon empirical facts.
The executive board of DeGEval calls upon decision-makers in politics and other fields of practice to create adequate conditions in order to strengthen the use of evaluation for rational governance. The following aspects are of especial importance:
1. The support of governance processes with evaluation requires a binding agreement regarding the form and transparency of the use of results. Unclear or lacking agreements without an orientation towards potential users reduce the relevance of evaluation for governance.
2. For the implementation of evaluation it is of utmost importance to define a time frame in accordance with the evaluation's purpose in order to be able to observe methodical and field-specific standards. In particular, evaluators should be involved early in the target explication process and the creation of instruments for programmes, strategies and institutions in order to enable a discussion regarding the feasibility of certain evaluation designs with the client.
3. Evaluations must be backed by sufficient resources. DeGEval views with concern that on the one hand the number of evaluations has drastically increased, on the other hand, however, the necessary amount of financial resources for qualitatively appropriate evaluations are oftentimes not available.
4. Taking all things into consideration, the allocation of evaluations should take place according to professional standards that alongside the already mentioned aspects also define the relationship between evaluators and clients and define the evaluation schedule.
5. On the part of the evaluators, it is required that they have adequate methodical and field knowledge, evaluation experience, social skills and know-how regarding evaluation approaches and models. This is essential because evaluation results are only useful if the evaluations are carried out professionally.
6. Thus, evaluations should take place in accordance with national and international standards upon which all stakeholders are in agreement.
DeGEval - Gesellschaft fuer Evaluation as Europe's largest association for evaluation has developed several helpful products to support stakeholders in evaluations. Alongside the DeGEval - Standards for Evaluation that are widespread in Europe there are in particular the Recommendations for Clients of Evaluation and the Recommendations on Education and Training in Evaluation.
> DeGEval Policy Document 01 "Governance Needs Evaluation" as pdf
Moderne Gesellschaften sind geprägt durch komplexe Steuerungsprozesse, in denen Wirtschaft, Politik, Bildung, Sozialsystem und weitere Akteurinnen und Akteure vielfältige, zum Teil gegenläufige Interessen mit unterschiedlichen Handlungslogiken verfolgen. Die Globalisierung von Märkten führt zu weiteren Anforderungen an die Steuerungsprozesse, wie nicht zuletzt die aktuelle Finanzkrise zeigt. Diese komplexe Beziehung von Steuerung und Evaluation war Thema der 11. Jahrestagung der DeGEval – Gesellschaft für Evaluation in Klagenfurt.
Evaluationen haben in den vergangenen Jahren in allen Politik- und Praxisfeldern an Bedeutung gewonnen. Sie können fundierte Informationen für die Gestaltung von Politik, die Verbesserung von Abläufen in Organisationen und für die Weiterentwicklung der Fachpraxis bereitstellen. Dies ist aus Sicht der DeGEval – Gesellschaft für Evaluation Chance und Gefahr zugleich: Chance insofern, als Evaluationen durch gesichertes Wissen und transparente Bewertung Steuerungsprozesse verbessern können; Gefahr insoweit, als Evaluationen zur bloßen Legitimation politischer Entscheidungen verwendet werden und ihnen – bei wachsendem Bedarf und oft geringen Budgets – die notwendigen Qualitätsstandards fehlen können.
Aus Perspektive der DeGEval ist die Koppelung von Evaluationen an Entscheidungsprozesse eine notwendige Bedingung, um in Politik, Wirtschaft und anderen Handlungsfeldern zu einer reflexiven Haltung bei Entscheidungsträgerinnen und -trägern beizutragen, Steuerung sachlich zu fundieren und Wirkungen abzuschätzen. Damit tragen Evaluationen zu einer evidenz-basierten Politik und Praxis bei.
Der Vorstand der DeGEval appelliert an Entscheidungsträgerinnen und -träger in Politik und anderen Handlungsfeldern, angemessene Voraussetzungen zu schaffen, um die Verwendung von Evaluation für eine rationale Steuerung zu stärken. Insbesondere sind hierbei folgende Aspekte von Bedeutung:
Die DeGEval – Gesellschaft für Evaluation hat als größte Fachgesellschaft für Evaluation in Europa zur Unterstützung der Beteiligten in Evaluationsprozessen mehrere hilfreiche Produkte entwickelt. Neben den europaweit verbreiteten DeGEval-Standards für Evaluation sind dies insbesondere Empfehlungen für Auftraggebende sowie Empfehlungen für die Aus- und Weiterbildung von Evaluatorinnen und Evaluatoren.
> DeGEval-Positionspapier 01 "Steuerung braucht Evaluation" als pdf