Sie sind hier:Home»Publikationen»Rezensionen von Evaluations-Lehrbüchern»Rezensionen von Evaluations-Lehrbüchern

Rezensionen von Lehr- und Handbüchern der Evaluation

Auf dieser Seite sind Rezensionen von Lehr- und Handbüchern aus der Evaluation zu finden. Ziel ist es, alle in der Aus- und Fortbildung der Evaluation tätigen Personen im Finden und der Auswahl von Literatur zu unterstützen. Eine einheitliche Struktur und eigens erarbeitete Checklisten ermöglichen, dass sich Lehrende in Evaluation, aber auch Lernende und Interessierte, schnell einen umfassenden Überblick verschaffen können, um für sich passende Literatur auszuwählen.

Hier findet sich eine Liste derjenigen Veröffentlichungen, die wir für weitere Rezensionen vorschlagen. Neben den Empfehlungen zu übergreifenden Büchern haben wir die Rubrik der politikfeldspezifischen Literatur in der Evaluation ergänzt, z.B. zu den Themen Evaluation in Schule, Gesundheitswesen oder Sozialen Arbeit.

Da die Wahl geeigneter Literatur nicht immer auf Lehr- und Handbücher beschränkt ist, können auch andere Werke – Monografien, Überblicksbände usw. – besprochen werden: Der Fokus wird über die einheitliche Struktur insbesondere der Checklisten darauf gelegt, wie der Einsatz in der Lehre einzuschätzen ist.

Sie haben Interesse, selbst eine Rezension zu verfassen? Sie haben dazu noch Fragen?

Sie haben Ergänzungen für die aktuelle Rezensions-Liste?

Dann freuen wir uns über eine Nachricht!

Wir danken allen Personen, die sich an der Erstellung der bisherigen Rezensionen beteiligt haben!

Der AK Professionalisierung (Jessica Prigge) und das Nachwuchsnetzwerk (Michael Bigos)

 

Die bereits vorhandenen Rezensionen von Literatur aus der Evaluation:

Knödler, Elisa; Evaluation an Hochschulen (2019): Entwicklung und Validierung eines verhaltensbasierten Messinventars zur studentischen Lehrveranstaltungsevaluation. Wiesbaden: Springer.

rezensiert von Katharina klockgether und Tobias Klös


Balzer, L. & Beywl, W. (2018). evaluiert - erweitertes Planungsbuch für Evaluationen im Bildungsbereich (2., überarbeitete Auflage). Bern: hep verlag.

rezensiert von Melanie Hörth und Hannah Pütz


Beywl, W., Bestvater, H. , Friedrich, V. (2011). Selbstevaluation in der Lehre. Münster: Waxmann.

rezensiert von Maria Gutknecht-Gmeiner


Beywl, W., Kehr, J., Mäder, S., & Niestroj, M. (2007). Evaluation Schritt für Schritt: Planung von Evaluationen. Münster: hiba.
rezensiert von Heike Steckhan


Gollwitzer, M., Jäger, R. S. (2007). Evaluation kompakt. Weinheim, Basel: Beltz PVU.
rezensiert von Jörg Rech


Kirkpatrick, D.L., Kirkpatrick, J.D. (2006). Evaluating training programs. The four levels. San Francisco: Berret-Koehler Publishers.
rezensiert von Jan Hense


Kuper, H. (2005) Evaluation im Bildungssystem: Eine Einführung. 1. Auflage. Stuttgart: Kohlhammer.
rezensiert von Stefan Bauernschmidt



Stake, R.E. (2007). Standards-Based & Responsive Evaluation. London: Sage.
rezensiert von Susanne Mäder


Widmer, T., De Rocchi, T. (2012). Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger.
rezensiert von Verena Friedrich

Zuletzt geändert: 27. Oktober 2021

Rezension

Widmer, T., De Rocchi, T. (2012). Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger.

widmer_evaluation    ISBN: 978-3-7253-0980-1
Preis: 16,50 Euro/22 CHF (unverbindliche Preisangabe)
Rezensiert von Verena Friedrich, November 2012
Amazon / buch.de / Verlag
 


Zusammenfassung der Inhalte


Der Band umfasst acht Kapitel. In der Einleitung (1) werden kurz die Entwicklung der Evaluation, der gegenwärtige Stand der Professionalisierung, aber auch problematische Tendenzen skizziert: Aufgrund von Unkenntnissen und Missverständnissen sehen die Autoren „teilweise überrissene Erwartungshaltungen gegenüber Evaluationen“ (S. 7) und wollen hier Aufklärung leisten. Im Kapitel ‚Grundbegriffe der Evaluation‘ (2) werden zunächst die Merkmale der Evaluation (Wissenschaftlichkeit, Dienstleistung, Bewertung) beschrieben, und die Evaluation wird von alltäglicher Bewertung, von wissenschaftlicher Forschung und von verschiedenen Instrumenten der Verwaltungspraxis (Audit, Controlling, Qualitätsmanagement etc.) abgegrenzt. Die Autoren gehen außerdem auf mit der Evaluation verwandte Ansätze ein (Gesetzes- und Regulierungsfolgenabschätzung, Nachhaltigkeitsbeurteilung etc.). Das Kapitel schließt mit der Klärung zentraler evaluatorischer Begrifflichkeiten. Das Kapitel ‚Entwicklung der Evaluation‘ (3) befasst sich zunächst mit der thematischen Entwicklung der Evaluation, v.a. in der Schweiz. Im Absatz zur konzeptionellen Entwicklung wird anhand des Guba-Lincoln’schen Modells der „vier Generationen“ die Entwicklung vom ‚Messen‘ über das ‚Beschreiben‘ bis zum ‚Bewerten‘ und ‚Verhandeln‘ nachgezeichnet und auch auf neuere Entwicklungen (z.B. multi-method Ansätze) Bezug genommen. Zum Schluss des Kapitels werden politische Rahmenbedingungen und ihre jeweiligen Einflüsse auf die Evaluation anhand von fünf „Evaluationskonjunkuren“ beschrieben. Das Kapitel ‚Theorien, Konzepte und Modelle‘ der Evaluation (4) ist mit 34 Seiten das umfangreichste im Buch. Abgestützt auf eine ähnliche Systematik von E. Vedung werden Effektivitäts-Modelle, ökonomische und akteursorientierte Modelle der Evaluation ausführlich dargestellt. Im Vergleich zum vorhergehenden Kapitel ist das Kapitel zu den ‚Methoden‘ (5) mit nur acht Seiten recht kursorisch. Entsprechend knapp wird auf Untersuchungsanlagen und  techniken, Datenerhebungs-, -aufbereitungs- und  auswertungsverfahren sowie auf methodische Besonderheiten der Evaluation eingegangen. Das Kapitel ‚Evaluationsprozess – Schritt für Schritt‘ (6) beschreibt anhand von vier Phasen (Planung, Ausarbeitung des Pflichtenhefts und Auftragsvergabe, Durchführung und Begleitung der Evaluation, Berichterstattung und Verbreitung der Resultate) den Evaluationsprozess für extern beauftragte Evaluationen, und zwar aus der Perspektive sowohl des Auftraggebenden als auch des Evaluierenden. Das Kapitel ‚Evaluation im Kontext‘ (7) ist in vier Absätze gegliedert: Im ersten Teil geht es um die institutionelle Einbettung der Evaluationsfunktion im schweizerischen politischen System; der zweite Teil befasst sich mit der Evaluationspraxis in der Schweiz; der dritte widmet sich der Evaluationsnutzung (Nutzungsforschung, „Theory of Influence“ und „Evidence-based policy making“), und der letzte Absatz behandelt das Thema Qualität der Evaluation (hier werden u.a. die Stärken und Grenzen der SEVAL-Standards kritisch gewürdigt). Im Kapitel ‚Diskussion‘ (8) stellen die Autoren „einige übergreifende Überlegungen zum Zustand der Evaluation“ (S. 164) an. Hier werden einige positive und negative Entwicklungen skizziert; die Autoren votieren dafür, dass „noch selektiver, zielorientierter und differenzierter“ (S. 167) evaluiert werden solle, damit sich die Zukunftsaussichten der Evaluation optimieren lassen.

Das Buch eignet sich für

Das Buch will ausdrücklich kein Lehrbuch im engeren Sinne sein, sondern informieren und aufklären; insofern sind die in der Checkliste (s.u.) aufgelisteten Kriterien nur teilweise anwendbar. Einen Schwerpunkt und eine Stärke des Buchs stellt das Kapitel vier zu den Evaluationsansätzen dar. Hier werden die unterschiedlichen Ansätze mit ihren wichtigsten Merkmalen übersichtlich, nachvollziehbar und ausführlich beschrieben, wobei jeweils auch ihre Stärken und Schwächen diskutiert werden. Zahlreiche Beispiele illustrieren die jeweiligen Herangehensweisen. Ein weiterer Fokus liegt auf der Institutionalisierung und der Praxis der Evaluation im schweizerischen politischen System; allerdings scheinen diese Darstellungen auf teilweise bereits etwas älteren Befunden zu beruhen.

Stärken und Schwächen

Durch den kompakten Umfang und den Einsatz von Grafiken und Praxisbeispielen ist mit dem Band ein übersichtlicher Einblick in den gesamten Ablauf von Evaluation gelungen. Es werden alle wichtigen Schritte angesprochen und in knapper aber professioneller Form erläutert. Einige Arbeitsschritte werden verkürzt dargestellt, jedoch durch Verweise auf vertiefende Texte unterfüttert. Im Fokus des Textes stehen handlungsrelevante Hinweise zur Planung und Durchführung von Evaluation. Theorien der Evaluation, aktuelle Ansätze in der Evaluationsforschung oder auch die geschichtliche Entwicklung von Evaluation werden kaum thematisiert. Auch auf die Darstellung von spezifischem Kontextwissen, wie Organisations- und Feldkenntnisse, wird verzichtet, was den Band aber für eine breite Zielgruppe öffnet. Der Band ist kein Lehrbuch im klassischen Sinne, er enthält keine Übungen oder Aufgaben, sondern ist stark auf eine direkte praktische Anwendung fokussiert. Für die intendierte Zielgruppe der Praktikerinnen und Praktiker stellt er eine sinnvolle Einstiegslektüre dar.

Besonderheiten

Die Autoren verstehen unter Evaluation ein „Instrument zur systematischen und transparenten Bewertung eines Gegenstands im öffentlichen Raum“ (S. 7); Evaluation wird mit Politikevaluation gleichgesetzt, und die politikwissenschaftliche Perspektive ist die vorherrschende. Entsprechend ausführlich wird auch auf die Entwicklung und Einbettung der Evaluation im schweizerischen politischen System eingegangen. Andere Gegenstände und disziplinäre Perspektiven werden kaum angesprochen.

Standardisierte Checkliste für die Rezension

A – Inhalte

Die folgende Liste zeigt mögliche Inhalte eines Lehrbuchs für Evaluation. Es muss nicht unbedingt ein Vorteil sein, wenn ein Buch alle Inhalte abdeckt, bzw. ein Nachteil, sollten nicht alle Inhalte behandelt werden. Vielmehr kommt es darauf an, dass die Inhalte vor dem Hintergrund des Anspruchs und der Zielsetzung des Buches in genügender Breite und Tiefe dargestellt sind.

 

Geht das Buch ein auf… ja teil-weise nein Bemerkungen
1 …Definition, Funktionen und Zwecke von Evaluation? x        
2 …Ansätze und Theorien der Evaluation (z.B. im Rahmen eines gegenüberstellenden Überblicks)? x      Darauf wird sogar sehr ausführlich eingegangen.
3 …die geschichtliche Entwicklung der Evaluation? x      Dies wird kurz umrissen.
4 …die DeGEval-Standards (und/oder internationale Äquivalente)? x       Es wird auf die SEVAL-Standards eingegangen.
5 …Organisations- und Feldkenntnisse, Kontextwissen?   x   Evaluation wird als Politikevaluation verstanden, wobei Wissen über das schweizerische politische System oder einzelne Politikbereiche nicht explizit vermittelt wird.
6 …das Projektmanagement bei Evaluationen?   x     Das Kapitel 6 umreisst die vier Phasen Evaluationsplanung, Ausarbeitung des Pflichtenhefts und Auftragsvergabe, Durchführung und Begleitung der Evaluation, Berichterstattung und Verbreitung der Resultate; es wird aber das Projektmanagement nicht im Detail thematisiert.
7 …Sozial- und Selbstkompetenzen von Evaluierenden?      x  
8 …aktuelle internationale Evaluationsliteratur? x      
9 …den gesamten Evaluationsprozess (vom Erstkontakt und der Planung über die Datenerhebung und -analyse, die Berichterstattung bis hin zur Metaevaluation)? x       Wobei der methodische Teil (Datenerhebung und  auswertung) sehr knapp behandelt wird.


B – Didaktik

Bei dem zu rezensierenden Buch handelt es sich (im weitesten Sinne) um ein Lehrbuch, d.h. um ein Medium, das explizit mit didaktischen Intentionen gestaltet wurde und allgemein oder themenspezifisch zu einzelnen Anwendungs- oder Teilbereichen der Evaluation informieren und die aktive Auseinandersetzung mit den dargestellten Inhalten anregen soll. Vor diesem Hintergrund stellen sich im Rahmen der Rezension die folgenden Fragen: 

 

 

ja teil-weise nein Bemerkungen
1 Wird gesagt, an wen sich das Buch richtet? (Zielgruppe(n)) x       Der von den Autoren genannte „grössere Kreis von Personen“ (S.7) wird allerdings nicht näher spezifiziert.
2 Wird gesagt, für welche didaktischen (Anwendungs)Kontexte sich das Buch eignet?         Das Buch will kein Lehrbuch im engeren Sinne sein, sondern informieren und aufklären.
3 Werden konkrete Lernziele formuliert?      x  
4 Sind Fragen zur Selbstkontrolle und/oder Übungen enthalten?       x  
5 Wird der Bezug zur Praxis in angemessenem Umfang hergestellt (z.B. mit Fallbeispielen, konkreten Handlungsempfehlungen)?   x    Im Kapitel 4 werden die Ansätze anhand von Beispielen erläutert. Ansonsten bleibt das konkrete Vorgehen bei der Evaluation (insb. die Logik: Evaluationsfragestellungen und  kriterien, Operationalisierung, Datenauswertung, Bewertung) etwas vage.


C – Textgestaltung

Mit Blick auf die Zielgruppe(n) bzw. den Anwendungskontext des Lehrbuches können auch gestalterische Kriterien an das Medium gestellt werden.

 

 

ja teil-weise nein Bemerkungen
1 Ist die verwendete Sprache prägnant und verständlich? x      
2 Ist die Gliederung übersichtlich und folgt der Aufbau einer erkennbaren Logik („roter Faden“)? x      
3 Werden Abbildungen, Tabellen, Illustrationen etc. in geeigneter Form und geeignetem Umfang eingesetzt?

x     Manche Abbildungen sind allerdings sehr klein geraten (Texte sind schwer lesbar).
4 Ist der Umfang des Buches dem Inhalt und den Zielsetzungen des Buches angemessen?   x   Das Gewicht liegt stark auf Evaluationsansätzen und der  Evaluation im schweizerischen politischen System. Um der Zielsetzung des Buches („einen fundierten Einblick in das facettenreiche Instrumentarium der Evaluation […] verschaffen“, S. 8) in vollem Umfang gerecht zu werden, wäre evtl. eine etwas ausgewogenere Gewichtung notwendig.

5 Alles in allem: Ist der Text hinsichtlich Inhalt und Niveau der Zielgruppe angepasst?   x   Es werden viele methodische Fachbegriffe verwendet, die für die angesprochene breite Zielgruppe evtl. nicht geläufig sind.


D – Formale Kriterien

Abschliessend werden noch einige formale Kriterien aufgeführt, die bei einer Buchbeurteilung zu berücksichtigen sind:

 

Das Buch… ja teil-weise nein Bemerkungen
1 …hat ein angemessenes und nutzendenfreundliches Layout. x      
2 …enthält ein Glossar zentraler Begriffe.     x  
3 …enthält ein Autoren-/Autorinnenverzeichnis.     x  
4 …enthält ein Stichwortverzeichnis.     x  
5 …enthält Hinweise auf weiterführende Literaturquellen. x      
6 …hat einen dem zu erwartenden Nutzen angemessenen Preis. x      
7 …ist für alle Interessierten leicht verfügbar (z.B. über den Buchhandel; ggf. Bemerkungen zu alternativen Bezugswegen). x      


Weitere Rezensionen dieser Publikation:
• von Verena Friedrich
• von Katharina Klockgether