Content

Qualitätserfassung durch Evaluation in:

Anke Hanft

Bildungs- und Wissenschaftsmanagement, page 299 - 319

1. Edition 2008, ISBN print: 978-3-8006-3468-2, ISBN online: 978-3-8006-4405-6, https://doi.org/10.15358/9783800644056_299

Series: Vahlens Handbücher der Wirtschafts- und Sozialwissenschaften

Bibliographic information
4.4. Qualitätserfassung durch Evaluation 287 rungsworkshops auf ihre Aufgaben vorbereitet (Ehses/Zech 2002, S. 23). Die starke Gewichtung auf Lern- und Veränderungsprozesse ist sicherlich das, was dieses Verfahren von den anderen unterscheidet und die starke Anbindung an den Bildungsbereich befördert. 4.4. Qualitätserfassung durch Evaluation Der Beginn der Evaluationsforschung wird auf die 30er-Jahre des 20. Jahrhunderts datiert, als in den USA größere Reformvorhaben durch Evaluationsstudien begleitet wurden und sich bald zu einem integralen Bestandteil der Sozialpolitik entwickelten (Bortz/Döring 1995, S. 95). Ende der 60er-Jahre erlangte sie dann auch in Deutschland größere Bedeutung und kam zunächst im Kontext verschiedener Reforminitiativen zum Einsatz (so gehen z.B. die Lehrevaluationen an Hochschulen auf Veranstaltungskritiken der Studierenden in den End- Sechzigerjahren zurück). Später rückten dann, mit wachsenden Einsparauflagen, Fragen der Effektivität und Effizienz von Bildungsmaßnahmen, Programmen und Projekten (Programm-Evaluation) in den Blickpunkt. In den Hochschulen trat die Frage der Verbesserung der Lehre in den Vordergrund und ist seitdem Gegenstand verschiedener Evaluationsverfahren (Bülow-Schramm 2000, S. 171). Eine engere Verknüpfung mit der TQM-Philosophie zeichnet sich erst seit Beginn der 90er-Jahre ab. Inzwischen werden Evaluationen verstärkt mit der Zuweisung von Finanzmitteln verknüpft. Gleichzeitig wächst die Kritik vonseiten der Bildungsorganisationen, die sich durch ständige Evaluationsverpflichtungen zu sehr belastet sehen. 4.4.1. Begriff und Merkmale In Evaluation steckt der Begriff „Wert“. Das Bewerten im Sinne der Einschätzung oder Klassifizierung eines Gegenstandes oder einer Leistung ist somit grundlegender Bestandteil jeder Evaluation. Die Akzeptanz solcher Bewertungen ist abhängig davon, wer sie vornimmt und an welchen Wertmaßstäben sie erfolgt. Da Evaluation in der Regel Auftragsforschung ist, für die die jeweiligen Auftraggeber (z.B. Ministerien, Verbände, Behörden, Drittmittelgeber) zur Bewertung der – zumeist von ihnen finanzierten – Maßnahmen Mittel bereitstellen, ist dieses Problem besonders virulent. Evaluiert werden können Programme, Projekte, Curricula, Techniken/Methoden, Zielvorgaben und -erreichungen oder Leistungen von Personen oder Teams, aber auch einzelne Abteilungen, Funktionsbereiche (wie z.B. die Bibliothek) oder sogar ganze Organisationen. Aus der Fülle der Definitionen von Evaluation leiten Wottawa/Thierau (2003, S. 14) folgende konstitutive Merkmale ab: 288 4. Qualitätsmanagement und Evaluation • In der Evaluation hat Bewertung einen hohen Stellenwert. • Evaluationen sind zweckorientiert, sie zielen auf einen praktischen Nutzen für das evaluierte Feld. • Evaluationsforschung soll den aktuellen Stand wissenschaftlicher Techniken und Methoden repräsentieren. Evaluation als Bestandteil des Qualitätsmanagements bedeutet die systematische Sammlung, Analyse und Bewertung von Informationen über Kernprozesse der Organisation. Evaluationen machen nur dann Sinn, wenn die Ergebnisse in betriebliche Optimierungsprozesse zurückfließen. Evaluation muss nützlich und brauchbar sein. Hier unterscheidet sie sich von ihrer sozialwissenschaftlichen, der Interessenneutralität und Objektivität verpflichteten Tradition. Eine in der Praxis verwertbare Evaluation bedeutet, Erfahrungen zu beschreiben und zu bewerten sowie Daten systematisch zu erheben, auszuwerten und zu interpretieren, um auf dieser Grundlage Praxis zu verbessern und Entscheidungen für Veränderungen zu treffen. In diesem Sinne beinhaltet Evaluation immer auch eine normative Dimension (Kuper 2005, S. 22). Auf Scriven (1967) geht die Unterscheidung zwischen „summativer“ und „formativer“ Evaluation zurück. Bei der summativen Evaluation bleibt das Evaluationsobjekt während des Evaluationsprozesses unverändert. Ergebnisse können nicht zur Verbesserung der konkreten Maßnahme genutzt werden, sondern allenfalls als Entscheidungsgrundlage für die Optimierung nachfolgender Maßnahmen dienen. Im Mittelpunkt der summativen Evaluation steht daher die Diagnose, die in einen Ergebnisbericht oder ein Gutachten einfließt. Scriven (1986) definiert vier idealtypische Phasen einer summativen Evaluation: • Bestimmung der Bewertungskriterien • Bestimmung der Leistungsstandards • Messung der Ausprägung des betrachteten Evaluationsgegenstandes auf der Wertdimension • Bewertung und Synthese zu einem Gesamturteil. Sriven (1986) betont die Objektivität und Neutralität des Evaluators und plädiert für eine Vorgehensweise, die an Forschungsstandards ausgerichtet auf quantitative Methoden fokussiert. Dies ermöglicht eine weitgehend objektive Problemanalyse und kann als Stärke summativer Verfahren gelten. Für die Erzielung tatsächlicher Veränderungen erweist sich eine forschungsorientierte Vorgehensweise aber oftmals als kontraproduktiv. Insbesondere dann, wenn ein kausaler Zusammenhang zwischen der Diagnose im Evaluationsbericht und daraus abgeleiteten Veränderungsmaßnahmen unterstellt wird. Bei der Umsetzung von Evaluationsergebnissen sind eine Reihe von Faktoren zu berücksichtigen, die nicht Gegenstand von Evaluationen sind (z.B. Stakeholder-Interessen, Veränderungen des Wettbewerbsumfeldes), die aber in Managemententscheidungen einzubeziehen sind. Zudem beinhaltet die summative Evaluation immer auch die Gefahr einer Verfestigung bestehender Strukturen, da schon die Phase der Datenerhebung durch eine mehr oder weniger bewusste Auswahl oder Ak- 4.4. Qualitätserfassung durch Evaluation 289 zentsetzung im Hinblick auf Bedingungen, Ziele, Kriterien etc. geprägt ist. Empfohlen wird daher, schon im Vorfeld der Evaluation Klarheit darüber herzustellen, welche Absichten mit dem Verfahren verfolgt werden und wie eine Umsetzung von Ergebnissen gewährleistet werden kann. Während die summative Evaluation von der eigentlichen Programmdurchführung völlig abstrahieren kann, bietet die formative Evaluation die Möglichkeit eines prozessbegleitenden Qualitätsmanagements. Die im Evaluationsprozess erworbenen Erkenntnisse können schon während der Maßnahme in Veränderungen einfließen, um Optimierungseffekte zu erzielen. Formative Evaluationen unterscheiden sich von summativen Verfahren daher in der Regel durch folgende Merkmale. Sie: • sind auf die Verbesserung von Interventionen ausgerichtet. • sind „action-oriented“, finden also während der Intervention statt. • sind komplex und beinhalten mehrere Datenerhebungen und Ergebnispräsentationen. • verlangen den Einsatz von vorrangig qualitativen Methoden. • sind in der Regel nicht auf den Vergleich zwischen verschiedenen Maßnahmen ausgerichtet (Scriven 1986, S. 19). Die formative Evaluation wird auch als Prozessevaluation bezeichnet, da der Verlauf einer Handlung oder die Umsetzung eines Programms im Mittelpunkt steht. Dagegen kann die summative Evaluation als Outputevaluation charakterisiert werden, weil die Ergebnisse von Handlungen oder Programmen Gegenstand der Evaluation sind. Darüber hinaus wird von einer Inputevaluation gesprochen, wenn die Gestaltung von Programmen, Maßnahmen oder Projekten vor ihrem Start evaluiert wird. Dies ist in Bildungs- und Wissenschaftseinrichtungen besonders häufig dann der Fall, wenn es um die Bewilligung von Fördergeldern oder Ressourcenzuweisungen geht (Kuper 2005, S. 15 ff.). Ein zentrales Konfliktfeld der Evaluation besteht in ihrem Theorie-Praxis-Verhältnis. So ist die Frage nach der wissenschaftlichen Unabhängigkeit von Evaluation nicht losgelöst von den Interessen an der Verwertbarkeit der Evaluationsergebnisse und den mit der Evaluation verfolgten Zielen zu beantworten. Aus der Verwendung der Evaluationsergebnisse bezieht die Evaluationsforschung ihre Legitimation, und dies macht gleichzeitig ihren Unterschied zur originären wissenschaftlichen Forschung aus (Kuper 2005, S. 96 ff.). Für die Sicherung der Qualität von Evaluationsverfahren wurden vom „Joint Committee on Standards for Educational Evaluation“10 bereits im Jahre 1994 Standards entwickelt, die inzwischen allgemein anerkannt sind und auch von der Deutschen Gesellschaft für Evaluation übernommen wurden (2002). Die vier Standardgruppen mit insgesamt 25 Unterkriterien erheben den Anspruch, auf unterschiedliche Evaluationsansätze und -zwecke anwendbar zu sein: 10 Vgl. http://www.wmich.edu/evalctr/jc/, Download: 4.3. 2008. 290 4. Qualitätsmanagement und Evaluation Die Verständigung auf gemeinsame Standards ist vor dem Hintergrund, dass mit Evaluationen bzw. den Evaluationsergebnissen unterschiedliche Interessen von unterschiedlichen Gruppierungen verfolgt werden, von besonderer Bedeutung. So hat jede Evaluation Auftraggeber, Finanziers, Nutzer, Adressaten, Betroffene und Beteiligte, die teilweise mehrere Rollen gleichzeitig einnehmen und in die Evaluation eigene Interessen einbringen. Ist der Auftraggeber eine übergeordnete Behörde, die politische Entscheidungen mit Evaluationsergebnissen rechtfertigen will, dürfte diese andere Anforderungen stellen als organisationsinterne Auftraggeber, die von einer Evaluation Anregungen für Verbesserungsprozesse erwarten. In Bildungseinrichtungen dienen Evaluationen oftmals der Rechenschaftslegung, um einrichtungsübergreifende und vergleichbare Informationen als Grundlage für bildungspolitische Eingriffe zu erhalten. Die Verpflichtung auf Standards stellt sicher, dass eine gewisse Objektivität der Evaluationsergebnisse gewahrt bleibt und eine einseitige Vereinnahmung erschwert wird. 4.4.2. Evaluationsverfahren und -methoden Evaluation greift zurück auf Methoden der empirischen Sozialforschung, insb. Fragebogen, Interviews, Dokumentenanalysen und Beobachtungen. Je nach Evaluationsgegenstand kommen quantitative oder qualitative Verfahren zum Einsatz. Die Auswahl der Verfahren sollte anhand der Evaluationsziele, der Größe der Organisation und des verfügbaren Datenmaterials sowie anhand eines angemessenen Verhältnisses von Zeitaufwand und Kosten erfolgen. Der mit Standards für Evaluationen: Die 4 Standardgruppen • Nützlichkeitsstandards … sollen sicherstellen, dass eine Evaluation sich an den Informationsbedürfnissen der vorgesehenen Evaluationsnutzer ausrichtet. • Durchführungsstandards … … sollen sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst durchgeführt wird. • Fairness-Standards … … sollen sicherstellen, dass eine Evaluation rechtlich und ethisch korrekt durchgeführt wird und dem Wohlwollen der in die Evaluation einbezogenen und auch der durch die Ergebnisse betroffenen Personen gebührende Aufmerksamkeit widmet. • Genauigkeits-Standards … … sollen sicherstellen, dass eine Evaluation über die Güte und/oder die Verwendbarkeit des evaluierten Programms fachlich angemessene Informationen hervorbringt und vermittelt. Tab. 4.7: Standards für Evaluationen: Die 4 Standardgruppen Quelle: http://www.degeval.de/index.php?class=Calimero_Webpage&id=9025 (Download am 4.3. 2008) 4.4. Qualitätserfassung durch Evaluation 291 der Durchführung von Evaluationen für die Beteiligten verbundene Mehraufwand wird von ihnen nur dann in Kauf genommen, wenn ihm ein erkennbarer Ertrag in Form von realen Verbesserungen gegenübersteht. Der Einsatz von Evaluationen im Rahmen des Qualitätsmanagements ist untrennbar an diese Voraussetzung gebunden. 4.4.2.1. Selbstevaluation Selbstevaluationen zeichnen sich dadurch aus, dass Informationen und Daten über Verfahren der Selbstbewertung, des Kollegen- oder Teilnehmer-Feedbacks, bzw. über interne Projektgruppen erhoben werden. Selbstevaluation kann als Verfahren der internen Organisationsentwicklung eingesetzt werden, aber auch der Rechenschaftslegung dienen, um die Erreichung von Zielen oder eigenen bzw. fremd-definierten Standards nachzuweisen. Voraussetzungen für die Durchführung von Selbstevaluationen sind (in Anlehnung an Liebald 2000, S. 34 ff.): • Freiwilligkeit bzw. mindestens ein minimaler Konsens über die Teilnahmebereitschaft • Größt mögliche Transparenz des Verfahrens und der Ergebnisse • Weitgehende Partizipation der Beteiligten an Planung und Durchführung • Konsens der Beteiligten hinsichtlich des Umgangs mit den Ergebnissen • Schriftliche Dokumentation des Verlaufs und der Ergebnisse. Nur bei Erfüllung dieser Voraussetzungen sind Commitment und Motivation der Beteiligten zu erwarten, die einen erfolgreichen Verlauf gewährleisten. Burkard/Eikenbusch (2000, S. 24–28) schlagen für die Selbstevaluation einen Ablauf in fünf Arbeitsschritten vor: • Auswählen des Evaluationsbereichs und Zielklärung: Worüber sollen Erkenntnisse gewonnen werden und mit welchem Ziel? • Vereinbarung von Qualitätskriterien und Qualitätsindikatoren: Welche Kriterien geben Aufschluss über den Evaluationsgegenstand? • Vorgehensplanung und Auswahl der Datenerhebungsmethoden: Mit welchen Methoden können die gewünschten Daten generiert werden? Wie viel Aufwand ist hierzu erforderlich und ist dieser zu rechtfertigen? • Datenanalyse und -bewertung: Was sagen die Ergebnisse aus über den Evaluationsgegenstand? • Ableitung von Konsequenzen und Umsetzungsplanung: Welcher Handlungsbedarf ergibt sich aus den Ergebnissen? Für die Durchführung interner Evaluationen ist die Einrichtung von Projektgruppen zu empfehlen, denen die Prozessverantwortung obliegt und die über Steuerungsgruppen mit den Gremien verbunden sind. Die Ergebnisse der Evaluation sollten sich in konkreten Arbeitsprogrammen niederschlagen. Nur wenn Evaluationen mit entsprechenden Konsequenzen verbunden sind, kann eine Bereitschaft zur Beteiligung erwartet werden. 292 4. Qualitätsmanagement und Evaluation Die Stärken der Selbstevaluation bestehen sicherlich in der hohen Beteiligung der Organisationsmitglieder bei der Standortbestimmung und Neuorientierung. Die Motivation für eine Praxisverbesserung aus eigener Kraft ist eher gegeben, wenn die Beteiligten bereits bei der Problemerhebung einbezogen werden. Zudem bietet sich die Selbstevaluation auch für kleinere Organisationen an, denen Ressourcen für umfangreiche Fremdevaluationen fehlen. Die Risiken bestehen darin, dass bei einem ausschließlich internen Vorgehen mögliche Probleme gar nicht in den Blick rücken („Betriebsblindheit“). Weiterhin besteht die Gefahr, dass Evaluationen von einzelnen Organisationsmitgliedern für ihre Zwecke instrumentalisiert werden, was bei einer externen „neutralen“ Begleitung weniger wahrscheinlich ist. Eine externe Moderation des Prozesses ist daher dringend anzuraten. In jedem Fall sollten sich die Beteiligten darüber im Klaren sein, dass eine Evaluation immer nur ein erster Schritt auf dem Weg zu tatsächlichen Veränderungen sein kann. Zwischen der Problemdiagnose, der Beschließung von Veränderungen und deren tatsächlicher Umsetzung besteht kein linearer Zusammenhang. Nur wenn bei allen Beteiligten das Commitment für die Durchführung von Veränderungen vorausgesetzt werden kann, ist deren Umsetzung wahrscheinlich (Brunsson 1985; Brunsson 1989). 4.4.2.2. Externe Evaluation und Peer Review In einer externen Evaluation beobachten, analysieren und bewerten Außenstehende die Praxis in der Organisation, um daraus Empfehlungen für deren Weiterentwicklung abzuleiten. Bei einer Begutachtung durch Fachkolleginnen und -kollegen wird von einem Peer Review Verfahren gesprochen. Diese Form der Evaluation gilt als zentrale Form der Beurteilung wissenschaftlicher Leistungen und hat insbesondere bei der Begutachtung von wissenschaftlichen Fachartikeln eine lange Tradition. Kritiker der Peer Reviews bemängeln künstlich überhöhte Abweisungsraten sowie die geringe Reliabilität und Validität der Peer-Urteile, die sich u.a. in einer unzureichenden Übereinstimmung der Urteile, der Hinzuziehung sachfremder Überlegungen bei der Beurteilung und in der Fehleinschätzung der Bedeutung wissenschaftlicher Arbeiten ausdrücke, und empfehlen eine generelle Überprüfung der gegenwärtigen Praxis (Bornstein 1991; Fröhlich 2006). Bei Peer Reviews, die über die Beurteilung einzelner wissenschaftlicher Beiträge hinausreichen, wird empfohlen, die Urteilsbildung der Peers durch Einbeziehung quantitativer Informationen zu unterstützen, die externe Begutachtung also durch interne indikatorengesteuerte Stärken-Schwächen-Analysen zu ergänzen (Daniel 2006). Für diese mehrstufigen Verfahren hat sich nachfolgende Ablaufplanung bewährt (vgl. Tab. 4.8), die in einer Vielzahl von Handreichungen, Praxishilfen und Erfahrungsberichten dokumentiert ist (z.B. HRK 1998 und 2000; Reissert/Carstensen 1998). 4.4. Qualitätserfassung durch Evaluation 293 Im Vorfeld einer Evaluation sind mit den beteiligten Akteuren Zielsetzungen, Erwartungen und Rahmenbedingungen abzuklären. In diesem Zusammenhang sollte auch eine Verständigung über verschiedene in die Evaluation einfließende Wertmaßstäbe erfolgen. Insbesondere sind grundlegende Wertorientierungen, Bewertungskriterien und Vergleichsmaßstäbe zu klären. Alle beteiligten Interessengruppen sollten sich darüber im Klaren sein, dass die Bestimmung von Entscheidungsregeln immer interessengeleitet ist und das Ziel einer „wertfreien“ Evaluation kaum erreichbar ist. Bei widersprüchlichen Vorstellungen sollte schon im Vorfeld eine Einigung erzielt werden, damit diese den Evaluationsprozess nicht beeinflussen. Die Auswahl der Evaluatoren erfolgt auf Grund ihrer fachlichen Ausbildung, ihrer Reputation und ihrer beruflichen Erfahrung, die sie in die Lage versetzt, eine den Standards entsprechende Evaluation durchzuführen. Bei der Durchführung eines Verfahrens sollten in der Gruppe der Evaluatoren Kompetenzen in der institutionellen Beratung, in der Fachbegutachtung und in der Leitung von Einrichtungen zusammenkommen. Steht die fachliche Qualifizierung der Evaluatoren im Vordergrund, werden sie auch als Peers bezeichnet. Bei Hochschulevaluationen erfolgt ihre Berufung fallbezogen und auf einzelne Verfahren begrenzt durch den wissenschaftlichen Beirat der Evaluationsagentur, wobei den zu evaluierenden Fachbereichen ein Vetorecht eingeräumt wird (HRK 2000). Das Mitspracherecht der zu evaluierenden Einrichtungen gilt als wichtige Bedingung für die Akzeptanz des Verfahrens, birgt aber die Gefahr von Interessenkonflikten (Bülow-Schramm 2006, S. 96). Methoden, die in der Evaluation zum Einsatz kommen, sind Befragungen, Beobachtungen und/oder Dokumentenanalysen. In Abhängigkeit zur Größe der Organisation werden diese Verfahren mehr oder weniger standardisiert eingesetzt. Wegen ihres kommunikativen Charakters haben sich vor allem Gruppendiskussionen bewährt (Bülow-Schramm 2006, S. 97). In der Vorbereitungsphase einer externen Evaluation sollte das Vorhaben zwischen Auftraggebern, den verschiedenen Beteiligten und Betroffenen und den Evaluatoren sorgfältig festgelegt werden. Der gewählte Ansatz ist offen zu legen und zu begründen. Phasen des Peer-Review-Verfahrens Evaluationsform Erstellung eines Lehrberichts in der Lehreinheit Selbstevaluation Begutachtung der Lehreinheit durch renommierte Fachkollegen auf der Grundlage des Lehrberichts und Begehung der Lehreinheit. Vorschlag von Maßnahmen zur Behebung der Schwächen und Betonung der Stärken Fremdevaluation Stellungnahme der Lehreinheit zum Gutachten Einverleibung der Fremdevaluation Tab. 4.8: Phasen des Peer-Review-Verfahrens Quelle: Bülow-Schramm (2006, S. 98 f.) 294 4. Qualitätsmanagement und Evaluation Externe Evaluationen fußen normalerweise auf einem umfassenden Selbstreport der zu evaluierenden Einrichtung. Dieser enthält statistische Grunddaten (z.B. Studierenden- und Teilnehmerquoten, Drop-out-Raten und Abbruchquoten, Abschlüsse und durchschnittliche Studiendauer), Dokumente (z.B. Prüfungsordnungen, Studienordnungen, Personalstruktur), Organigramme und Primärerhebungen (z.B. Veranstaltungs- und Kundenbefragungen). Des Weiteren werden die infrastrukturellen Rahmenbedingungen und das Leistungsprofil, sowie Leistungsstärken und Leistungsschwächen der Einrichtung dargelegt. Nach Auswertung dieses Selbstreports durch die Gutachter findet die sog. Begehung statt, die keine systematische Beobachtung darstellt, sondern eher dazu dient, „sich einen Eindruck zu verschaffen“. Die dabei erfolgenden Gruppendiskussionen und Interviews haben daher eher den Charakter von halbstrukturierten Gesprächen. Die Interpretation der Ergebnisse der Begehung durch die Gutachter erfolgt auf der Grundlage weiterer Informationen und Materialien, wie sie z.B. in Leitbildern, strategischen Entwicklungsplanungen oder Profilbeschreibungen dokumentiert sind. Weiterhin sind bei der Erstellung der Empfehlungen die spezifischen Kennzeichen der zu evaluierenden Einrichtung, ihre Besonderheiten im regionalen, deutschen und internationalen Raum, Gesetze und Vorschriften, institutionelle und pädagogische Leitziele, gesellschaftliche Normen, Vergleiche mit anderen Einrichtungen, Interessen und Bedarfe der Kunden, erwartete Leistungen der zu evaluierenden Gruppen oder fachliche Standards und Urteile zu beachten. Die Interpretation der erhobenen Daten erfolgt in einem abgestimmten Verfahren durch die Gutachtergruppe und wird in einem Abschlussbericht oder Gutachten festgehalten. Dieses enthält neben der Dokumentation der festgestellten Stärken und Schwächen im Regelfall auch Empfehlungen für die Weiterentwicklung der Organisation bzw. des Evaluationsgegenstandes. In Abhängigkeit zum Evaluationszweck und zuvor festgelegten Verfahrensablauf kann den Auftraggebern, Beteiligten, Betroffenen oder der durchführenden Projekt- und Steuerungsgruppe die Möglichkeit zur Stellungnahme eröffnet werden. Dies kann schriftlich erfolgen oder in einer Ergebnisdiskussion in gemeinsamen Auswertungs-Workshops. Die Veröffentlichung der Evaluationsergebnisse setzt in den meisten Fällen das Einverständnis der evaluierten Einrichtungen voraus (Bülow-Schramm 2006, S. 98). Die herausgehobene Bedeutung, die dem Kollegensystem im Peer Review Verfahren zukommt, wird auch deshalb als problematisch eingeschätzt, da es nicht unwahrscheinlich ist, dass sich Evaluationsbeteiligte im Verlauf der Zeit in beiden Rollen, als Gutachter und Begutachtete, begegnen werden. Dies kann die Objektivität der Stellungnahmen beeinflussen und das Kollegensystem herkömmlicher Art stärken (Bülow-Schramm 2006, S. 98). 4.4. Qualitätserfassung durch Evaluation 295 4.4.3. Programm-, Lehr- und Forschungsevaluation 4.4.3.1. Programm- und Kursevaluation in der Weiterbildung Auf eine relativ lange Tradition kann die Programm- und Kursevaluation in der Weiterbildung zurück blicken. Im Vordergrund stehen dabei vor allem Zufriedenheitsbefragungen und/oder Lernzielkontrollen, die zum festen methodischen Repertoire von Weiterbildnern zählen. In einer Vielzahl praxisnaher Gestaltungsempfehlungen sind Checklisten und Formularhilfen zur Durchführung dieser Befragungen veröffentlicht (z.B. Grilz 1998; Götz/Häfner 2002). Mit wachsender Bedeutung teilnehmeraktivierender Lehr- und Lernmethoden haben sich in den vergangenen Jahren kreativere Formen der Teilnehmerevaluation verbreitet. Die Suche nach alternativen Formen ist auch in der zunehmenden „Evaluationsmüdigkeit“ der Teilnehmer/innen begründet. Reischmann (2006, S. 45 ff.) führt verschiedene Beispiele dafür an, wie Kursevaluationen ohne größeren Zeit- und Ressourcenaufwand und mit großer methodischer Vielfalt durchgeführt werden können: • Qualitative Bewertung von Kurselementen durch Kartenabfrage: Über verschiedenfarbige Karten geben Teilnehmer/innen positive und negative Bewertungen zu verschiedenen Kurselementen ab. • Quantitative summative „Thermometer“-Rückmeldung: Die Ziele des Kurses werden vom Kursleiter auf Karten geschrieben und auf einer Pinnwand befestigt. Unter die Ziele wird jeweils ein Thermometer gezeichnet, auf dem die Teilnehmer/innen den jeweiligen Grad der Zielerreichung mit Punkten kennzeichnen können. • Leistungsprüfung mit „Tests“: Teilnehmer bearbeiten nach einzelnen Kursabschnitten verschiedene Arbeits- und Aufgabenblätter. Dokumentiert wird, wie viele Teilnehmer/innen die Aufgaben erfolgreich allein lösen können. • Kursbeurteilungsbogen – ein quantitatives Standardinstrument: Mithilfe eines quantitativen Verfahrens werden die Teilnehmer/innen zu verschiedenen Elementen des Kurses, wie Stoffbeherrschung, Lernbereitschaft, Lernunterstützung und Klima befragt. • Breitenevaluation – ein qualitatives Erhebungsinstrument: Mithilfe eines offenen Fragebogens wird nach den intendierten und nicht intendierten Wirkungen (Wissen, Können, Einstellungen) der Weiterbildungsmaßnahme gefragt. Hintergrund ist, dass Evaluationen oftmals nur die vom Kursleiter intendierten Ziele abfragen und nicht-intendierte Effekte in der Auswertung verborgen bleiben. Weitere Verfahren sind die Ablaufevaluation, in der Soll- und Ist-Verlauf grö- ßerer Lehrprojekte oder Programme unter Einsatz von Projektmanagementmethoden prozessbegleitend evaluiert werden, die Kosten-Nutzen-Evaluation einer Bildungsmaßnahme, in der betriebswirtschaftliche Faktoren im Mittelpunkt der Evaluation stehen, und die Vorab-Evaluation, in der ein geplantes Programm anhand bestimmter Kriterien überprüft wird (Reischmann 2006, 296 4. Qualitätsmanagement und Evaluation S. 65 ff.). Während die vorgenannten Evaluationen mit relativ geringem Aufwand durch die Teilnehmer/innen durchgeführt werden können und vor allem als summative Feed-back-Systeme von der Kursleitung und der anbietenden Institution genutzt werden, dienen die ungleich aufwändigeren drei letztgenannten Verfahren vor allem als Input- oder Prozessevaluation und kommen schon in der Planungsphase zum Einsatz. Die Evaluationspraxis in der Weiterbildung hat sich in den vergangenen Jahren über Zufriedenheits- und Erfolgskontrollen in Programmen, Kursen und Trainings hinaus in mehrere Richtungen weiterentwickelt: • Die Wirkung von Trainings, also die betriebswirtschaftliche Dimension von Weiterbildung, rückt zunehmend in den Mittelpunkt. Insbesondere die betriebliche Weiterbildung ist gehalten, Investitionen in Personalentwicklung zu begründen und deren Effizienz und Effektivität nachzuweisen (Niehoff/ Werth/Deller 2006). Evaluation wird daher in ein an Kirkpatrick (1959) angelehntes Bildungserfolgscontrolling eingebunden (Merk 2006, S. 397 ff.). • Teilnehmerzufriedenheit und Lernerfolge sind Einzelindikatoren im Rahmen eines umfassenderen Qualitätsmanagementsystems, in dessen Zusammenhang weitere Output-Faktoren zu evaluieren sind (Grilz 1998). • Zunehmend werden ganze Einrichtungen, vor allem im Rahmen ihrer staatlichen Anerkennung, aber auch zum Zwecke der Organisationsentwicklung und -beratung externen Begutachtungen unterzogen (Meisel/Feld 2005). • Weiterhin ist ein wachsendes Interesse an einer System-Evaluation zu verzeichnen, in deren Mittelpunkt die Weiterbildung im gesamten Bildungssystem stehen soll. Diese steckt bislang allerdings erst in den Anfängen (Nuissl/ Schlutz 2001). Insgesamt nehmen Evaluationen in der Weiterbildung heute einen weitaus grö- ßeren Raum ein als dies noch vor einigen Jahren zu verzeichnen war. Neben der Kurs- und Programmevaluation kommt der Einrichtungsevaluation die größte Bedeutung zu. 4.4.3.2. Lehrevaluationen in Hochschulen und ihre Kritik Evaluation ist als allgemeine Aufgabe der Hochschulen seit 1998 im Hochschulrahmengesetz und inzwischen auch in allen Landeshochschulgesetzen verankert. Als Lehrevaluationen zählen sie zu den bislang am häufigsten in Hochschulen eingesetzten Verfahren zur Qualitätssicherung. Ihre weite Verbreitung ist sicherlich auch in ihrer Verwurzelung in der Evaluationsforschung begründet, die ihre Akzeptanz gegenüber betriebswirtschaftlich basierten Qualitätsmanagementverfahren (insb. ISO-Normierung, EFQM-Modell) befördert. Lehrevaluationen reichen von studentischen Lehrveranstaltungskritiken (HRK 2006) bis hin zu mehrstufigen Evaluationsverfahren. Diese werden von Evaluationsagenturen organisiert, die Informationen der zu evaluierenden Bereiche anfordern, Daten auswerten und aufbereiten und an die Gutachtergruppen weiterleiten, die Begehungen durch die Gutachter vorbereiten und begleiten und 4.4. Qualitätserfassung durch Evaluation 297 die Erstellung der Abschlussberichte unterstützen (HRK 2000). Am häufigsten kommt das mehrstufige Peer Review Verfahren (vgl. Abs. 4.4.2.2.) zum Einsatz. Auf die größte Erfahrung bei der Organisation hochschulübergreifender Qualitätssicherungsverfahren können der länderübergreifende Verbund Norddeutscher Hochschulen (Modell „Nordverbund“) und die Zentrale Evaluationsagentur Niedersachsen (ZEvA) verweisen (HRK 2000). • Vereinbarung über die Ziele des Verfahrens, über die Rechte und Pflichten der Beteiligten und über die Behandlung der Ergebnisse. • Interne Evaluation: Mit Hilfe eines zwischen den Universitäten abgestimmten Frageleitfadens wird eine Stärken-Schwächen-Analyse erstellt. Diese Selbstbeschreibungen sind Grundlage für die externe Evaluation. • Externe Evaluation: Während der externen Evaluation besucht eine Gutachterkommission jeden Fachbereich/jedes Institut für ein bis zwei Tage. Die Gutachtenden werden vom Sprecher des Verbundes berufen. Die evaluierten Institute/ Fachbereiche empfehlen die fachlichen Schwerpunkte, die in der Kommission vertreten sein sollen und einigen sich auf eine Vorschlagsliste von Persönlichkeiten ihres Faches, die nicht aus den Universitäten des Verbundes kommen. Auf der Basis der Selbstbeschreibungen und der Gespräche vor Ort erarbeitet die Gutachterkommission ein vorläufiges Gutachten und spricht Empfehlungen für Neuerungen aus. • Empfehlung/Auswertende Konferenz: Die Auswertende Konferenz bildet den Brückenschlag zwischen externer Evaluation und der Follow Up Phase, indem sie von den Empfehlungen der Gutachterkommission zu den konkreten Maßnahmen in den Hochschulen überleitet. An ihr nehmen Vertreter der evaluierten Fachbereiche/Institute, die Gutachtenden und alle Hochschulleitungen teil. • Follow Up: Diese Phase enthält mehrere Arbeitsschritte; sie findet nicht mehr gemeinsam im Verbund, sondern in jeder Universität einzeln statt. Abgesprochen im Verbund ist nur die Vorgehensweise in der Pflege der Konsequenzen aus einer Evaluation: Es gibt ein Muster für die Zielvereinbarungen zwischen evaluiertem Fachbereich/Institut und Universitätsleitung und eine Absprache, in welchen Zeiträumen (jeweils mindestens jährlich) die Umsetzung der Konsequenzen kontrolliert werden soll. • Veröffentlichung: Die Ergebnisse der Evaluation werden in einer Reihe veröffentlicht, die die Geschäftsstelle des Verbundes herausgibt. Abb. 4.6: Verfahrensmodell Nordverbund. Quelle: Verbund Norddeutscher Universitäten: http://www.uni-nordverbund.de/ 2_evaluation/2_verfahren.html (Download: 20.3. 2006) 298 4. Qualitätsmanagement und Evaluation Der Verbund Norddeutscher Universitäten („Nordverbund“) wurde 1994 als hochschulübergreifender Verbund der Universitäten Oldenburg, Bremen, Hamburg, Kiel, Rostock und Greifswald gegründet, später um weitere Hochschulen erweitert (Groningen und Lübeck) und hat inzwischen Studiengänge in nahezu allen Fachbereichen dieser Hochschulen evaluiert. Der erste Evaluationszyklus folgte entlang des Verfahrensmodells (s. Abb. 4.6). In dem seit 2004 durchgeführten zweiten Zyklus kommt ein modifiziertes Verfahren zum Einsatz. Beibehalten wird die Mehrstufigkeit des Verfahrens, wobei allerdings nicht mehr die gesamte Breite der Prozesse in Lehre und Studium abgebildet, sondern auf ausgewählte, für die Fachbereiche besonders relevante Themen fokussiert wird. Im Mittelpunkt steht die Orientierung an Learning outcomes, das Qualitätsmanagement der Fachbereiche und Institute sowie ein dritter, von den Fachbereichen frei wählbarer Bereich. Zudem wird die Evaluation nun strukturell mit anderen Steuerungsinstrumenten gekoppelt. Einbezogen wird nun die Rolle der Hochschulleitung bei der Förderung der Studienfächer, weiterhin wird die Gutachterkommission um einen Organisationsentwicklungsexperten erweitert und das Monitoring der Zielvereinbarungen an andere Controllingverfahren gekoppelt. Die Zentrale Evaluations- und Akkreditierungsagentur Hannover (ZEvA) wurde als gemeinsame Einrichtung der niedersächsischen Hochschulen auf Beschluss der Landeshochschulkonferenz Niedersachsen (LHK) im Jahre 1995 gegründet und wird von der Landesregierung finanziert. Ihre Aufgabe besteht darin, die Qualitätssicherung und -verbesserung von Lehre und Studium an den Hochschulen Niedersachsens zu unterstützen. Die von ihr organisierten Evaluationsverfahren bestehen aus folgenden Verfahrensschritten: I. Phase: Selbstevaluation und Vorbereitung der externen Evaluation Agentur (4 Wochen): • operationalisiert das Arbeitsprogramm • informiert Hochschulleitungen und Fachbereiche über die Evaluationsvorhaben (zeitl. Ablauf, Leitfaden) • erarbeitet Vorschläge zur Struktur der Gutachtergruppe • bietet Workshops zur Zielfindung einzelner Vorhaben an Fachbereich (4 Wochen) • richtet eine Arbeitsgruppe ein, die den Bericht zur Selbstevaluation erstellt (Studierende, Lehrende) • erörtert mit der Agentur die Benennung der Gutachter Fachbereichsarbeitsgruppen (10 Wochen) • erstellen den Arbeitsplan für den Bericht • bearbeiten den Frageleitfaden hinsichtlich fachspezifischer Schwerpunkte und Erfordernisse • tragen das notwendige Datenmaterial zusammen • erstellen den Bericht zur Selbstevaluation und legen ihn dem Dekan des Fachbereichs sowie der Agentur vor 4.4. Qualitätserfassung durch Evaluation 299 Das Verfahren besteht aus einem mehrstufigen Prozess von Selbstevaluation anhand eines von der ZEvA zur Verfügung gestellten Leitfadens und der Fremdevaluation in Form eines Peer Reviews. An die Evaluation soll sich ein Maßnahmenprogramm anschließen, das in einer Zielvereinbarung zwischen Hochschulleitung und Fachbereichen beschlossen wird. Die ZEvA wird über den Stand der Umsetzung nach zwei Jahren informiert (Künzel 2006). Inwieweit diese Informationen, die auch auf gescheiterte Umsetzungsprozesse hinweisen Agentur (4 Wochen) • nimmt die Berichte entgegen und leitet sie an die Gutachter weiter • lädt die von ihr benannten Gutachter zur Vorbereitung der externen Evaluation ein • bereitet die Gutachterbesuche vor und stimmt den weiteren Zeitplan ab II. Phase: Externe Evaluation Agentur (6 Wochen) • stimmt die Gutachterbesuche mit den Fachbereichen ab und nimmt an den Gesprächen vor Ort teil • stimmt das weitere Vorgehen mit den Gutachtern ab Gutachtergruppen (Peer-groups) (6 Wochen) • legen in Abstimmung mit der Agentur den Arbeitsplan für die externe Begutachtung fest • rezipieren die Berichte zur Selbstevaluation • evaluieren die Fächer vor Ort • führen Abschlussgespräche mit den Fachbereichen • erarbeiten den Entwurf des Gutachtens und • stellen es den Fachbereichen zur Stellungnahme zur Verfügung Fachbereiche (6 Wochen) • nehmen Stellung zum Gutachten und den Empfehlungen der Gutachtergruppe • legen Vorschläge zur inhaltlichen und zeitlichen Umsetzung der Empfehlungen vor Gutachtergruppen (Peer-groups) 4 Wochen • erstellen mit Unterstützung der Agentur den Abschlussbericht Agentur (6 Wochen) • stimmt die für die Veröffentlichung vorgesehene Fassung des Abschlussberichtes mit der Gutachtergruppe ab • informiert die Lenkungsgruppe über den Abschluss des Verfahrens anhand des Entwurfs der Veröffentlichung Agentur • veröffentlicht ggf. auf Wunsch den Abschlussbericht Tab. 4.9: Schritte des Evaluationsverfahrens der ZEvA Quelle: http://www.ZEvA.uni-hannover.de/evaluation/erstevaluation/ verfahrensablauf.htm, (Download: 20.3. 2006) 300 4. Qualitätsmanagement und Evaluation sollten, in weiterreichende Konsequenzen, zum Beispiel im Rahmen der Landeshochschulplanung oder der hochschulinternen Strategieplanung einmünden, bleibt offen. Zur Verschlankung des Verfahrens fokussiert der zweite Evaluationszyklus als Follow-up-Evaluation auf Veränderungen gegenüber der Erstevaluation, auf Maßnahmen der Qualitätssicherung und -verbesserung von Lehre und Studium sowie auf Fragen zum Absolventenverbleib. Nach einem ersten flächendeckenden Durchlauf soll auf die Weise der Evaluationsaufwand erheblich verringert werden (vgl. Hochschulrektorenkonferenz 2000). Eine im Falle Niedersachsen nahe liegenden Koppelung von Lehr- und Forschungsevaluation, die den Evaluationsaufwand in den Hochschulen reduzieren würde, ist bislang nicht geplant. Die Verfahren des Nordverbundes und der ZEvA sind an der holländischen Evaluationspraxis orientiert und ähneln sich in starkem Maße. Nach mehreren abgeschlossenen Evaluationszyklen von ZEvA und Nordverbund liegen mittlerweile Erfahrungen vor, die in einer Metaevaluation ausgewertet wurden und auf Erfolge, aber auch auf notwendige Weiterentwicklungen hinweisen (vgl. Künzel 2006; Mittag/Bornmann/Daniel 2003; Daniel 2004; Reuke 2006): • Als positiver Effekt gilt, dass die Bildungs- und Ausbildungsfunktion der Hochschulen stärker in das Bewusstsein der Hochschulangehörigen gerückt wurde. • Die regelmäßige Wiederholung von Evaluationen führt zu sinkenden Erträgen, weshalb statt flächendeckender standardisierter Verfahren gezielte Evaluationen von Einzelprogrammen und spezifischen Faktoren, wie Learning outcomes, Internationalität, Servicebereiche, Prüfungsorganisation etc. durchgeführt werden sollten. • Der Übergang von flächendeckenden zu gezielten Evaluationen erfordert ausgebaute Berichts- und Managementinformationssysteme, die alle für Planungs- und Steuerungsprozesse erforderlichen Daten und Informationen zur Verfügung stellen. • Es besteht eine deutliche Diskrepanz zwischen Evaluationsempfehlungen und deren Umsetzung. Durch eine stärkere Gewichtung der Umsetzung (z.B. in Form eines Follow-up-Controllings) sollen die Veränderungswirkungen von Evaluationen verbessert werden. • Eine stärkere Verzahnung von Lehr- und Forschungsevaluation einerseits und Evaluation und Akkreditierung andererseits ist anzustreben. • Evaluationsverfahren sind in Richtung einer Outcome-Orientierung, der Beteiligung der Gutachter an der Umsetzung von Empfehlungen und der Bewertung des internen Qualitätsmanagements eines Faches weiterzuentwickeln. • In der Gutachtergruppe sollten Erfahrungen in der Leitung von Hochschulen vorhanden sein, um zu Handlungsempfehlungen zu gelangen, die jeweils spezifische Bedingungen vor Ort berücksichtigen. • Evaluation wird eher als externe Anforderung denn als Teil der Selbststeuerung der Hochschulen erfahren. 4.4. Qualitätserfassung durch Evaluation 301 • Die Verantwortung für Evaluationen wird an Evaluationsbeauftragte delegiert, die mit der Umsetzung der Ergebnisse nicht befasst sind. • Unterschiedliche Auffassungen bestehen dahingehend, ob Adressaten der Gutachterempfehlungen ausschließlich die evaluierten Hochschulen, Fachbereiche und Fächer sein sollten oder auch die jeweiligen Ministerien, denen die Systemverantwortung für Studium und Lehre und deren Qualität obliegt. Die an den Nordverbund und die ZEvA gerichtete Kritik lässt sich durch weitere substanzielle Kritikpunkte ergänzen, die die gegenwärtige Lehr-Evaluationspraxis generell hinterfragen. Als grundsätzliche Schwäche gilt, dass die eigentlichen Ziele, nämlich die Qualitätssteigerung der Lehre, die Erhöhung des Stellenwerts der Lehre und letztlich die dadurch erzielte Verbesserung der Kompetenzen der Absolventen durch Evaluation bislang nicht systematisch überprüft wird (Spiel 2004, S. 56 f.). Evaluationsverfahren sollten daher zukünftig prospektiv, also an Zielen ausgerichtet, prozessbezogen und in ein kohärentes Qualitätsmanagementsystem eingebunden sein (Spiel 2001; Spiel 2004; Künzel 2006). Der Evaluationsschwerpunkt verlagert sich dann auf die institutionelle Ebene mit dem Ziel der Prüfung, ob eine qualitätsorientierte Steuerung auf allen Ebenen der Hochschule, von der Hochschulleitung über die Fakultäten bis hinein in die Institute, stattfindet. Die Evaluation der Fächer wird auf stichprobenartige Überprüfungen beschränkt, Gegenstand der Evaluation soll die größtmögliche Einheit sein, die für Lehre und Studium zuständig ist. Als Schwerpunkte der institutionellen Evaluation sind vorgesehen: • das Selbstverständnis bzw. Profil der Fakultät/des Fachbereichs, • die Entwicklungsplanung, insb. Ziele und strategische Ausrichtung, • Personalfragen, insb. Personalentwicklung und Personalrekrutierung, • Kommunikation und Kooperation, insb. hinsichtlich des Lehrimports und -exports und • Qualitätssicherung. Die bisherige fächerbezogene Evaluation entwickelt sich damit zunehmend zu einem Quality-Audit, der Verfahrensablauf bleibt aber weitgehend erhalten (Reuke 2006). Dies beinhaltet die Gefahr, dass der an den herkömmlichen Verfahren bereits kritisierte Evaluationsaufwand nicht reduziert, sondern im Gegenteil weiter erhöht wird, ohne dass eine deutliche Steigerung der Effekte nachgewiesen werden kann. 4.4.3.3. Forschungsevaluation Während die Evaluation von Studium und Lehre weit verbreitet ist, sind in vergleichbarer Weise durchgeführte Forschungsevaluationen eher selten. Dabei haben Peer-Urteile gerade in der Forschung eine lange Tradition. Sie fließen in die Begutachtung von Drittmittel-Anträgen oder in die bei wissenschaftlichen Fachzeitschriften eingereichten Artikeln sowie in Zitationen wissenschaftlicher Beiträge ein. Bei der Beantragung von Forschungsmitteln sind je nach Förder- 302 4. Qualitätsmanagement und Evaluation einrichtung umfassende Projektanträge einzureichen, die vor einer möglichen Finanzierungszusage einen oftmals mehrstufigen Begutachtungsprozess durch Expertengruppen und Peers durchlaufen. Weiterhin werden von vielen Universitäten in regelmäßigen Abständen Forschungsberichte veröffentlicht, die Informationen über Forschungsschwerpunkte und -projekte sowie Veröffentlichungen und weitere Forschungsaktivitäten enthalten. Darüber hinaus vergleichen einzelne Universitäten ihre Forschungsleistungen in freiwillig eingerichteten und unverbindlichen Benchmark-Clubs. Weit verbreitet sind zudem indikatorenbasierte hochschulübergreifende Vergleiche von Forschungsleistungen in Form von Rankings oder Ratings, die durch verschiedene unabhängige Institutionen durchgeführt werden (vgl. Abs. 4.6.4.). Regelmäßige interne kriteriengeleitete Forschungsevaluationen und explizite Peer Reviews der Forschungsleistung einer gesamten Institution oder eines Fachbereiches auf der Grundlage von Selbstberichten, Vorort-Begehungen und Abschlussbegutachtungen sind dagegen bislang ausgesprochen selten (Hornbostel 2002). Eine Ausnahme bildet die landesweit gesteuerte Forschungsevaluation der von der niedersächsischen Landesregierung dauerhaft eingesetzten wissenschaftlichen Kommission (WKN). Diese besteht aus unabhängigen Wissenschaftlern, die die Landesregierung in der Bildung von Forschungsschwerpunkten beraten sollen. Weiterhin soll sie die Universitäten dahingehend unterstützen, ihre Forschungsprofile weiter zu entwickeln und die Planung und Definition von Forschungsschwerpunkten voranzutreiben (Ebel-Gabriel 2002). Das Verfahren ist an den Prinzipien des Peer Reviews ausgerichtet und besteht aus mehreren Schritten: Zunächst stellen die Fächer ihre Forschungsaktivitäten der vergangenen fünf Jahre anhand eines einheitlichen Kriterienrasters dar, das folgende Indikatoren umfasst: • Wissenschaftliche Leistung im internationalen Vergleich und Innovativität • Effektivität der Nachwuchsförderung • Vernetzung und Ausstrahlung • Intensität und Qualität der internationalen Zusammenarbeit • Transfer und Kooperationen mit Wirtschaft, Verwaltung, Politik und Kulturinstitutionen • Effektivität und Effizienz. Auf Grundlage dieser Berichte führt die Expertengruppe Vorort-Gespräche mit Wissenschaftlern und Hochschulleitungen der zu begutachtenden Standorte durch. Die Einschätzungen und Empfehlungen der Gutachter fließen in Abschlussberichte ein, die den Hochschulen zur Stellungnahme vorgelegt und von der wissenschaftlichen Kommission verabschiedet werden (Wissenschaftliche Kommission 2003, S. 6 ff.). Da die Evaluationsergebnisse in die Forschungsfinanzplanungen des Ministeriums einfließen, sind sie für die evaluierten Hochschulen von großer Bedeutung. Ihr Beitrag zur Begründung 4.4. Qualitätserfassung durch Evaluation 303 langfristiger Budgetplanungen ist allerdings abhängig von hochschulpolitischen Interessenlagen, in deren Kontext Evaluationsergebnisse durchaus instrumentell genutzt werden. Sie können zu objektiveren Entscheidungsfindungen beitragen, soweit sich dies im Aushandlungsprozess unterschiedlicher politischer Interessen als nützlich erweist, sie können aber auch ignoriert werden. Analog zu den Hochschulen bestand die Evaluation in den staatlich finanzierten außeruniversitären Forschungseinrichtungen in der Vergangenheit vor allem in externen Begutachtungsverfahren zum Nachweis oder der Abnahme von beantragten oder erbrachten Forschungsleistungen. Darüber hinaus kam extern besetzten Beiräten große Bedeutung bei der Qualitätssicherung zu, deren Hauptaufgaben darin bestanden, interne Evaluationen zu begleiten und Empfehlungen für die Ausrichtung der Forschungsarbeit zu geben. Gegenwärtig sind die Forschungseinrichtungen damit beschäftigt, interne Qualitätssicherungsverfahren einzuführen und diese mit bestehenden bzw. zu reformierenden oder neu zu entwickelnden externen Evaluationen abzustimmen. Eine besondere Schwierigkeit besteht dabei darin, einen dem spezifischen Leistungsangebot angemessenen Qualitätsbegriff zu definieren (Röbbecke 2002). Evaluationsmethoden und -kriterien sind dem Forschungsauftrag der jeweiligen Institutionen angepasst: • Die Max-Planck-Gesellschaft lässt ihre Institute regelmäßig evaluieren. Kernstück der Evaluation ist das durch internationale Experten durchgeführte Peer Review, das in mehreren Formen eingesetzt wird. Als Ex-ante Evaluation werden Neuberufungen, Institutsneugründungen sowie neue Konzepte und Projekte einer Evaluation unterzogen. Weiterhin werden die Institute regelmäßig durch dauerhaft eingerichtete Evaluationsgremien in Form von Fachbeiräten begutachtet. Deren Aufgabe besteht darin, den Stellenwert der Institute kritisch zu reflektieren und ein hohes Forschungsniveau zu gewährleisten (Max-Planck-Gesellschaft 2006). • Die Einrichtungen der Leibniz-Gemeinschaft (vormals Blaue Liste) wurden bis Ende 2000 vom Wissenschaftsrat evaluiert. Auf Empfehlung des Wissenschaftsrats erfolgt die Evaluation seit 2003 durch den extern besetzten Senat der Leibniz-Gemeinschaft, der hierzu einen Senatsausschuss Evaluierung (SAE) eingesetzt hat. Die Begutachtungen werden durch Evaluationsteams durchgeführt, denen neben Mitgliedern des SAE auch Experten aus dem Inund Ausland angehören. Auf Grundlage eines Selbstberichts der zu evaluierenden Einrichtung und einer Vorort-Begehung der Gutachter wird ein Bewertungsbericht erstellt, zu dem die Einrichtungen Stellung nehmen können. Bewertungsbericht und Stellungnahme sind Grundlage für die Senatsstellungnahme und die sich daraus ableitende Förderempfehlung.11 11 Vgl. http://www.leibnizgemeinschaft.de/extern/evaluierung/index.html, Download: 4.1. 2007. 304 4. Qualitätsmanagement und Evaluation • Die Fraunhofer-Gesellschaft wurde 1999 als erste Forschungsorganisation von acht Experten aus Wissenschaft und Wirtschaft im Auftrag des Bundesministeriums für Bildung und Forschung einer externen Systemevaluation unterzogen. Im Mittelpunkt des einjährigen Verfahrens standen Technologie- Portfolio, Organisationsstruktur, Leistungsfähigkeit und Finanzierungsmodell sowie die Ausrichtung auf Zukunftsmärkte. Empfehlungen der Kommission sind in Förderungsentscheidungen des BMBF eingeflossen.12 • Die Evaluationsverfahren der Forschungseinrichtungen der Helmholtz-Gemeinschaft sind in den vergangenen Jahren von einer rückwärts gerichteten Erfolgskontrolle unter Einsatz von Peer Review Verfahren zu einem strategischen Controlling-System weiterentwickelt worden. Dieses System integriert die wissenschaftliche Evaluation, das Programmcontrolling und das betriebswirtschaftliche Controlling und ist an den Kategorien wissenschaftliche Qualität, strategische Bedeutung und Angemessenheit der eingesetzten Ressourcen ausgerichtet. Am Ende des mehrstufigen Verfahrens steht ein Gutachten, das konkrete Konsequenzen für die Bereitstellung von zukünftigen Forschungsmitteln hat (Möller 2003).13 • Die Ressortforschungseinrichtungen des Bundes werden seit dem Frühjahr 2004 durch den Wissenschaftsrat evaluiert. Die Ergebnisse der bereits abgeschlossenen Evaluationen sind in „Empfehlungen zur Rolle und künftigen Entwicklung der Bundeseinrichtungen mit Forschungs- und Entwicklungsaufgaben“ vom 26.1. 2007 eingeflossen.14 Diese sollen Grundlage für ein ressortübergreifendes Konzept moderner Ressortforschung werden, für das das BMBF zehn Leitlinien vorgelegt hat.15 Wegen der konkreten Auswirkungen der Evaluationen auf die Bereitstellung von Fördermitteln hat die Evaluation in Forschungseinrichtungen einen besonders hohen Stellenwert. Entsprechend zeichnet sich dort eine Weiterentwicklung der Verfahren in Richtung eines strategischen Controllings ab. Die unterschiedlichen Ebenen in der Forschungsevaluation lassen sich als wissenschaftsinterne und -externe Ansätze kennzeichnen und werden von Kuhlmann/Heinze (2003) als Drei-Schalen-Modell charakterisiert: Erste Schale – Individuelle Forschungsleistungen: Im Mittelpunkt stehen wissenschaftsinterne Verfahren, insbesondere das Peer Review, das bei der Begutachtung einzelner Forschungsleistungen und der Allokation von Fördermitteln in Forschungseinrichtungen zum Einsatz kommt. In den vergangenen Jahren wurde es durch bibliometrische Verfahren zur Messung der Forschungsleistung einzelner Forscher oder Gruppen ergänzt. 12 Vgl. http://idw-online.de/pages/de/news8975, Download: 16.2.08. 13 Vgl. http://www.helmholtz.de/Downloads/1_Wir_uber_uns/Profil/Ueberblick_PoF.pdf, Download: 4.1. 2007. 14 Vgl. http://www.wissenschaftsrat.de/texte/7702-07.pdf, Download: 12.2. 2007. 15 Vgl. http://www.bmbf.de/pub/leitlinien_ressortforschung.pdf, Download: 12.2.2007. 4.4. Qualitätserfassung durch Evaluation 305 Zweite Schale – Programme: Diese umfasst Evaluationsstudien, die extern veranlasst als Wirkungsforschung (impact analysis) auf forschungs- und innovationspolitische Programme fokussiert. Auf Veranlassung des politisch-administrativen Systems wird die Erreichung der forschungsprogrammatischen Ziele von staatlich geförderten Projekten und Programmen überprüft. Dritte Schale – Institutionen: Im Zentrum der Evaluation steht hier die Leistungsfähigkeit ganzer Forschungsinstitute. In diesen seit den 90er Jahren verstärkt durchgeführten Systemevaluationen werden wissenschaftsinterne und -externe Fragestellungen und Informationsquellen kombiniert. 4.4.3.4. Kritik an Evaluation und Ansätze zur Weiterentwicklung Mit der wachsenden Anzahl von Evaluationen und den damit verbundenen Belastungen wächst in Bildungseinrichtungen die Kritik an der gegenwärtigen Evaluationspraxis. Einige der am häufigsten genannten Argumente sind (Frey 2006; Kuper 2005; Teichler 2006): • Unverhältnismäßig hoher Ressourcenaufwand. Hohe Bindung von Personalkapazitäten im Evaluationsprozess. • Verzerrung von Anreizen: Konzentration auf die Leistungen, die Gegenstand der Evaluation sind (z.B. Drittmittel, Publikations-Indizes), Verdrängung intrinsischer durch extrinsische Anreize, Manipulation von Leistungskriterien (z.B. Zitier-Kartelle). • Geringer Nutzen für Entscheidungs- und Steuerungsprozesse: Datenfriedhöfe, unzureichende Aufbereitung der gewonnenen Daten für Entscheidungsprozesse. • Unausgewogenheit gegenüber einem differenzierten Hochschul- und Wissenschaftssystem. Evaluationen können die wachsende Heterogenität und Vielfalt des Systems nur unzureichend erfassen (Teichler 2006). • Evaluationsergebnisse sind auf die Perspektive der Auftraggeber beschränkt. Da Evaluation in der Regel Auftragsforschung ist, besteht das Risiko einer Allianz zwischen Auftraggebern und -nehmern (Kuper 2005, S. 34). Obwohl differenzierte Wirkungsanalysen noch weitgehend ausstehen,16 lässt sich feststellen, dass die offensichtlichen und verborgenen Kosten der Evaluation weitaus größer sind als allgemein angenommen, ohne dass dies allerdings bislang zu einer Veränderung der Evaluationspraxis führt. Verbesserungsvorschläge reichen von einer generellen Abkehr bis hin zu Verfahrensverbesserungen, die den Nutzen der Evaluation stärker in den Mittelpunkt rücken (Mittag et al. 2003). 16 Eine der wenigen empirisch fundierten Wirkungsanalysen wurden von Mittag et al. vorgelegt, die die Verfahren des Nordverbundes und der ZEvA untersuchten (Mittag/ Bornmann/Daniel 2003). (vgl. Abschnitt 4.4.3.2.). 306 4. Qualitätsmanagement und Evaluation Die unzureichende Nutzung von Evaluationsergebnissen durch das Management nahm Wholey bereits im Jahre 1983 zum Anlass, für den öffentlichen Sektor einen Evaluationsansatz zu entwickeln, der die wirkungsvolle Umsetzung von Evaluationsergebnissen in den Vordergrund rückt. Ziel jeglicher Programmevaluation soll nach diesem Verfahren die Unterstützung des Managements bei der Steuerung erforderlicher Interventionen sein. Auf Grundlage einer „rapid feedback evaluation“ (Wholey 1983, S. 119) erhält das Management konkrete Informationen zur Steuerung von Unternehmensprozessen. Ziele der Programmevaluation sind: • Identifikation der Programmziele • Identifikation der Interessen relevanter Stakeholder-Gruppen • Entwicklung von Methoden zur Messung der Programmwirkungen • Unterstützung bei der Nutzung von Evaluationsergebnissen zu Verbesserungszwecken • Öffentlichkeitsarbeit (Präsentation der Ergebnisse). Wholey (1983, S. 11) sieht Evaluationen als Unterfunktion eines zielorientierten Managements, das mess- und überprüfbare Verbesserungen bei der Erreichung der Programmziele durch die effektive und effiziente Nutzung von Ressourcen erreicht. Evaluationen werden hier klar dem Interesse einer Verbesserung der organisatorischen Zielerreichung untergeordnet. Wissenschaftliche Ansprüche der Evaluationsforschung treten demgegenüber zurück. Evaluationen rücken damit in die Nähe von Controlling-Ansätzen (vgl. Reiners 2004, S. 33 f.). Die in den vergangenen Jahren erfolgte umfassende Kritik lässt sich auf drei Ebenen zusammenführen: • Methodische Schwächen: Die vielfältigen messtheoretischen Schwächen der Evaluation würden sich nur durch eine erhebliche Steigerung des Verfahrensaufwands reduzieren lassen, was allerdings nicht im Interesse der Beteiligten ist, da der Aufwand der gegenwärtigen Evaluationspraxis bereits kritisiert wird. • Aufwand-Nutzen-Relation: Dem erheblichen Evaluationsaufwand steht kein erkennbarer Nutzen gegenüber. Ein positiver Effekt auf die Qualität von Forschung und Lehre konnte bislang nicht nachgewiesen werden. • Externe Kontrollfunktion: Evaluation wird als externe Anforderung begriffen und nicht als nützliches Managementinstrument im Kontext der Selbststeuerung des Systems. Sie ist bislang kein Bestandteil eines kohärenten Managementsystems. Die Einbindung von Evaluationen steht trotz einiger Versuche (z.B. über ihre Verknüpfung mit Zielvereinbarungssystemen) noch weitgehend aus. Hierzu bedarf es einer generellen Überprüfung der derzeitigen Praxis und einer Neuausrichtung, die Evaluation in Management- und Steuerungsinstrumente einbindet und sie auf die im Managementprozess erforderlichen Messgrößen reduziert. 4.5. Quality Audits, Zertifizierungen und Akkreditierungen 307 4.5. Quality Audits, Zertifizierungen und Akkreditierungen 4.5.1. Begriff und Merkmale Der Begriff Audit stammt aus dem lateinischen „audire“ und meint „hören, zuhören“. In seiner gegenwärtigen Bedeutung wurde er aus dem Englischen übernommen, wo er für „Revision“ oder „Prüfung“ steht. Quality Audits bezeichnen dem gemäß die systematische Untersuchung der Qualitätssicherung von Leistungsprozessen in einer Organisation, mit dem Ziel, Schwachstellen zu identifizieren, Verbesserungsmöglichkeiten aufzuzeigen und deren Umsetzung zu überprüfen. Quality Audits geben Auskunft über die Wirksamkeit und Angemessenheit der organisatorischen Qualitätsmanagementsysteme und informieren das Management über dessen Stärken, Schwächen und Zielerreichung. Voraussetzung für die Durchführung eines Quality Audits ist also, dass die Organisation bereits über ein Qualitätsmanagementsystem oder Maßnahmen zur Qualitätssicherung verfügt. Audits können von der Organisation selbst oder in ihrem Auftrag für interne Zwecke durchgeführt werden, sie können durch Kunden oder Stakeholder der Organisation erfolgen, wenn eine entsprechende vertragliche Beziehung dies vorsieht, oder sie können durch unabhängige, über entsprechende Akkreditierungen verfügende Organisationen durchgeführt werden. Letzteres erfolgt oft dann, wenn das Audit mit dem Ziel der Zertifizierung erfolgt. Externe Quality Audits haben sich in den Hochschulsystemen vieler europäischer Nachbarländer als die am meisten verbreitete Formen der Qualitätssicherung durchgesetzt (z.B. Schweiz, Großbritannien, Schweden, Frankreich) (vgl. Hochschulrektorenkonferenz 2006b). Eine wichtige Voraussetzung für die Durchführung von externen Audits ist wechselseitiges Vertrauen. Da organisationsseitig interne Daten zur Verfügung gestellt werden, ist es unabdingbar, dass diese im Auditierungsprozess nur für die mit der Auditierung verfolgten Zwecke genutzt werden. Ist eine vertrauliche Behandlung der Ergebnisse vereinbart, sind Auditoren daran gebunden. Umgekehrt sind die Auditoren darauf angewiesen, von der Organisation offen informiert zu werden, den Zugang zu echten Daten und Informationen zu erhalten, um ihrer Auditorenrolle nachkommen zu können und brauchbare Ergebnisse zu erhalten. Auditierungen können, müssen aber nicht in die Vergabe eines Qualitätssiegels oder eine Zertifizierung einmünden. Auch sind Standards oder Normen keine Voraussetzung für die Durchführung eines Audits. Sie können lediglich der Bestandsaufnahme dienen, um daraus Verbesserungsmaßnahmen abzuleiten, deren Erreichung dann gegebenenfalls wiederum in einem Auditierungsprozess überprüft wird. Als Zertifizierung bezeichnet man Verfahren, die die Erreichung von Standards oder Normen von Leistungsprozessen, Produkten, Dienstleistungen oder gan-

Chapter Preview

References

Zusammenfassung

Den Wandel begleiten

Neu im Bildungsmanagement

Die Beschäftigten in Bildungs- und Wissenschaftseinrichtungen sind gegenwärtig mit erheblichen Veränderungen konfrontiert. Der Wandel von bürokratischen Strukturen hin zu modernen unternehmerisch handelnden Bildungseinrichtungen vollzieht sich in einem Umfeld, das durch einen sich verschärfenden Wettbewerb gekennzeichnet ist. Dabei nimmt der Einfluss externer Interessengruppen zu und die öffentliche Aufmerksamkeit, was das Leistungsvermögen und den Umgang mit der neu gewonnenen Autonomie anbelangt, wächst. Von den Beschäftigten wird in Zukunft verlangt, erfolgreiche Bildungsangebote zu entwickeln mit dem Ziel, dass sich die Einrichtungen langfristig am Markt positionieren können. Dieses Buch soll einen Beitrag dazu leisten, die Arbeit in Bildungsorganisationen professionalisieren zu helfen. Studierenden und Praktiker auf dem tertiären und quartären Bildungsbereich werden Managementansätze und -konzepte vorgestellt, die ihnen bei der Entwicklung und Vermarktung von Angeboten Unterstützung leisten.

- Rahmenbedingungen des Bildungs- und Wissenschaftsmanagements

- Steuerungs- und Managementsysteme

- Management organisatorischer Kernprozesse

- Qualitätsmanagement und Evaluation

- Management organisatorischer Veränderungen

- Personalmanagement

Die Autorin

Prof. Dr. Anke Hanft ist Leiterin des Arbeitsbereichs Weiterbildung und Bildungsmanagement an der Fakultät Bildungs- und Sozialwissenschaften der Universität Oldenburg. Sie ist Herausgeberin der Zeitschrift "Hochschulmanagement" und Vorsitzende der internationalen Steuerungsgruppe der Österreichischen Qualitätssicherungsagentur (AQA).