10 Evaluation im Kulturmarketing in:

Armin Klein

Kompendium Kulturmarketing, page 189 - 202

Handbuch für Studium und Praxis

1. Edition 2011, ISBN print: 978-3-8006-3886-4, ISBN online: 978-3-8006-3887-1, https://doi.org/10.15358/9783800638871_189

Bibliographic information
10 Evaluation im Kulturmarketing Nora Wegner 1 Einleitung Kultureinrichtungen müssen den Herausforderungen ihrer Zeit Rechnung tragen – sie stehen in ständigem Bezug zu einer sich verändernden Gegenwart, aus der sie ihre Legitimation und Aufgaben herleiten. Zu diesen Herausforderungen zählen derzeit insbesondere finanzielle Restriktionen der öffentlichen Hand. Kultureinrichtungen sind daher auf zusätzliche Finanzierungsmöglichkeiten angewiesen und stehen unter zunehmendem Konkurrenzdruck. Demografische Veränderungen sowie sich wandelnde gesellschaftliche Ansprüche und Rezeptionsweisen beeinflussen ebenfalls ihre Arbeit. Um sich mit derartigen Entwicklungen auseinanderzusetzen, muss ein wesentliches Augenmerk einer besucherorientierten Kultureinrichtung auf ihren aktuellen und zukünftigen Besucherinnen und Besuchern liegen. Die Besuchergerechtigkeit ihrer Angebote, die Wirksamkeit ihrer Marketingmaßnahmen sowie die Erfüllung der gesetzten Ziele und des kulturellen Auftrags müssen überprüft werden. Dies macht Besucher-/Nutzerforschung und Evaluation zu wichtigen Aufgaben für Kultureinrichtungen. „Manageriales Handeln, somit auch kulturmanageriales, ist ziel- und erfolgsorientiert. Daher kommt der Überwachung der Zieleinhaltung ganz besondere Bedeutung zu, denn die Kultureinrichtung will sowohl wissen, ob sie ihre langfristig gesetzten inhaltlichen Ziele erreicht hat, als auch sehen, ob sie bei unmittelbar feststellbaren Zielabweichungen im Marketing-Management- Prozess korrigierend eingreifen kann“ (Klein 2005: 501). Der Überwachung der Zieleinhaltung von Kultureinrichtungen dienen Evaluationsmaßnahmen. Insbesondere die Überprüfung des Erreichens von inhaltlichen Zielsetzungen und Marketingzielen im Rahmen der Marketingkontrolle macht Evaluation unabdingbar. Der Einsatz der strategischen Marketinginstrumente kann somit überprüft und optimiert werden. Ergebnisse aus Evaluationen ermöglichen das Kulturangebot aus Sicht der Nachfrager zu bewerten, die Nutzendimensionen des Angebots aus Nachfrageperspektive zu kennen und eine gezielte Ansprache der Zielgruppen zu leisten. Der Einsatz von Evaluation trägt damit zur erfolgreichen strategischen Ausrichtung einer Kultureinrichtung und entsprechenden Kulturmarketing-Prozessen bei. Evaluation wird bisher jedoch noch hauptsächlich rückwärtsgewandt eingesetzt, weil temporäre und unveränderliche Angebote, wie Sonderausstellungen Teil 1: Grundlagen des Kulturmarketing188 oder Veranstaltungen sowie fertiggestellte Marketingkonzepte, Gegenstand der Untersuchung sind. Damit werden die Möglichkeiten jedoch nicht voll ausgeschöpft, denn Evaluation kann auch als strategisches, zukunftsorientiertes Planungsinstrument eingesetzt werden. Dieser Beitrag zeigt auf, welche weiteren Einsatzmöglichkeiten es für Evaluationen gibt. Vorab wird der Begriff Evaluation, in Abgrenzung zu Besucherforschung, definiert. Zudem wird auf Ziele und Anwendungsstandards von Evaluation eingegangen. Weiterhin werden der Ablauf einer Evaluationsstudie sowie Methoden der Durchführung geschildert. Einen Schwerpunkt bildet die Darstellung und Erläuterung der verschiedenen Evaluationsformen. Abschließend werden Perspektiven für den Einsatz im Kulturbereich aufgezeigt, welche sich unter anderem aus vorhandenen Forschungslücken ergeben. 2 Definition Evaluation Der Begriff Evaluation ist auf das lateinische Wort „valor“ (= Wert) sowie die Vorsilbe „e/ex“ (= aus) zurückzuführen. Dies lässt sich mit „einen Wert aus etwas ziehen“, „eine Bewertung vornehmen“ übersetzen. Evaluation meint folglich allgemein die systematische und zielgerichtete Bewertung und Beurteilung eines Testobjekts. Reaktionen von Testpersonen (das heißt von befragten oder beobachteten Personen) werden als Kriterium für dessen Eignung und Effizienz erhoben. Für die Bewertung sind nachvollziehbare, systematische Verfahren und Belege durch empirisch gewonnene Daten notwendig. Testobjekte/Evaluationsgegenstände können allgemein Programme, Projekte, Produkte, Maßnahmen, Leistungen, Organisationen etc. sein (vgl. Stockmann 2004: 2). Analysiert werden kann, (1) ob die formulierten Ziele erreicht wurden, (2) ob die eingesetzten Maßnahmen zu den Zielen geführt haben, (3) ob die Ziele mit angemessenem Aufwand erreicht wurden und (4) ob die erwarteten mittel- und langfristigen Wirkungen sich eingestellt haben (vgl. de Perrot/Wodiunig 2008: 15). Evaluation im Kulturbereich bezieht sich auf Urteile potenzieller und tatsächlicher Besucher bzw. Nutzer zu bestimmten Aspekten oder Gesamteindrücken des Angebots von Kultureinrichtungen. Für Museen beispielsweise können Gestaltungselemente in Ausstellungen, gesamte Ausstellungen, Vermittlungsprogramme, Marketingstrategien oder das ganze Haus Gegenstände einer Evaluation sein. Im Unterschied zur Besucher- bzw. Nutzerforschung steht bei Evaluation das Angebot im Mittelpunkt der Untersuchung. Nicht die Besucher/Nutzer sind also das Erhebungsobjekt, sondern sie sind vielmehr die Schiedsrichter über die untersuchten Angebote. Besucherforschung hingegen nimmt den Besucher in den Blick und bezeichnet primär Untersuchungen zur Besucherstruktur, zu soziodemografischen Merkmalen und kognitiven Voraussetzungen der Besucher sowie Besuchsbedingungen und -motiven (vgl. Treinen 1997: 45). 10 Evaluation im Kulturmarketing 189 Neben solchen Besucherstrukturanalysen gehören zur Besucherforschung auch Nichtbesucherstudien. Hiermit sind Studien gemeint, die außerhalb von Kultureinrichtungen erfolgen, zum Beispiel mittels Befragungen auf öffentlichen Plätzen oder per Post versandten Fragebögen. Ihre Zielsetzungen können unter anderem Informationen über den Bekanntheitsgrad der untersuchten Einrichtungen, erschlossene Einzugsbereiche, das Image der Einrichtung oder mögliche Zugangsbarrieren sein. Die Studien wenden sich meist an Personen, welche die Einrichtung nicht (oder noch nicht) besuchen, schließen aber auch bereits gewonnene Besucher ein (vgl. Klein 1997). 3 Ziele und Anwendungsstandards von Evaluation Mit der Anwendung von Evaluationen können unterschiedliche Ziele verfolgt werden. Stockmann (2007: 36 ff.) identifiziert vier Ziele, die eng miteinander verbunden sind. Ziele von Evaluation können sein: (1) Erkenntnisgewinn: Evaluationen zielen auf die Generierung von Erkenntnissen ab, aufgrund derer Entscheidungen auf einer rationaleren Grundlage getroffen werden können. Die Erkenntnisse werden nach vereinbarten oder vorgegebenen Bewertungskriterien geprüft, um daraus Entscheidungen abzuleiten. (2) Kontrollausübung: Evaluationen können auch eine Kontrollfunktion erfüllen, indem überprüft wird, ob die gesetzten Ziele erreicht wurden und die Beteiligten ihre Aufgaben erfüllt haben. (3) Schaffung von Transparenz, um Dialog und Entwicklung zu ermöglichen: mit Hilfe offen gelegter Evaluationsergebnisse können Stakeholder (Austauschpartner) miteinander in einen Dialog über das betreffende Projekt treten, diesen auf einer gemeinsamen, transparenten Basis führen und eine zielgerichtete Weiterentwicklung des Projekts anstreben. (4) Legitimation durch Dokumentation des Erfolgs: Resultate aus Evaluationen ermöglichen weiterhin, den erzielten Erfolg und die Wirkungen des Untersuchungsgegenstands nachprüfbar zu belegen. Häufig werden diese Ergebnisse als Legitimation gegenüber Geldgebern genutzt. Die DeGEval – Gesellschaft für Evaluation e.V. – ein Zusammenschluss von Personen und Institutionen mit Tätigkeiten im Evaluationsbereich, hat für die Durchführung und Anwendung von Evaluation 25 Standards für Evaluation entwickelt (vgl. DeGEval 2002: 10 ff.). Diese sind den vier Übergruppen Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit zugeordnet, welche kurz erläutert werden. Die detaillierte Erklärung der Standards findet sich in der entsprechenden oben angegebenen Quelle. (1) Nützlichkeit meint dabei die Ausrichtung der Evaluation an den vorab geklärten Zwecken und dem Informationsbedarf der Nutzer/Auftraggeber. (2) Durchführbarkeit bezieht sich auf eine realistische, gut durchdachte, diplomatische und kostenbewusste Planung und Ausführung der Evaluation. Teil 1: Grundlagen des Kulturmarketing190 (3) Fairness soll einen respektvollen und fairen Umgang mit den betroffenen Personen sicherstellen. (4) Genauigkeit hat zum Ziel gültige Informationen und Ergebnisse zu Gegenstand und Fragestellungen zu gewährleisten. 4 Ablauf von Evaluationsstudien Den Ablauf von Evaluationsstudien beschreiben de Perrot/Wodiunig (2008: 58 ff.) folgendermaßen (vgl. hierzu auch die Darstellung des Ablaufs einer empirischen Untersuchung im Beitrag von Glogner in diesem Sammelband): (1) Zur Vorbereitungsphase gehört, dass der Zweck der Evaluation eindeutig geklärt wird (Was soll mit der Evaluation erreicht werden und wofür sollen die Ergebnisse verwendet werden?). Weiterhin werden die entsprechenden Schlüsselfragen gestellt, welche helfen, sich auf die wesentlichen Untersuchungsaspekte zu konzentrieren. Ergänzt werden kann, dass zu Beginn zudem bereits vorhandene Studien und Literatur zur Fragestellung ermittelt und analysiert werden. (2) In der Organisationsphase wird unter anderem definiert, ob die Evaluation extern oder intern durchgeführt wird. Eine externe Evaluation hat den Vorteil, dass der Evaluator dem Evaluationsgegenstand gegenüber unabhängig ist, eine fachliche Distanz hält und somit einer möglichen „Betriebsblindheit“ entgegengewirkt wird. Ein externer Evaluator kann aus seiner Erfahrung Vergleiche zu anderen Projekten ziehen und die entsprechende Methodenkompetenz mit einbringen. Evaluationen, die intern von Mitarbeitern der betroffenen Einrichtung durchgeführt werden, können wiederum von deren spezifischer Kenntnis des Untersuchungsgegenstands profitieren, flexibler und mit geringerem Aufwand und Kosten durchgeführt werden. Allerdings ist hier die Distanz und Neutralität zum evaluierten Gegenstand in Frage zu stellen. Außerdem können fehlende Methodenkompetenzen und mangelnde Zeit für die Bearbeitung Probleme aufwerfen. Externe und interne Evaluationen können sich demzufolge sinnvoll ergänzen und kombiniert werden.1 In die Organisationsphase fällt weiterhin die Wahl der geeigneten Erhebungsmethode (z. B. schriftliche Befragung, mündliche Interviews oder Beobachtung). Hierauf wird anschließend genauer eingegangen. Zudem müssen die vorhandenen finanziellen, zeitlichen und personellen Ressourcen, das Evaluationsteam bzw. der Ansprechpartner für einen externen Evaluator und bei externen Evaluationen die Auftragsvergabe geklärt werden. (3) Darauf folgt die Phase der Durchführung. Die Methode wird verfeinert und das entsprechende Erhebungsinstrument (z. B. Fragebogen, Interviewleitfaden, Beobachtungsprotokoll) konzipiert. Hierfür werden, im Rahmen der Operationalisierung, Indikatoren definiert. „Indikatoren sind Kenngrößen, die über einen festgelegten, nicht oder nur sehr schwer messbaren Tatbestand Auskunft geben sollen. Im Rahmen einer Evaluation werden als Grundlage von Bewertungen die durch einen Indikator empirisch gemessenen Werte mit Vergleichswerten in Bezug gesetzt“ (Meyer 2007: 198). „Operationalisierung heißt die logische 10 Evaluation im Kulturmarketing 191 Verknüpfung zwischen dem nicht messbaren Tatbestand und dem zu messenden Indikator mittels einer Korrespondenzregel, die Angaben über die Art des Zusammenhangs macht. Hieraus werden die bei der Messung verwendeten Zuordnungsregeln abgeleitet“ (Meyer 2007: 202). Im Kulturbereich ist meist eine Kombination von quantitativen (zahlenmäßigen) und qualitativen Indikatoren empfehlenswert. Rein zahlenmäßige Kenngrößen beschreiben das Untersuchungsobjekt meist nur unzureichend. Beispiele für quantitative Indikatoren für Museen können sein: Anzahl von Sonderausstellungen, Besuchs- und Nutzungsstatistiken, Eintrittseinnahmen, Anzahl von Medienberichten, Höhe der eingeworbenen Drittmittel etc. Qualitative Indikatoren können sein: Inhalte von Medienberichten, Bewertungen und Meinungen von Besuchern etc. Ein anschauliches Beispiel für die Verwendung von Indikatoren zur Leistungsmessung, der Bibliotheksindex BIX, kommt aus dem Bereich des Bibliotheksmanagements (vgl. hierzu auch den Beitrag von Vogt in diesem Sammelband). Es handelt sich um ein freiwilliges Vergleichsinstrument, das mit Hilfe von Kennzahlen die Situation der Bibliotheken transparent beschreiben will. Jährlich beteiligen sich etwa 260 Bibliotheken am BIX. Die erhobenen (quantitativ orientierten) Leistungsindikatoren wurden für vier Zieldimensionen definiert. Diese Zieldimensionen sind: Auftragserfüllung, Kundenorientierung, Wirtschaftlichkeit und Entwicklung. Um die Leistungen in diesen Bereichen zu messen, werden jeweils zwischen drei und sechs Kennzahlen erfasst und je nach Bedeutung unterschiedlich gewichtet. Indikatoren für die Zieldimension Auftragserfüllung sind: Medienanzahl, Publikumsfläche in qm, Mitarbeiteranzahl, Computerangebot in Stunden, Internet-Services und Veranstaltungen – alle je Einwohner. Für die Zieldimension Kundenorientierung werden erfasst: Umschlag sowie Besuche, Entleihungen und Jahresöffnungsstunden je Einwohner. Kennzahlen für Wirtschaftlichkeit sind: Medienetat je Entleihung sowie laufende Ausgaben je Besuch in Euro, Mitarbeiterstunden und Besuche je Öffnungsstunde. Schließlich werden als Indikatoren der Zieldimension Entwicklung erhoben: Erneuerungsquote, Fortbildungsquote und Investitionen je Einwohner (vgl. Deutscher Bibliotheksverband 2010). Anschließend an die Konzeptionierung und Erstellung der Erhebungsinstrumente, erfolgt in der Durchführungsphase die Datenerhebung mittels der gewählten Methode (das heißt Durchführung der Befragung, Beobachtung etc.). Die erhobenen Daten werden schließlich ausgewertet. Auf den Bereich der Auswertung kann an dieser Stelle nicht weiter eingegangen werden, zu verweisen ist hier und für den folgenden Schritt zum Beispiel auf Stockmann (2007). Die letzten Schritte sind (4) die Berichterstattung an den Auftraggeber/Empfänger der Evaluation und (5) die Umsetzung der Evaluationsergebnisse, welche in der Hand des Auftraggebers/Empfängers der Evaluation liegt. Teil 1: Grundlagen des Kulturmarketing192 5 Methoden von Evaluationsstudien Zum Einsatz in Evaluationsstudien in Betracht kommende Methoden sind Befragung, Beobachtung, Inhaltsanalyse und Experiment, wobei hauptsächlich die ersten beiden für Studien im Kulturbereich Relevanz haben (vgl. den Beitrag zu Instrumenten der Besucherforschung von Glogner in diesem Sammelband). Bei der großen Mehrheit von Untersuchungen kommt eine Befragung zum Einsatz. Unterscheiden lässt sich diese in schriftliche Befragungen (über verteilte, postalisch versandte oder online gestellte Fragebögen) und mündliche (persönliche oder telefonische) Interviews. Jede Erhebungsmethode bringt Vor- und Nachteile mit sich und für jede Studie ist daher je nach Zielsetzung die beste Methode zu prüfen. Für viele Untersuchungen eignet sich aufgrund der kostengünstigen und zeitsparenden Handhabung besonders der Einsatz eines schriftlichen Fragebogens. Wenn vertiefte Nachfragen zu Begründungen etc. möglich sein sollen, sind mündliche Interviews zu bevorzugen. Eine Sonderform mündlicher Befragungen sind Gruppendiskussionen, welche insbesondere bei noch wenig erschlossenen Themenbereichen sinnvoll eingesetzt werden können. Häufig werden sie mit Experten aus dem Bereich des evaluierten Gegenstands oder Vertretern verschiedener Zielgruppen geführt. Solche Diskussionen sind insbesondere vor Planungsentscheidungen oder einer abschließenden Evaluation hilfreich. Ein weiteres, gerade im Bereich der Museumsforschung sinnvoll einsetzbares, Verfahren ist die Beobachtung. Hierüber können in Museen beispielsweise Laufwege in Ausstellungen, Verweilzeiten vor Exponaten oder Nutzungsweisen interaktiver Elemente ermittelt werden. Dies kann zum einen mittels teilnehmender Beobachtung erfolgen, bei welcher der Beobachter eine Rolle im sozialen Feld des untersuchten Geschehens übernimmt, im Museum zum Beispiel als Führungsteilnehmer oder als Aufsichtspersonal. Zum anderen besteht die Möglichkeit einer nicht-teilnehmenden Beobachtung, ohne dass für die handelnden Personen/Besucher eine Einwirkung zu erkennen ist. Der Beobachter bleibt dabei außerhalb des Handlungsfelds und ist beispielsweise mit Zählungen und Messungen betraut. Wichtig ist der Einsatz geschulter Beobachter, die systematische Erfassung der Daten in Beobachtungsprotokollen und häufig die Koppelung mit einer Befragung. 6 Formen von Evaluationen Im Kulturbereich spielen Evaluationen insbesondere im Rahmen der Forschung für Museen eine bedeutsame Rolle. Hier entwickelten sich ausdifferenzierte Evaluationsformen und dementsprechend existiert zu diesem Bereich die meiste Literatur. Im Folgenden werden die verschiedenen Formen von Evaluation ausgehend von Untersuchungsbeispielen an Museen dargestellt – diese sind 10 Evaluation im Kulturmarketing 193 aber auf alle anderen Sparten sowie auf Marketingmaßnahmen allgemein übertragbar. Formen der Evaluation können nach ihrem Einsatzzeitpunkt voneinander abgegrenzt werden. So kann Evaluation während des gesamten Prozesses der Konzeption, Gestaltung und Umsetzung eines Angebots hilfreiche Informationen liefern. Im Idealfall werden bei einer Angebotsplanung und -realisierung alle Evaluationsschritte durchlaufen (vgl. u. a. Klein 1991b: 3 ff.; Almasan et al. 1993: 9 ff.). EINSATZZEITPUNKT: Evaluationsform: (VOR-)PLANUNG Front-End-/Vorab-Evaluation (auch ex-ante-Evaluation) GESTALTUNG/AUFBAU Formative Evaluation (auch on-going-Evaluation) NACH FERTIGSTELLUNG Nachbesserungsevaluation Summative Evaluation (auch ex-post-Evaluation) ÜBERARBEITUNGSBEDARF Status-quo-Evaluation NACH BEZUGSOBJEKT DER EVALUATION DEFINIERT: Programm-Evaluation Abb. 1: Formen von Evaluationen Bei einer Front-End Evaluation (deutsch: Vorab-Evaluation) werden potenzielle Besucher/Nutzer bereits in Planungsprozesse einbezogen. Zu diesem frühen Zeitpunkt unterstützt die Vorab-Evaluation die Zielfindung, indem Einstellungen und Erwartungshaltungen der zukünftigen Besucher oder Nutzer in Verbindung mit den Plänen der Kultureinrichtung gebracht werden. Es werden Informationen über vorhandenes Wissen und Interesse sowie populäre Vorstellungen zum Untersuchungsthema eingeholt. Hierbei sollen nicht bereits konkrete Umsetzungsentscheidungen getroffen, sondern ein erster Dialog zwischen Einrichtung und Publikum ermöglicht werden (vgl. u. a. Klein 1993; Dierking/Pollock 1998). Solche Evaluationen vor Beginn eines Projekts werden (in der allgemeinen Evaluationsforschung) auch als ex-ante-Evaluationen bezeichnet (vgl. Stockmann 2007: 33 f.). Veröffentlichte Beispiele sind Vorab-Evaluationen für das Ausstellungsprojekt „Verflixte Schönheit“ (Dauschek 1996), das Haus der Geschichte der Bundesrepublik Deutschland (Klein/Lindner 1993), das Schweizerische Landesmuseum (Klein et al. 2000) oder das Haus der Geschichte Baden-Württembergs (van Deth/Schäfer 2002). Ein Beispiel einer Vorab-Evaluation, das auch den Umgang der Kultureinrichtung mit den Ergebnissen dokumentiert, ist die Untersuchung zur Erweiterung der Dauerausstellung des Museums für Kommunikation in Bern (vgl. Wegner 2008). Ziel dieser Evaluation war, Informationen über den Bezug Teil 1: Grundlagen des Kulturmarketing194 potenzieller Besucher zum geplanten Ausstellungsthema ,Computergeschichte und -kultur‘, über deren Erwartungen sowie Vorwissen und Interesse hierzu zu erfassen. Als Erhebungsmethode der extern durchgeführten Evaluation wurde eine schriftliche Befragung der Dauerausstellungsbesucher des Museums als bereits interessierte Zielgruppe gewählt. Die Untersuchung fand als einmalige Vollerhebung statt, bei welcher jeder Individualbesucher ab fünfzehn Jahren, der im Erhebungszeitraum das Museum besuchte, befragt wurde. Rund 1000 ausgefüllte Fragebögen konnten so zurückerhalten werden. Zentral war in der Befragung die Einschätzung von Kenntnissen und Interesse der Befragten zu zwölf Aspekten des Ausstellungsthemas. So konnten Themen erkannt werden, welche die Befragten sehr interessierten – einige trotz großen Vorwissens (z. B. ,Computerrisiken‘ und ,Internet‘), einige wegen bisher geringer Kenntnisse hierzu (z. B. ,Bioelektronik‘). Aber es zeigten sich auch Themen, die auf den ersten Blick wenig Erfolg versprachen, da zu diesen weder Interessen noch Vorkenntnisse vorhanden waren (z. B. ,Schweizer Computergeschichte‘). Die Ausstellungsmacher hatten damit Planungsdaten zur Hand, mit Hilfe derer sie Schwerpunkte bei der Präsentation setzen konnten, aber erhielten auch Hinweise, welche Inhalte verstärkter Gestaltungsüberlegungen bedurften. Beispielsweise wurde das Thema ,Schweizer Computergeschichte‘ in der Ausstellung schließlich nicht als eigene Einheit aufgegriffen, sondern zieht sich als „roter Faden“ durch die Ausstellung, indem Exponate und Texte mit einem Schweizer Bezug besonders gekennzeichnet wurden. Dies verdeutlicht, dass die Anwendung von Vorab-Evaluation ausdrücklich nicht bedeutet, das Ausstellungskonzept populistisch abstützen zu wollen. Auf wichtige, auf den ersten Blick wenig Erfolg versprechende Themen sollte keinesfalls verzichtet werden, vielmehr ist vor allem deren Darstellung zu überdenken. Datenerhebung sowie konzeptionell-gestalterische Umsetzung sind dabei aufeinander aufbauende Arbeitsschritte. Darauf folgend, den Gestaltungsprozess eines Angebots begleitend, kommt die Formative Evaluation zum Einsatz. Diese frühe Kontroll- und Korrekturmöglichkeit entstand, da Evaluationen häufig zu spät erfolgten, um nach Eröffnung oder Einrichtung eines Angebots erkannte Schwächen noch beheben zu können. Wenn Unklarheiten darüber bestehen, wie bestimmte Elemente vom Publikum angenommen werden, kann deren Test während des Aufbaus oder der Ausgestaltung sinnvolle Aufschlüsse geben. Dabei wird beobachtet, wie Auskunftspersonen auf Entwürfe, Modelle oder Prototypen der vorgesehenen Gestaltungen reagieren. Diese können meist vergleichsweise günstig hergestellt werden. Formative Evaluationen werden in Museen beispielsweise für die Überprüfung von Ausstellungstexten, interaktiven Elementen, Leitsystemen oder Audioguides angewendet (vgl. Almasan 1991; Miles 1985). Stockmann (2007: 33 f.) bezeichnet Evaluationen während der Implementationsphase mit dem Ziel der Einhaltung des Programmablaufs und der Umsetzung der Planungsvorgaben auch als on-going-Evaluationen. Beispiele für Formative Evaluationen zu Themen wie Wahrnehmung der Eingangsbereiche von Museen oder Beurteilung von Informationsmedien und interakti- 10 Evaluation im Kulturmarketing 195 ven Modellen in Ausstellungen sind unter anderem zu finden in Almasan et al. (1993). Almasan (1991) stellt eine Formative Evaluation im Württembergischen Landesmuseum Stuttgart genauer vor, bei welcher als Untersuchungsgegenstand im Rahmen der neuzugestaltenden Schausammlung eine Objektgruppe mit Texten, Inszenierungen und Originalexponaten als detailgetreues Modell im Maßstab 1 : 4 nachgebaut wurde. Die Texte wurden zusätzlich in Originalgröße erstellt. Schwerpunkte der Evaluation waren Fragen zum Verständnis und der Gestaltung der Texte und Abbildungen sowie zum Gesamteindruck des Environments. Rund 100 Testbesucher wurden mit dem Modell konfrontiert und hierzu mittels eines standardisierten Leitfadens befragt. Ergebnisse der ersten Erhebungsphase waren unter anderem ein zu hohes Abstraktionsniveau der grafischen Rekonstruktionen, eine unzureichende Textgliederung sowie fehlende Zusatzinformationen. Diese Schwachstellen konnten nach einer weiteren Erhebungsphase behoben werden. Weiterhin können beispielsweise auch Ausstellungstitel, Plakate oder Logos mittels Formativer Evaluation getestet werden, indem Testpersonen verschiedene Varianten vorgestellt werden (vgl. Munro et al. 2009: 85). Der Formativen Evaluation ähnlich ist die Nachbesserungsevaluation. Hier werden ebenfalls veränderte Elemente getestet, um Schwachstellen zu beseitigen und die Wirksamkeit des Angebots zu verbessern. Im Unterschied zur Formativen Evaluation geschieht dies erst nach Eröffnung oder Einrichtung, wenn bisher nicht erkannte Planungsfehler auftreten, die es nachzubessern gilt. Beispiele für Objekte einer Nachbesserungsevaluation in Museen sind Optimierungen von Orientierungstafeln, Leitsystemen, Erläuterungstexten oder Sitzgelegenheiten. Untersuchungen dieser Art sind eher selten (dokumentiert). Beispiele werden unter anderem aufgeführt in Bitgood (1996): eine Nachbesserungsevaluation beschäftigte sich hier mit der Platzierung und inhaltlichen Gestaltung von Texten in einer naturwissenschaftlichen Ausstellung. Nach Ausstellungseröffnung wurde beobachtet, dass eine Texttafel wenig Beachtung fand und es wurde ermittelt, dass die Besucher den Text selten verstanden und kaum auf das dazugehörige Objekt anwenden konnten. Erhobene Schwachstellen waren eine zu große Entfernung zwischen Text und Exponat sowie eine eher uninteressante Textgestaltung. Daraufhin konnte die Positionierung der Texttafel besuchergerecht geändert und ein neuer Text mit Abbildungen und einer Interesse weckenden Überschrift entworfen werden. Die Summative Evaluation ist der klassische Evaluationstyp. Bei dieser Form handelt es sich um eine abschließende und rückblickende Erfolgs- und Wirkungskontrolle. Häufig wird unter dem Begriff Evaluation allgemein das Konzept der Summativen Evaluation verstanden. Im Vergleich zu den meisten anderen Formen wird hier eine Gesamtbetrachtung eines Angebots unternommen und weniger auf spezifische Details eingegangen. Es können daraus Erfahrungen für die Zukunft gewonnen werden, welche helfen, ähnliche Fehler zu vermeiden und Angebote nutzerorientierter zu gestalten. Oft geht hiermit auch eine Besucherstrukturanalyse einher (vgl. Grewcock 2002). Häufig ist die Rechenschaft und Bilanzierung gegenüber einem Geldgeber ein Anlass für eine Summative Teil 1: Grundlagen des Kulturmarketing196 Evaluation. Evaluationen nach der Implementation eines Projekts werden nach Stockmann (2007: 33 f.) auch ex-post-Evaluationen genannt. Untersuchungsfragen einer Summativen Evaluation für Museen können sein: Wurden die Ziele der Ausstellung erfüllt? Konnten die Botschaften den Besuchern vermittelt werden? Wie wirkt die Ausstellung auf den Besucher, welche Eindrücke hinterlässt sie? Was funktionierte gut, was weniger? Welche Besucher kommen in die Ausstellung? Was sollte für den weiteren Verlauf korrigiert werden? (vgl. Munro et al. 2009: 87 f.). Die Status-quo-Evaluation wird eingesetzt, wenn ein Angebot seit einiger Zeit besteht und ersatz- oder modernisierungsbedürftig erscheint. Vor einer Überarbeitung wird mittels der Status-quo-Evaluation eine Bestandsaufnahme unternommen, die Schwachstellen des Angebots aufdecken und auch bereits vorausschauende Fragestellungen klären soll. Auf diese Weise soll sichergestellt werden, dass bei einer Überarbeitung tatsächlich Problemstellen behoben werden, welche die Verantwortlichen allein nicht erkannt hätten. Im Museum kann eine Status-quo-Evaluation erfolgen, indem man Besucher zu ihren Erwartungen, ihrem Verständnis der Botschaften sowie etwa zu Verweilzeiten, Laufrouten und Nutzungsverhalten befragt bzw. beobachtet. Insbesondere für die Neukonzeption länger bestehender Dauerausstellungen in Museen ist diese Evaluationsform sinnvoll (vgl. Klein 1991b: 8 ff.). Eine weitere Evaluationsvariante ist die Programm-Evaluation. Diese ist nicht durch den Zeitpunkt des Einsatzes, sondern durch ihr Bezugsobjekt gekennzeichnet. Da Kultureinrichtungen neben den Kernangeboten zunehmend verschiedene (Rahmen-)Programmangebote machen, werden auch diese zu wichtigen Untersuchungsobjekten. In Museen bezieht sich die Programm-Evaluation insbesondere auf Museumsführungen, die inzwischen in unterschiedlichsten Varianten für vielfältige Zielgruppen angeboten werden (vgl. Hein 1994; Klein et al. 2009). 7 Perspektiven von Evaluation im Kulturbereich und resümierende Überlegungen An dieser Stelle sollen abschließend Forschungslücken und Perspektiven von Evaluation im Kulturbereich aufgezeigt werden. So ist der Themenaspekt „Wirkungen“ von Kulturangeboten bisher kaum erforscht. Aber gerade im Bereich der Vermittlung kann Evaluation eine bedeutende Rolle einnehmen, indem Vermittlungsprozesse analysiert werden und dadurch zu ihrer Optimierung beigetragen wird. Das Erreichen der Zielsetzungen von Kultureinrichtungen kann so unterstützt und überprüft werden (vgl. u. a. Hooper-Greenhill 1994; Black 2005). Beispiele aus dem Museumsbereich hierfür sind Programm-Evaluationen museumspädagogischer Angebote oder Untersuchungen zu Lernprozessen im Museum (vgl. Schwan/Trischler/Prenzel 2006; Klein et al. 2009). Graf und Treinen (1983) untersuchten mittels verdeckter Beobachtung und mündlicher Befragungen im Deutschen Museum München früh Wirkungen von Exponaten 10 Evaluation im Kulturmarketing 197 und Darstellungselementen sowie Voraussetzungen für das Zustandekommen von Bildungserlebnissen im Museum. Sie analysierten unter anderem Zusammenhänge zwischen der Verweildauer der Besucher vor Objekten, ihrem Raumverhalten und Beurteilungen der gesehenen Ausstellungen. In diesem Bereich liegt enormes Potenzial für weiterführende Untersuchungen. Gerade durch die Kombination von quantitativen und qualitativen Befragungen sowie Beobachtungen können zielführende Ergebnisse erhalten werden. Die breite Palette von Evaluationsformen bietet zahlreiche Einsatzmöglichkeiten und wird noch lange nicht hinreichend ausgeschöpft. Gerade Vorab-, Formative und Nachbesserungsevaluationen sind hilfreiche Planungsinstrumente, deren Einsatz weiter ausbaufähig ist. Wenn potenzielle Besucher bzw. Nutzer schon in die Planungsüberlegungen einbezogen werden sollen, scheint erst einmal mehr Aufwand auf die Verantwortlichen zuzukommen. Allerdings kann so sichergestellt werden, dass Botschaften beim Publikum wirklich „ankommen“. Für das Haus der Geschichte der Bundesrepublik Deutschland lautet das Resümee zu eingesetzten Evaluationen: „Deren Ergebnisse sind nicht immer bequem, (…) sie sind beileibe nicht so teuer, wie gelegentlich unterstellt wird. Was wir an ,Lehrgeld‘ in die Evaluationsarbeit investierten, hat sich gelohnt, der Gesamtaufwand dürfte sich bei 1-2 % des für Gestaltungsarbeiten eingesetzten Budgets bewegen. (…) Die rechtzeitige und gezielte Investition von Geldern erspart (…) nicht nur ansonsten fällige frühe Nachbesserungen im großen Stil, sondern vergrößert auch die Wahrscheinlichkeit, dass eine Ausstellung ,ihre‘ angestrebten Besucher erreicht“ (Schäfer 2004: 116). Weiterhin machen die verschiedenen Evaluationsformen die Kontrolle der Untersuchungsergebnisse möglich. Es ist empfehlenswert Resultate aus einer Vorab-Evaluation anschließend mittels Summativer Evaluation auch zu überprüfen und die Untersuchungen weiterzuführen. Abschließend wird auf den Einwand eingegangen, dass Kultureinrichtungen durch die Anwendung von Evaluation nur noch rein nachfrageorientiert denken und arbeiten. Führt Besucherorientierung zu einer plebiszitären Angebotsplanung und -gestaltung? Es bestehen Bedenken, dass durch die Einwirkung der Besucher/Nutzer die Arbeit der Kultureinrichtungen eingeschränkt und ein zu großer Einfluss auf die inhaltliche Ausrichtung ausgeübt werde. Fachleute sind besorgt, dass die konzeptionelle und gestalterische Arbeit, die eigentlich ihre Aufgabe ist, an das Publikum delegiert werde und es schlussendlich nur noch darum gehe, dessen bestehende Erwartungen zu befriedigen. Das Ziel besucherorientierten Arbeitens ist aber gerade nicht, alle Entscheidungen dem Publikum zu übertragen. Es ist auch gar nicht davon auszugehen, dass dessen Interesse darin liegt, selbst über alle Angebote zu bestimmen, sondern es erwartet fachlich fundierte und auch neue, überraschende Sichtweisen aufgezeigt zu bekommen. Zudem ist zu berücksichtigen, dass immer die im Voraus definierten Ziele der Kultureinrichtung grundlegend sind (vgl. hierzu den Beitrag von Klein Grundlagen des Kulturmarketing in diesem Sammelband). Evaluationen dienen dazu, zwischen Kultureinrichtungen und dem Publikum zu vermitteln und diese Ziele umzusetzen – nicht sie zu untergraben. Teil 1: Grundlagen des Kulturmarketing198 Literatur Almasan, Anneliese (1991): Modelle als Testinstrumente bei der Ausstellungsplanung. In: Klein (1991a): 25-48 Almasan, Anneliese/Ellen von Borzyskowski/Sigrid Schambach/Hans Joachim Klein (1993): Neue Methoden der Ausstellungsplanung in Museen. Abschlußbericht, Karlsruhe. Bitgood, Stephen (1996): Nachbesserungsevaluation und der Prozess der Ausstellungsevaluation. In: Haus der Geschichte der Bundesrepublik Deutschland (1996): 49-59 Black, Graham (2005): The Engaging Museum. Developing museums for visitor involvement, New York (4. Auflage). Borun, Minda/Randi Korn (Hrsg.) (2003): Introduction to Museum Evaluation, Washington DC (2. Auflage). Commandeur, Beatrix/Dorothee Dennert (Hrsg.) (2004): Event zieht – Inhalt bindet. Besucherorientierung von Museen auf neuen Wegen, Bielefeld. Dauschek, Anja (Hrsg.) (1996): „Toll, aber wir haben uns nicht geküßt…“ Ein Forschungsbericht zur Evaluation der Ausstellung ,Verflixte Schönheit‘, München. DeGEval – Gesellschaft für Evaluation e.V. (2002): Standards für Evaluation, Köln (4. Auflage). De Perrot, Anne-Catherine/Tina Wodiunig (2008): Evaluieren in der Kultur. Warum, was, wann und wie? Ein Leitfaden für die Evaluation von kulturellen Projekten, Programmen, Strategien und Institutionen, Zürich. Deutscher Bibliotheksverband e.V. (2010): Homepage BIX. Der Bibliotheksindex. In: www.bix-bibliotheksindex.de (Stand: 19.07.2010) Diamond, Judy (1999): Practical Evaluation Guide. Tools For Museums & Other Informal Settings, Walnut Creek CA. Dierking, Lynn D./Wendy Pollock (1998): Questioning Assumptions. An Introduction to Front-End Studies in Museums, Washington DC. Ermert, Karl (Hrsg.) (2008): Evaluation als Grundlage und Instrument kulturpolitischer Steuerung. Dokumentation der Tagung der Bundesakademie für Kulturelle Bildung Wolfenbüttel, Wolfenbüttel. Glogner, Patrick/Patrick S. Föhl (2010): Das Kulturpublikum. Fragestellungen und Befunde der empirischen Forschung, Wiesbaden. Graf, Bernhard/Heiner Treinen (1983): Besucher im Technischen Museum: zum Besucherverhalten im Deutschen Museum München. Berliner Schriften zur Museumskunde. Band 4, Berlin. Graf, Bernhard/Günter Knerr (Hrsg.) (1985): Museumsausstellungen. Planung. Design. Evaluation, München. Grewcock, Duncan (2002): Before, During and After: Front-end, Formative and Summative Evaluation. In: Lord/Lord (2002): 44-53 Haus der Geschichte der Bundesrepublik Deutschland (Hrsg.) (1996): Museen und ihre Besucher. Herausforderungen in der Zukunft, Berlin. Hein, George E. (1994): Evaluation of museum programmes and exhibits. In: Hooper-Greenhill (1994): 306-312 Hooper-Greenhill, Eilean (1994): Museums and Their Visitors, London. 10 Evaluation im Kulturmarketing 199 Institut für Kulturpolitik der Kulturpolitischen Gesellschaft (Hrsg.) (2005): Jahrbuch für Kulturpolitik 2005. Band 5. Thema: Kulturpublikum, Bonn u. Essen. Keller, Rolf/Brigitte Schaffner/Bruno Seger (Hrsg.) (2008): spiel plan. Schweizer Jahrbuch für Kulturmanagement 2007/2008, Bern. Klein, Armin (2005): Kultur-Marketing. Das Marketingkonzept für Kulturbetriebe, München (2. Auflage). Klein, Armin (2008a): Besucherbindung im Kulturbetrieb, Wiesbaden (2. Auflage). Klein, Armin (2008b): Der exzellente Kulturbetrieb, Wiesbaden (2. Auflage). Klein, Hans Joachim (Hrsg.) (1991a): Evaluation als Instrument der Ausstellungsplanung. Karlsruher Schriften zur Besucherforschung. Heft 1, Karlsruhe. Klein, Hans Joachim (1991b): Evaluation für Museen. Grundfragen – Ansätze – Aussagemöglichkeiten. In: Klein (1991a): 3-24 Klein, Hans Joachim (Hrsg.) (1993): Front-End Evaluation. Ein nichtssagender Name für eine vielsagende Methode, Karlsruher Schriften zur Besucherforschung. Heft 4, Karlsruhe. Klein, Hans Joachim (1997): Nichtbesucher und museumsferne Milieus: „lohnende“ Gruppen des Museumsmarketing? In: Landschaftsverband Rheinland (1997): 28-43 Klein, Hans Joachim (Hrsg.) (1998): Doppelpack. Zum Lobe der vergleichenden Forschung. Karlsruher Schriften zur Besucherforschung. Heft 7, Karlsruhe. Klein, Hans Joachim/Bernd Lindner (1993): Ost-West-Perspektiven zur Deutschen Zeitgeschichte. Eine vergleichende Vorab-Evaluation für das Haus der Geschichte der Bundesrepublik Deutschland in Bonn, Karlsruhe u. Leipzig. Klein, Hans Joachim/Jennifer Striebel/Monica Trinca (2000): Im Meinungsspiegel. Wie das Schweizer Landesmuseum von Bevölkerung und Touristen wahrgenommen wird. Dokumentation einer Markterkundung im Auftrag des Schweizer Landesmuseums, Karlsruhe. Klein, Hans Joachim/Alexandra Donecker/Martina Hänle/Nadine Herrmann (2009): Besucherfeedback – ein Planungskriterium? In: Kunz-Ott/Kudorfer/ Weber (2009): 169-178 Kunz-Ott, Hannelore/Susanne Kudorfer/Traudel Weber (Hrsg.) (2009): Kulturelle Bildung im Museum. Aneignungsprozesse – Vermittlungsformen – Praxisbeispiele, Bielefeld. Landschaftsverband Rheinland. Rheinisches Archiv- und Museumsamt (Hrsg.) (1997): Das besucherorientierte Museum, Köln. Lord, Barry/Gail Dexter Lord (Hrsg.) (2002): The manual of museum exhibitions, Walnut Creek CA. Mattessich, Paul W. (2008): The Manager’s Guide to Program Evaluation. Planning, Contracting, and Managing for Useful Results, Saint Paul, MN (3. Auflage). Meyer, Wolfgang (2007): Messen: Indikatoren – Skalen – Indizes – Interpretationen. In: Stockmann (2007): 195-222 Miles, Roger (1985): Formative Evaluation und der Entwicklungsprozeß von Ausstellungselementen im British Museum (Natural History). In: Graf/Knerr (1985): 25-44 Teil 1: Grundlagen des Kulturmarketing200 Munro, Patricia/Eva Siekierski/Monika Weyer (2009): Wegweiser Evaluation. Von der Projektidee zum bleibenden Ausstellungserlebnis, München. Noschka-Roos, Annette (1996): Referierende Bibliographie zur Besucherforschung. Materialien aus dem Institut für Museumskunde. Heft 44, Berlin. Noschka-Roos, Annette (Hrsg.) (2003): Besucherforschung in Museen. Instrumentarien zur Verbesserung der Ausstellungskommunikation, München. Reussner, Eva M. (2010): Publikumsforschung für Museen. Internationale Erfolgsbeispiele, Bielefeld. Schäfer, Hermann (2004): Besucherforschung als Basis für neue Wege der Besucherorientierung. In: Commandeur/Dennert (2004): 103-122 Scher, Marita Anna (Hrsg.) (1998): Umwelt-Ausstellungen und ihre Wirkung. Schriftenreihe des Staatlichen Museums für Naturkunde und Vorgeschichte Oldenburg, Oldenburg. Schwan, Stephan/Helmuth Trischler/Manfred Prenzel (2006): Lernen im Museum. Die Rolle von Medien. Mitteilungen und Berichte aus dem Institut für Museumsforschung. Band 38, Berlin. Stockmann, Reinhard (2004): Was ist eine gute Evaluation? Einführung zu Funktionen und Methoden von Evaluationsverfahren. CEval Arbeitspapiere Nr. 9, Saarbrücken. Stockmann, Reinhard (Hrsg.) (2007): Handbuch zur Evaluation. Eine praktische Handlungsanleitung, Münster. Treinen, Heiner (1997): Museumsbesuch und Museumsbesucher als Forschungsgegenstand. Ergebnisse und Konsequenzen der Besucherorientierung. In: Landschaftsverband Rheinland (1997): 44-53 Van Deth, Jan/Julia Schäfer (2002): Ein Haus für alle. Landesgeschichte, Landesbewusstsein. Haus der Geschichte Baden-Württemberg – eine Umfrage, Filderstadt. Wegner, Nora (2008): Vorab-Evaluation als Antwort auf aktuelle Herausforderungen an Museen. In: Keller/Schaffner/Seger (2008): 131-136 Wegner, Nora (2010): Besucherforschung und Evaluation in Museen. Forschungsstand, Befunde und Perspektiven. In: Glogner/Föhl (2010): 97-152 Anmerkungen 1 Eine spezielle Form interner Evaluation ist das Monitoring, bei welchem ebenfalls eine Bestandsaufnahme und Bewertung vorgenommen wird. Diese erfolgt aber routinemäßig und kontinuierlich. Monitoring dient dazu, das Management fortlaufend mit Informationen darüber zu versorgen, ob die angestrebten Ziele möglichst effizient erreicht werden (vgl. Stockmann 2007: 63).

Chapter Preview

References

Zusammenfassung

»Volles Haus«

Kulturmarketing zahlt sich aus.

Der praktische Ratgeber „Kulturmarketing“

Kulturbetriebe benötigen heute mehr denn je ein effizientes Kulturmarketing, um in der Erlebnisgesellschaft ihr Publikum zu finden und nachhaltig ihren Bestand angesichts immer knapper werdender öffentlicher Mittel sicherzustellen. Das Werk Kulturmarketing beschreibt anhand vieler Beispiele Schritt für Schritt, wie ein strategisch erfolgreiches Kulturmarketing-Konzept erstellt und umgesetzt wird. Dabei stellt das Buch immer den Primat der künstlerischen bzw. kulturellen Zielsetzung in den Mittelpunkt. Der Ratgeber Kulturmarketing richtet sich in erster Linie an Praktiker in Kulturbetrieben, die für ihre Einrichtung ein effizientes Marketingkonzept entwickeln wollen und an Studierende des Faches Kulturmanagement, die in Zukunft im Kulturbetrieb arbeiten werden.

Der erfolgreiche Experte zum Kulturmarketing

Der Autor Prof. Dr. Armin Klein lehrt – nach vielen Jahren der Praxis – seit 1994 Kulturmanagement und Kulturwissenschaft am Institut für Kulturmanagement der PH Ludwigsburg.