Ein Beispiel aus der Praxis
Wie läuft ein Evaluationsprozess ab? Welche Methoden können zur Beurteilung der pastoralen Arbeit eingesetzt werden? Welche Ergebnisse von Evaluationen in der pastoralen Arbeit sind zu erwarten? Diese und weitere Fragen werden nachfolgend anhand der Evaluation des Seelsorgeplans der Katholischen Kirche Stadt Luzern geklärt. Wie die Pastoralraumleitung und die Pastoralteams den Evaluationsprozess erlebt haben, wird im Erfahrungsbericht im Anschluss reflektiert.
1. Wie ist es zur Evaluation gekommen, und was war der Auftrag?
Auf der Grundlage des Pastoralen Entwicklungsplans des Bistums Basel1 hat die Katholische Kirche Stadt Luzern mit dem «Seelsorgeplan Kirche Stadt Luzern mit Zukunft»2 eine neue gemeinsame strategische Gesamtplanung der Seelsorge in der Stadt Luzern mit ihren acht Pfarreien festgelegt. Insbesondere hält der Seelsorgeplan fest, dass die Angebote in den Pfarreien der Katholischen Kirche Stadt Luzern in einem Grundangebot sowie einem Profilangebot zur Verfügung stehen sollen. Ausserdem wurden gesamtstädtische Schwerpunkte (Bereiche) definiert.
Die Umsetzung des Seelsorgeplans wurde im Jahr 2006 gestartet. Dabei wurde auch beschlossen, die Umsetzungsaktivitäten begleitend zu evaluieren. Deshalb hat die Leitung der Kirche Stadt Luzern «Interface Politikstudien Forschung Beratung GmbH, Luzern» beauftragt, ein Konzept zur Evaluation des Seelsorgeplans bis 2010 sowie zur Überprüfung der Gesamtplanung bis 2013 zu erstellen und die Evaluation auch zu realisieren.
2. Was war das Ziel der Evaluation?
Mit der Evaluation des Seelsorgeplans der Kirche Stadt Luzern wurden zwei Zielsetzungen verfolgt:
– Erstens sollten die Umsetzung sowie die Angebote (Leistungen) und Wirkungen des neuen Seelsorgeplans beurteilt werden.
– Zweitens sollten im Rahmen der Evaluation Methoden erarbeitet werden, damit die Mitarbeitenden des Pastoralraums die Zielerreichung sowie die Wirkungen ihrer Arbeit kontinuierlich und systematisch selbst überprüfen können.
Dies bedeutete, dass die Evaluation sowohl formativen als auch summativen Charakter hatte und externe Evaluation mit interner Evaluation kombiniert wurde. Der formative Teil der Evaluation diente der Optimierung des noch in Entwicklung befindlichen Seelsorgeplans und war deshalb auf das Lernen der Mitarbeitenden im Pastoralraum ausgerichtet. Der summative Teil der Evaluation sollte der Rechenschaftslegung gegenüber dem Kirchenrat und der Pastoralraumleitung dienen und aufzeigen, ob der Seelsorgeplan seine anvisierten Ziele auch tatsächlich erreicht(e).
3. Woran orientierte sich das Evaluationsteam bei der Konzipierung und Durchführung?
Für eine gute Evaluation ist es wichtig, dass die Evaluierten adäquat in den Evaluationsprozess einbezogen werden, und dies bereits von Anfang an. Dies bedeutet, dass gute Evaluationen immer auf den Evaluationsgegenstand zugeschnitten sind und keine Evaluation genau gleich ablaufen kann. So berücksichtigte das Evaluationsteam bei der Evaluation des Seelsorgeplans der Kirche Stadt Luzern insbesondere die Anliegen der Bereiche und der involvierten Pfarreiteams sowie die Vorgaben des Kirchenrates. Zweitens dienten die Empfehlungen der Schweizerischen Evaluationsgesellschaft (SEVAL), welche die Qualität von Evaluationen garantieren, als Orientierung bei der Konzipierung und Durchführung dieser Evaluation.3 Es wurden dabei folgende Grundsätze besonders berücksichtigt:
– Partizipativer Ansatz – aktiver Einbezug der Beteiligten: Wo Evaluationen auch auf das Lernen der Evaluierten fokussieren, sollen die beteiligten und die betroffenen Akteursgruppen (z. B. Pfarreiteams, Pfarreiräte) in geeigneter Form in die Planung und Durchführung der Evaluation einbezogen werden. So wurden von Anfang an die verschiedenen Gremien und Entscheidungsträger sowohl auf pastoraler als auch auf staatskirchenrechtlicher Seite in die Planung und Umsetzung der Evaluation einbezogen, und es wurden gemeinsam Entscheide zum Beispiel zu den einzusetzenden Methoden gefällt. Zudem konnten die Bereichsleitenden und die Pfarreiteams mit der Selbstevaluation die zu evaluierenden Leistungs- und Wirkungsziele selber bestimmen und die Erhebungen mit unserer Unterstützung selbstständig durchführen.
– Massnahmenbezogener Ansatz: Gute Evaluationen sind nicht nur wissenschaftlich korrekt ausgeführt, sondern auch praktisch nützlich. Dies bedeutete, dass viel Zeit für die Klärung der Evaluationsfragen aufgewendet wurde. Gemeinsam mit dem Pastoralraumteam und dem Kirchenrat wurden die in der Evaluation zu beantwortenden Fragen in mehreren Runden geklärt und der Einsatz der Methoden diskutiert. Damit wurde garantiert, dass die Evaluation auf die Situation und die Massnahmen der Kirche Stadt Luzern zugeschnitten umgesetzt werden konnte.
– Unabhängigkeit und Qualität der Untersuchungen: Die Glaubwürdigkeit einer Evaluation hängt stark von der Unabhängigkeit der Evaluierenden und der Qualität der Arbeit ab. So wurde bei der Evaluation des Seelsorgeplans der Kirche Stadt Luzern darauf geachtet, dass die Beurteilungen nachvollziehbar und unabhängig von Wertvorstellungen und Erwartungen des Auftraggebers erfolgten. Zudem wurde die Evaluation gemäss wissenschaftlichen Standards durchgeführt und der Bericht mit den Beteiligten und Betroffenen diskutiert und validiert.
4. Was wurde bei der Evaluation gemacht?
Bei der Evaluation des Seelsorgeplans der Kirche Stadt Luzern wurden verschiedene Methoden eingesetzt. Wir haben Grundlagendokumente analysiert, das Organigramm des Pastoralraumes überarbeitet, Selbstevaluationen der Pfarreien und Bereiche konzipiert und in der Umsetzung begleitet, eine Umfrage bei Pfarreimitgliedern durchgeführt, persönliche Interviews und Fokusgruppengespräche realisiert sowie verschiedene Berichte mit Empfehlungen verfasst. Nachfolgende Übersicht zeigt in Grundzügen, welche Methoden wir zur Beantwortung welcher Evaluationsfragen eingesetzt haben.
Nachfolgend werden die eingesetzten Methoden vorgestellt:
– Dokumentenanalyse: Als erster methodischer Schritt wurden zentrale Dokumente gesichtet und inhaltlich ausgewertet wie der Seelsorgeplan «Kirche Stadt Luzern mit Zukunft» oder das Dokument «Pfarreien entwickeln Profil»4.
– Persönliche Interviews: Insgesamt wurden 24 Interviews durchgeführt. Neben der Leitung des Pastoralraums wurden Vertretende der Pfarreiteams und der Bereiche sowie Mitglieder der Pfarreiräte, der Impulsgruppen und der Kommissionen in rund einstündigen Interviews befragt.
– Selbstevaluation: Die mit der Umsetzung betrauten Personen (Leitende der Pfarreien und der Bereiche) haben eine Selbstevaluation durchgeführt. Die im Rahmen der Selbstevaluation erhobenen Daten geben Auskunft über die Menge, die Art, den Zeitpunkt und die Qualität der Angebote (Leistungen) in den Pfarreien und Bereichen. Für die Selbstevaluation wurden fünf Workshops durchgeführt, in denen die Instrumente entwickelt und die Ergebnisse diskutiert worden sind.
– Breitenbefragung: Im Juni 2012 wurde eine quantitative Befragung bei einer Stichprobe aller Katholikinnen und Katholiken in der Stadt Luzern durchgeführt. Die schriftliche Befragung verfolgte das Ziel, Wirkungen des Seelsorgeplans zu erfassen.
– Fokusgruppengespräche: Vertreter/-innen der verhältnismässig grossen Zielgruppe der «kirchenfernen Katholiken/-innen» wurden im Rahmen zweier Fokusgruppen-Gespräche befragt. Neben den Wirkungen des Seelsorgeplans ging es dabei insbesondere darum, festzustellen, was die Bedürfnisse von Personen sind, die wenige bis keine Leistungen der Katholischen Kirche Stadt Luzern in Anspruch nehmen und wenige Berührungspunkte mit der Kirche aufweisen.
5. Was sind die wichtigsten Resultate der Evaluation?
Wie in Abbildung D.0.1 dargestellt, wurden bei der Evaluation des Seelsorgeplans das Konzept, die Umsetzung durch die Pfarreien und Bereiche, die Angebote (Leistungen) sowie die Wirkungen des Seelsorgeplans beurteilt. Nachfolgend werden zu diesen vier Aspekten die wichtigsten Ergebnisse erläutert.
Das Konzept des Seelsorgeplans wird von den zentralen Akteuren getragen, und es wurden geeignete Umsetzungsinstrumente entwickelt:
– Bei der Analyse des Organigramms wurde die hohe Zahl von Gremien kritisiert, deren Kompetenzen und Aufgaben teilweise auf Grund der kirchenrechtlichen und staatskirchenrechtlichen Doppelstruktur unklar sind. Seit der Überarbeitung des Organigramms der Katholischen Kirche Stadt Luzern 2012 sind der Aufbau und die Zuständigkeiten im Pastoralraum sowohl gegen innen als auch gegen aussen klarer und übersichtlicher.
– Die Planungsinstrumente der Katholischen Kirche Stadt Luzern (Aufgabenplanung, Jahresprogramm, Rahmenvereinbarungen usw.) sind konsistent aufgebaut und aufeinander abgestimmt. Da auch eine gewisse Skepsis gegenüber diesen Planungsinstrumenten vorhanden ist, sind die Leistungsvereinbarungen in den Pfarreien bislang kaum sichtbar. Eine systematische Anwendung dieser Planungsinstrumente durch die Verantwortlichen scheint auch in Zukunft zielführend, um die Transparenz über die Leistungen und Wirkungen im Pastoralraum zu erhöhen.
– Die vorgenommene Dreiteilung der Leistungen in ein Grund- und Profilangebot der Pfarreien und ein gesamtstädtisches Bereichsangebot wird von den interviewten Personen positiv beurteilt. Vereinzelt wird kritisiert, dass die Schnittstellen zwischen Grund-, Profil- und Bereichsangebot unklar sind. Eine Herausforderung stellt zudem die Doppelfunktion mancher Mitarbeitenden (für einen Bereich und für eine Pfarrei) dar.
Die Umsetzung des Seelsorgeplans erfolgt zielorientiert und unterstützt die Vernetzung unter den Pfarreien:
– Der Seelsorgeplan wird im Grundsatz gemäss seinen Zielsetzungen umgesetzt. Besonders schwer fällt den Pfarreien eine Reduktion der Leistungen im Grundangebot, wie dies in der Konzeption vorgesehen ist. Diese Praxis führt dazu, dass die Arbeitsbelastung in den Pfarreien hoch ist und die zur Verfügung stehenden Ressourcen als zu gering beurteilt werden.
– Die Umsetzung des Seelsorgeplans hat eine grössere Vernetzung zwischen den Mitarbeitenden bewirkt. Kritisiert wird, dass mit der Umsetzung des Seelsorgeplans eine Mehrbelastung aufgrund von administrativen Aufgaben und gestiegenem Koordinationsaufwand einhergeht. Es gibt bislang keine konkreten Hinweise darauf, dass durch die Bündelung der pastoralen Arbeit in den gesamtstädtischen Bereichen Ressourcen für Neues in den Pfarreien geschaffen werden konnten.
– Insbesondere in der Sozialdiakonie, der Jugendarbeit oder der Erwachsenenbildung hat sich die pfarreiübergreifende Zusammenarbeit intensiviert.
– Mehrheitlich negativ beurteilt wurde die Zusammenarbeit der Pfarreien mit den Bereichen. Die Pfarreien pflegen ein eher zurückhaltendes Engagement gegenüber den Bereichen, weil sie diese als verwaltungsnah wahrnehmen. Zudem haben sich die Bereiche teilweise profiliert, was zu einer gewissen Konkurrenzsituation zwischen Pfarreien und Bereichen führte.
Die Angebote (Leistungen) der Katholischen Kirche Stadt Luzern sind umfangreich und vielfältig:
Im Konzept des Seelsorgeplans sind gewisse Vorgaben zu den Leistungen festgelegt. Ziel der Leistungsüberprüfung war es, festzuhalten, ob und in welchem Umfang die vereinbarten Angebote durchgeführt wurden. So wurden im Rahmen der Selbstevaluation rund 30 verschiedene Leistungsziele und Indikatoren entwickelt. Nachfolgend sind ausgewählte Leistungen im Grundangebot aufgeführt. Es zeigt sich, dass über die Jahre das Grundangebot gesteigert werden konnte.
– 2012 haben an 1262 Werktaggottesdiensten über 66 000 Personen teilgenommen. Pro Woche finden damit in der Stadt Luzern (acht Pfarreien) etwa 25 Gottesdienste an Werktagen statt. Bei den 866 Gottesdiensten an Sonn- und Feiertagen betrug die Anzahl Mitfeiernder im Jahr 2012 über 170 000. Damit wird die Vorgabe des Grundangebotes (21 Gottesdienste pro Woche bzw. total 748 Sonn- und Feiertagsgottesdienste) wie schon in den Vorjahren übertroffen.
– Alle Pfarreien haben seit Inkrafttreten des Seelsorgeplans Profilangebote entwickeln und vielfältige Leistungen im Rahmen der jeweiligen Profile erbringen können. Dabei konnte erreicht werden, dass die Leistungen der Profile von den Zielgruppen auch wahrgenommen werden.
– Die Selbstevaluation der Leistungen in den Bereichen zeigt, dass die Ziele im Verlauf der Jahre immer besser erreicht werden konnten.
Die Wirkungen des Seelsorgeplans
Ein Grossteil der Katholiken/-innen in der Stadt Luzern nimmt wahr, dass sich die Katholische Kirche Stadt Luzern um sozial benachteiligte Personen kümmert und in den letzten Jahren neue Angebote geschaffen hat. Darstellung D.0.3 zeigt die Wirkungen des Seelsorgeplans im Überblick.
– Viele Katholiken/-innen fühlen sich über die Angebote der Katholischen Kirche Stadt Luzern ausreichend informiert. Angesprochen vom Angebot fühlt sich knapp die Hälfte der Personen. Bei der Mehrheit der Katholiken/-innen hat die Katholische Kirche Stadt Luzern ein (eher) positives Image. Dabei sind ältere Personen und Personen, die sich der Kirche/der Pfarrei näher fühlen, überdurchschnittlich zufrieden mit der Kirche Stadt Luzern.
– Auch die kirchenfernen Katholiken/-innen, die selten bis nie Leistungen in Anspruch nehmen, sind mit der Katholischen Kirche Stadt Luzern grundsätzlich zufrieden und schätzen ihr karitatives Engagement für Benachteiligte.
– Die Bekanntheit der Leistungen des Grundangebots ist hoch. Unterschiedlich bekannt sind den Katholiken/-innen in der Stadt Luzern die Profilangebote der Pfarreien sowie die Angebote der Bereiche.
– Auf der Ebene der Mitarbeitenden der Pfarreiteams und den Bereichsleitenden konnte mit der Einführung der Selbstevaluation ein gutes Verständnis für die Leistungs- und Wirkungsmessung erreicht werden.
6. Welche Empfehlungen wurden von der Evaluation her formuliert?
Nachfolgend wird eine Auswahl der wichtigsten Empfehlungen wiedergegeben. Dabei handelt es sich sowohl um strategische Empfehlungen (1–3) zuhan den des Doppelrats und des Grossen Kirchenrats als auch um operative Empfehlungen (4–5) zuhanden der an der Umsetzung des Seelsorgeplans beteiligten Personen:
1. Zusammenarbeit zwischen den Pfarreien sowie zwischen den Pfarreien und den Bereichen stärken:
Obwohl sich die pfarreiübergreifende Zusammenarbeit intensiviert hat, gibt es Konkurrenzsituationen insbesondere zu den gesamtstädtischen Bereichen. Das Pastoralraumteam sowie das erweiterte Pastoralraumteam sollen deshalb gezielt als Gefäss genutzt werden, in welchem die Zusammenarbeit und ein Austausch zwischen den Pfarreien sowie zwischen den Pfarreien und den Bereichen aktiv gefördert werden.
2. Konzentration von Aufgaben:
Viele Mitglieder der Kirche sind bereit, die Kirchensteuer für Leistungen zu entrichten, die anderen zugutekommen oder von denen sie in einer schwierigen Lebenssituation profitieren könnten. Für viele Personen ist die Kirche in erster Linie eine Institution, die Hilfesuchende, Bedürftige und Personen in Not unterstützt und berät. So soll die Kirche Stadt Luzern ihre Angebote nicht weiter ausdehnen, sondern auf eine hohe Qualität des Bestehenden achten. Damit kann auch der relativ starken Belastung der Mitarbeitenden entgegengewirkt werden.
3. Zielgruppen definieren und Kommunikation
anpassen: Der Seelsorgeplan wollte insbesondere die kirchenfernen Personen ansprechen. Diese Zielgruppe ist jedoch grundsätzlich zufrieden mit der Katholischen Kirche Stadt Luzern. Deshalb soll geklärt werden, ob diese Personen nach wie vor angesprochen werden sollen und falls ja, dass die Kommunikation entsprechend angepasst wird.
4. Gremien überprüfen und Rollen klären:
Da teilweise die Rollen der verschiedenen Gremien nicht klar waren, wird empfohlen, die verschiedenen Gremien und ihre Rollen (Aufgaben, Kompetenzen) zu überprüfen und zu klären. Dabei soll insbesondere die Einbindung des Pfarreirats in die Umsetzung des Seelsorgeplans geklärt werden.
5. Anwenden der Führungsinstrumente:
Es ist positiv, dass die Kirche Stadt Luzern über gute und konsistente Planungsinstrumente verfügt. Wichtig ist, dass die Verantwortlichen die Planungsinstrumente systematisch anwenden und die Personen, die auf strategischer und operativer Ebene damit arbeiten, bei der Anwendung begleiten und deren Aufwand für Berichterstattung und Selbstevaluation in vertretbarem Mass halten.5
Grafiken (sind nur im pdf sichtbar):
D.0.1: Evaluationsgegenstände, Fragestellungen und Methoden
D.0.2: Ausgewählte Leistungen im Grundangebot
D.0.3: Wirkungen des Seelsorgeplans
D.0.3: Wirkungen des Seelsorgeplans
Ruth Feller ist Leiterin des Bereichs Bildung und Familie bei «Interface Politikstudien Forschung Beratung GmbH» in Luzern;
Christoph Schwenkel ist Projektleiter im Bereich Organisation und Verwaltungsmanagement bei «Interface Politikstudien Forschung Beratung GmbH» in Luzern.