Zusammenfassung In einer Zusammenarbeit des Instituts für Arbeit und Gesundheit der Deutschen Gesetzlichen Unfallversicherung (IAG) und der Berufsgenossenschaft für Gesundheit und Wohlfahrtspflege (BGW) konnte auf Grundlage der Struktur-, Prozess- und Ergebnisqualität nach Donabedian (1966) ein Konzept zur Bewertung und Wirksamkeitsmessung einer neuartigen Qualifizierung entwickelt und umgesetzt werden. 17 Personen wurden hinsichtlich ihrer Zufriedenheit, der Wirksamkeit der Maßnahme und möglichen Verbesserungsvorschlägen befragt. Die Befragung erfolgte durch halbstandardisierte Telefoninterviews sowohl mit Teilnehmern der Qualifizierung als auch den Unternehmensleitungen der Betriebe. Zusätzlich wurde eine Ansprechpartnerin der BGW als Akteur der Qualifizierung interviewt. Die Ergebnisse zeigten eine allgemein positive Bewertung der Qualifizierung. Die Umsetzung der Qualifizierungsinhalte in den Betrieben fiel zum Erhebungszeitpunkt noch mittelmäßig aus. Während die Mehrheit der Teilnehmer berichtete, Inhalte der Qualifizierung im Betrieb umzusetzen, gaben nur zwei von insgesamt zwölf Teilnehmern eine Veränderung ihrer Stelle an. Verbesserungsvorschläge zur Optimierung der Qualifizierung wurden genannt. Anhand der Ergebnisse in Form eines Kategoriensystems konnten standardisierte Fragebögen entwickelt werden, die zukünftig eine Prä-Post-Bewertung der Maßnahme zulassen. Schlüsselwörter
· Betriebliche Weiterbildung
· Qualitätssicherung
· Lerntransfer
· Evaluation von Qualifizierungsmaßnahmen
· Betriebliches Gesundheitsmanagement
· Vocational training
· quality assurance
· learning transfer
· evaluation of trainingmeasures
· occupational health management
1. Hintergrund
Die Berufsgenossenschaft für Gesundheitsdienst und Wohlfahrtspflege (BGW) bietet ihren Mitgliedsbetrieben seit 2007 an, Beschäftigte aus Unternehmen, die eine Multiplikatorenfunktion haben, zum Thema betriebliches Gesundheitsmanagement auszubilden. Der Mitarbeiter soll dabei befähigt werden, den Aufbau eines betrieblichen Gesundheitsmanagements im Unternehmen zu unterstützen, diesbezüglich Projekte durchzuführen oder bei der Projektdurchführung zu beraten und schließlich ein betriebliches Gesundheitsmanagement in Arbeitsabläufe und Strukturen zu integrieren.
Die Qualifizierung enthält verschiedene Bausteine. Zum einen sind die Teilnehmenden verpflichtet, an mehreren Seminaren zu unterschiedlichen Themen teilzunehmen. Die Teilnehmenden müssen ein Projekt in ihrem Unternehmen durchführen, es in einem Bericht schriftlich ausarbeiten und schließlich im Rahmen einer Prüfung vorstellen. Ferner finden über den ganzen Qualifizierungszeitraum halbjährliche reflektierende Gruppengespräche zwischen den Teilnehmenden statt.
Die Teilnahmekosten für die Seminare, die den Mitarbeitern im Rahmen der Qualifizierung angeboten werden, übernimmt die Berufsgenossenschaft; Unternehmensleitungen müssen ihre Mitarbeiter für die Qualifizierung von der Arbeit freistellen. Kosten in Höhe von 500 Euro pro Person, die teilnimmt, entstehen dem Unternehmen für die Praxisbegleittermine und die Prüfung. Weiterhin ist ein schriftlicher Projektauftrag zwischen der Unternehmensleitung und dem Teilnehmenden der Qualifizierung Voraussetzung für die Teilnahme.Die Dauer der Qualifizierung beträgt in etwa drei Jahre; erste Absolventen haben 2010 ihre Prüfung abgelegt.
Die BGW war daran interessiert, eine Evaluation zur Qualifizierung durchzuführen. Für diesen Zweck wurde das Institut für Arbeit und Gesundheit (IAG) als externe Beratung mit dem Evaluationsprojekt beauftragt. Dafür war es notwendig, ein neues Evaluationsinstrument zu entwickeln, welches speziell an den Zielen der Qualifizierung und den Fragestellungen der Evaluation anlehnte.
Fragestellungen der Evaluation waren:
· Eine Einschätzung und Bewertung durch die Teilnehmenden und Unternehmensleitungen zu erhalten bezüglich ihrer Zufriedenheit und der Qualität der einzelnen Bestandteile der Qualifizierung;
· weiterhin sollte die Wirksamkeit der Maßnahme anhand der Umsetzung der Lerninhalte im Betrieb erfasst werden und
· s chließlich mögliche Verbesserungsvorschläge zur Optimierung der Qualifizierung gewonnen werden.
Die Interviewbefragung sollte als Vorstudie für die Konstruktion standardisierter Fragebögen dienen, die es für die BGW ermöglicht, zukünftig eine kontinuierliche Qualitätskontrolle der Maßnahme durchzuführen.
2. Methodisches Vorgehen
Die Befragung der Teilnehmenden und Unternehmensleitungen sollte in zwei Staffeln im März und Juni 2011 jeweils durch Telefoninterviews erfolgen. Im ersten Durchlauf konnten zehn Teilnehmende und drei Unternehmensleitungen befragt werden. Im Laufe der Untersuchung stellte sich heraus, dass die Teilnehmenden des zweiten Durchlaufs alle einem Unternehmen angehörten, und so wurden, um eine Ergebnisverzerrung zu verhindern, lediglich zwei Teilnehmende befragt, wobei einer in Vertretung aller anderen Teilnehmenden antwortete. Weiterhin wurde die Unternehmensleitung dieses Betriebes im zweiten Durchlauf interviewt. Um den Evaluationsgegenstand aus möglichst vielen Perspektiven zu betrachten, wurde als zusätzliche Informationsquelle eine Ansprechpartnerin der BGW interviewt, die für die Organisation und Durchführung der Qualifizierung verantwortlich war. Die Stichprobengröße ist N = 17.
Die Telefoninterviews fanden auf Basis eines halbstandardisierten Interviewleitfadens statt, der anhand der Struktur-, Ergebnis- und Prozessqualität nach Donabedian (1966) konstruiert wurde.
Anhand der Interviewleitfäden und der Ergebnisse aus den Befragungen sollten standardisierte Fragebögen konstruiert werden, die zukünftig eine kontinuierliche Prä-Post-Evaluation zulassen.
3. Ergebnisse
Die Ergebnisse fielen insgesamt gut aus. Im Folgenden werden die drei oben beschriebenen Kernfragen einzeln dargestellt und diskutiert.
3.1. Bewertung und Zufriedenheit mit der Qualifizierung
Tabelle 1 gibt einen Überblick über die allgemeine Bewertung der Qualifizierung, gemessen an den Fragen zur Gesamtbewertung/Zufriedenheit, Erwartungserfüllung und Weiterempfehlung. Die Tabelle lässt einen Vergleich zwischen Einschätzungen der Teilnehmenden und Einschätzungen der Unternehmensleitungen zu.
In den Ergebnissen zeigt sich, dass die Teilnehmenden mit der Qualifizierung allgemein zufrieden sind. Die niedrige Streuung deutet daraufhin, dass die Teilnehmenden in dieser Einschätzung weitgehend konform gehen. Die Unternehmensleitung ist sogar im Schnitt etwas zufriedener mit der Qualifizierung als die Teilnehmenden. Bei der Erwartungserfüllung bewerten die Teilnehmenden die persönliche Erwartungserfüllung um einen halben Skalenpunkt weniger als die Unternehmensleitungen. Allerdings impliziert die recht hohe Streuung der Teilnehmenden, dass einige Ausreißer unter den Antworten dabei waren. Die überwiegende Mehrheit aller Befragten würde die Qualifizierung weiterempfehlen, was stark für die Akzeptanz der Maßnahme spricht.
Um die Ergebnisse inhaltlich auswerten zu können, wurde eine Ansprechpartnerin der BGW gebeten, auf einer Skala von 1 (sehr gut) bis 6 (ungenügend) anzugeben, mit welchen Ergebnissen der Teilnehmenden und Unternehmensleitung sie sehr zufrieden wäre, welche Werte sie akzeptabel fände und mit welchen sie eher unzufrieden wäre. Vergleicht man nun die Ergebnisse mit den angegebenen Kriterien, wird deutlich, dass die Einschätzungen der Befragten sehr zufriedenstellend ausfallen (vgl. Tabelle 2). So gab sie beispielsweise an, bei der Frage nach der Gesamtzufriedenheit einen Mittelwert von MW # 2 als sehr zufrieden anzusehen, welcher bei beiden Gruppen, Teilnehmende und Unternehmensleitung, vorhanden ist. Die Erwartungserfüllung fällt im Bezug auf die Kriterien der BGW akzeptabel aus. Mit einem Mittelwert von MW = 2,58 (SD = 1,73) liegt die Einschätzung der Teilnehmenden im mittleren Kriterienbereich. Die Einschätzung durch die Unternehmensleiter fällt hier sehr zufriedenstellend aus. Auch bei den Indikatoren Kompetenz und der Frage nach der zukünftigen Bedeutung des BGM im eigenen Betrieb lässt sich ein sehr positives Ergebnis verzeichnen. Als zufriedenstellendes Kriterium wurde bei beiden ein Wert von MW # 3 genannt, der in den Ergebnissen auch erreicht wurde. In Bezug auf die Wirksamkeit, die durch die Unternehmensleitungen eingeschätzt werden sollte, zeigen sich ebenfalls sehr zufriedenstellende Werte. Mit einem Wert von MW = 1,5 (SD = 0,58) liegt die Einschätzung der Unternehmensleitungen bei beiden Fragen im Bereich des Kriteriums, mit dem die BGW sehr zufrieden ist.
Die Bewertung der Qualifizierung fällt demzufolge gut aus. Sowohl Teilnehmende als auch Unternehmensleiter sind allgemein zufrieden mit der Qualifizierung. Lediglich bei der Erwartungserfüllung weisen die Ergebnisse der Teilnehmenden etwas niedrigere Werte auf. Dieser Aspekt könnte allerdings darauf zurückgeführt werden, dass einige Teilnehmenden gar keine oder sogar negative Erwartungen im Vorfeld an die Qualifizierung hatten. Dies sollte bei der Interpretation der Ergebnisse berücksichtigt werden. In der Gesamtbewertung würden fast alle befragten Nutzer die Maßnahme weiterempfehlen, was als sehr positives Ergebnis gewertet werden kann.
3.2. Wirksamkeit der Maßnahme bzw. Umsetzung im Betrieb
Für diese Fragestellung sind die Ergebnisse des Indikators Zielerreichung im Sinne der Qualifizierung von Bedeutung. Die Teilnehmenden wurden gefragt, ob sie Inhalte aus der Qualifizierung im Betrieb anwenden und ob sie sich in ihrer beruflichen Tätigkeit nach der Maßnahme verändert haben. Die meisten Teilnehmenden berichteten, dass sie Inhalte aus der Qualifizierung im Betrieb anwenden. Auf die Frage hin, ob eine Veränderung in der Tätigkeit der Arbeitsaufgabe stattgefunden hat, berichteten fünf von zwölf Teilnehmenden eine Veränderung der Stelle und nur zwei davon von einer vollkommen neuen Stelle als Gesundheitsbeauftragter (siehe Abbildung 1). Als Gründe hierfür können anhand der Antworten die noch immer fehlende Akzeptanz und Sensibilität zum Thema in den Betrieben und der, vor allem im Pflegebereich, oftmals sehr hohe Zeitmangel angesehen werden. Zudem spielt der Zeitpunkt der Befragung eine große Rolle. Unmittelbar nach Abschluss der Qualifizierung gefragt sind die Möglichkeiten der Umsetzung noch nicht gut gegeben.
Die Qualifizierung soll die Teilnehmenden dazu befähigen, im Unternehmen ein betriebliches Gesundheitsmanagement aufzubauen, Projekte diesbezüglich durchzuführen und als Berater und Ansprechpartner zu Themen des BGM zur Verfügung zu stehen. Acht von den zwölf befragten Teilnehmenden konnten Inhalte und Methoden aus der Qualifizierung im Betrieb anwenden, bei vier Teilnehmenden fand bisher kaum beziehungsweise gar kein Transfer der Inhalte im Betrieb statt. Auch hier spielt der Zeitpunkt der Befragung eine Rolle. Bei den Teilnehmenden, die Inhalte umsetzen konnten, wurden hauptsächlich Methoden zur BGM-Durchführung angewandt, weniger zu Projektberatung oder zum BGM-Aufbau. Die Unternehmensleitungen gaben alle vier an, dass ihr Mitarbeiter Inhalte aus der Qualifizierung im Betrieb umsetzt, Methoden und Techniken anwendet und als Wissensmultiplikator fungiert. Die Angaben zum Transfer des Gelernten sollten aufgrund der recht unterschiedlichen Einschätzungen von Teilnehmenden und Unternehmensleitungen zukünftig näher betrachtet werden.
3.3. Verbesserungsvorschläge/Mögliche Optimierung der Qualifizierung
Die Teilnehmenden wurden gefragt, was bei ihnen den stärksten Eindruck hinterlassen hat.
Das Seminar zu Moderationstechniken wurde dabei mehrfach positiv erwähnt. Auch die Gruppenprüfung in Form einer Präsentation des eigenen Projekts wurde mehrfach als Plus der Qualifizierung genannt. Weiterhin wurde vermehrt der Wunsch nach einer Festlegung der Reihenfolge der Seminare laut. Sowohl Teilnehmende als auch Unternehmensleitungen schlugen vor, das Seminar zum Projektmanagement an den Anfang der Qualifizierung zu legen. Einige Teilnehmende wünschten sich zudem eine Vertiefung der Inhalte in bestimmten Seminaren und eine Reduktion der Seminare, die mit dem eigenen Berufsfeld wenig zu tun haben (z. B. Seminar zu Verkehrssicherheit).
In Bezug auf den Qualifizierungsprozess an sich berichteten mehrere Teilnehmende vom Wunsch nach mehr Unterstützung, sowohl seitens des eigenen Betriebes als auch der BGW. Die Teilnehmenden wünschten sich mehr Mitwirkung der BGW, z. B. in Form von Briefen der BGW an die Unternehmensleitung, in denen die Notwendigkeit der Mithilfe durch den Vorgesetzten noch einmal angesprochen wird. Darüber hinaus würden mehrere Teilnehmenden einen Titel als Bezeichnung und Qualifikationsnachweis für mehr Akzeptanz und Anerkennung im Betrieb begrüßen. Mehrere Teilnehmende schlugen vor, eine intensivere Praxisbegleitung, wenn möglich auch im eigenen Betrieb, durchzuführen.
4. Resümee
Auf Basis der Struktur-, Prozess- und Ergebnisqualität nach Donabedian (1966) konnte erfolgreich eine neuartige Qualifizierungsmaßnahme untersucht werden. Die Indikatorenbildung auf Grundlage dieses Modells hat sich als hilfreich für den Zweck der Untersuchung herausgestellt. Es konnten Erkenntnisse gewonnen werden sowie Hilfestellung zur Optimierung der Qualifizierung geleistet werden.
Die Form der qualitativen Befragung bringt Vorteile, aber auch Nachteile mit sich. Der Befragte hatte so die Möglichkeit, anhand von offenen Fragen relevante Aspekte zu vertiefen. Die persönliche Situation lässt auch eine Einbeziehung des Kontexts in die Interpretation mit zu. Nachteilig könnte es allerdings zu Verzerrungen seitens des Fragenden kommen, Antworten könnten vorgegeben oder die Interpretation der Ergebnisse durch die subjektive Einstellung des Interviewers verfälscht werden. Daher ist es sinnvoll, Interviews aufzuzeichnen und von verschiedenen Evaluierenden interpretieren zu lassen. Dieser Aspekt wurde in der vorliegenden Studie berücksichtigt.
Zudem wurden neben den offenen Fragen auch standardisierte Fragen, auf denen der Befragte auf einer Skala einschätzen musste, gestellt. Die Kombination von qualitativen und quantitativen Daten bringt entsprechend dem Forschungszweck verwendbare Ergebnisse.1
Die Ergebnisse der qualitativen Befragungen in Form einer summativen Evaluation mündeten in einem zweiten Teil der Studie in einen standardisierten Fragebogen, mit dessen Hilfe die BGW zukünftig die Qualifizierung prozessbegleitend evaluieren kann.
Abschließend lässt sich zusammenfassen, dass die Qualifizierung allgemein sehr positiv bewertet wird. Es gibt Verbesserungsvorschläge, die an die BGW zur Optimierung der Qualifizierung weitergeleitet wurden. Die Wirksamkeit der Qualifizierung ist mit gut zu bewerten, wobei in Bezug auf Unterstützung und Akzeptanz im Betrieb Verbesserungspotenzial besteht.
5. Ausblick
Auf Grundlage des vorhandenen Interviewleitfadens und der Ergebnisse der Befragung wurden Fragebögen konstruiert. Die Fragebögen liegen in vier Versionen vor, jeweils als Prä- und Post-Messung für beide Gruppen, Teilnehmende und Unternehmensleitungen.
Zukünftig gilt es, die Fragebögen zur kontinuierlichen Bewertung und Wirksamkeitsmessung der Qualifizierung einzusetzen. Weitere Evaluation sowie Optimierung der Fragebögen werden folgen.
Literatur
1. Wittkowski J. Das Interview in der Psychologie. Interviewtechnik und Codierung von Interviewmaterial. Westdeutscher Verlag, Opladen, 1994
2. Donabedian A. Evaluating the Quality of Medical Care. Milbank Memorial Fund Quarterly: Health and Society 1996; 44: 166203
