Instrumente und Erhebungsablauf
Um die Evaluation in einem in der täglichen Beratungspraxis leistbaren zeitlichen Rahmen bewerkstelligen zu können und zur Vermeidung einer einseitigen Defizit- und Störungsorientierung, wurde , u. a. den Empfehlungen des 14. Kinder- und Jugendberichts folgend, erstmalig im Rahmen einer empirischen Studie in der Erziehungsberatung umfassend auf den von Amartya Sen und Martha Nussbaum beschriebenen „Capability Approach“ zurückgegriffen, bei dem die klientenbezogenen Verwirklichungschancen bzw. Grundbefähigungen für ein gelingendes Leben im Mittelpunkt stehen.
Im Fachdiskurs herrscht weitestgehend Konsens darüber, dass eine aussagekräftige Wirkungsbestimmung nur dann möglich ist, wenn die Dokumentationen bzw. Erhebungen prospektiv erfolgen. Dies bedeutet, dass sensible Daten wie die Capabilities nicht rückblickend in der Vergangenheit sondern möglichst zeitnah beratungsbegleitend erfasst werden sollten. Dazu sind mindestens zwei Erhebungszeitpunkte, einer zu Beratungsbeginn und einer am Beratungsende, notwendig. Wirkungen zeigen sich dann in den Zustandsveränderungen zwischen den Zeitpunkten („Veränderungsmessung“). Damit wird unmittelbar auf die Ergebnisqualität der Beratungsprozesse abgezielt, die auch die bke in ihren Empfehlungen in QS22 „Qualitätsprodukt Erziehungsberatung“ umrissen hat (Gerth, Menne & Roth, 1999).
Um auf diesem Hintergrund die Beratungswirkungen, in tatsächlich aussagekräftiger Form identifizieren zu können (vgl. Macsenaere, 2014), wurde der Wir.EB-Wirkungsevaluation ebenfalls ein entsprechend anspruchsvolles prospektiv-längsschnittliches Forschungsdesign zu Grunde gelegt, im Zuge dessen sowohl die Berater/-innen als auch die beteiligten Eltern und Jungen Menschen zu min. zwei Erhebungszeitpunkten befragt werden sollten.
Da neben der prospektiven Erfassung die Berücksichtigung unterschiedlicher Sichtweisen eine weitere wichtige Anforderung an Verfahren zur Wirkungsmessung ist, sollen die Capabilities zu jedem Dokumentationszeitpunkt jeweils aus Sicht der jungen Menschen, der Eltern sowie der Berater eingeschätzt werden. In diesem Zusammenhang ist geplant (mindestens) drei Dokumentationsinstrumente zu entwickeln, die zielgruppenspezifisch abgestimmt sowie leicht verständlich und handhabbar sind.
Um neben den intendierten Wirkungen, auch die nicht-intendierten Wirkungen (positive wie negative Nebenwirkungen) abbilden zu können, mussten diese Instrumente so weit wie möglich systematisiert und standardisiert werden. Dafür wurde, angelehnt an die in der Literatur beschriebenen Capabilities, ein spezifisch auf die Erziehungsberatung abgestimmtes „Grundgerüst“ von 13 wirkungsrelevanten Dimensionen entwickelt, das Querbezüge zu den 10 Grundbefähigungen nach Nussbaum aufweist. Zu jeder der 13 Dimension wurde eine Frage entwickelt, anhand derer die Ausprägung der Capabilities bzw. Grundbefähigungen auf sechs Antwortstufen von gar nicht bis völlig zutreffend eingeschätzt werden kann. Dabei beschäftigen sich sechs Fragen mit den spezifischen Capabilities des/der jungen Menschen, drei beziehen sich auf die Familie bzw. das Familiensystem und vier weitere auf die Lebenssituation der Eltern.
Die Fragenformulierungen in den Bögen wurden so gestaltet, dass eine Vergleichbarkeit der Einschätzungen von Berater/-innen, Eltern und Jungen Menschen grundsätzlich gewährleistet ist. Das Berater-Instrument enthält zudem noch eine optionale Langfassung, die bedarfsweise auch eine noch differenziertere Dokumentation ermöglicht.
Mit dem Abschluss der Modell- und Entwicklungsphase steht erstmals ein zuverlässiges und praktikables Instrument zur wirkungsorientierten Evaluation von Beratungsprozessen zur Verfügung, mit dem Beratungswirkungen differenziert und aus unterschiedlichen Perspektiven abgebildet werden können. Dies belegen auch die allergrößtenteils positiven Rückmeldungen aus der Beratungspraxis. Hier eine exemplarische Auswahl von „O-Tönen“, die im Rahmen einer Befragung der teilnehmenden Beratungsstellen erfasst wurden:
- „Ich bin überrascht wie bereitwillig Klienten mitwirken. Es gab kein ‚Nein‘"
- „Die Reduzierung auf wenige Dimensionen bzw. die Kürze des Instruments war sehr günstig für den Einsatz im Beratungskontext“
- „Einfache Handhabung, keine Defizit- oder Störungsorientierung“
- „Schnelles Ausfüllen (nur 1 Seite), dadurch große Bereitschaft. Übersichtlich, optisch ansprechend. Veränderungswünsche der Klienten waren für die Auftragsklärung hilfreich, waren z.T. sehr überraschend. Ebenso Einschätzungen, ob die Beratung etwas geändert hat.“
- „gutes Gefühl, bei der Evaluation unterstützt zu werden und sich nicht aus eigenen Ressourcen um statistische Auswertungen kümmern zu müssen.“