p@psych
Das erste pädagogisch-psychologische e-zine im internet | Seit 1996 | ISSN 1561-2503
12. Jahrgang 2007 [v1.0 - 07-04-04]
Werner Stangl: Die Evaluation der Abteilung PPP der jku - Eine Replikation | version 0.9 | date 07-06-25

Ergebnisse und Diskussion

Rücklauf

Von den insgesamt 1051 Adressen bouncten im Vergleich zu früher verwendeten Mail-Listen relativ wenige (12) - sofern die Nicht-Erreichbarkeit bzw. -Gültigkeit der Mail-Adressen auf Grund des unterschiedlichen Verhaltens von Mailverteilern überhaupt festgestellt werden kann. Bei der zweiten Aussendung (Erinnerung) wurde wurden diese Adressen dennoch nochmals angeschrieben, wobei es nur mehr 4 Bounces gab. Offensichtlich waren zum Zeitpunkt der ersten Aussendung einige Postfächer überfüllt bzw. Mailserver überlastet.

Insgesamt antworteten innerhalb der gesetzten Frist 248 StudentInnen (23,6%; 2005 waren es 32% der Population), davon nur 4 spontan schon vor der Aussendung der ersten Mail nur auf Grund des Textes auf der Homepage, nach der ersten Einladung wurden 183 Formulare übermittelt, der Rest nach der Erinnerungsmail.

Der prozentuell geringere Rücklauf im Vergleich zur ersten Erhebung hat vermutlich verschiedene Ursachen. Die wesentlichste dürfte die etwas andere Population der Umfrage gewesen sein, denn sie war zwar etwas größer, aber sie umfasste auch StudentInnen, die in der Zwischenzeit möglicherweise entweder ihr Studium abgeschlossen oder auch abgebrochen hatten.

Bei der Darstellung werden in einigen Fällen in Klammern die Ergebnisse der ersten Studie (2005) zum Vergleich angegeben.

Charakteristik der TeilnehmerInnen

Bei den TeilnehmerInnen an der Befragung dominierte erwartungsgemäß das weibliche Geschlecht mit einem Anteil von 71 Prozent (2005: 75%), wobei sich darin in etwa die Verteilung der StudentInnen der Abteilung widerspiegelt. Die leichte Veränderung hin zu mehr männlichen Studierenden spiegelt auch eine in den letzten Jahren zu beobachtende leichte Tendenz der StudentInnenentwicklung an der Universität wider (Statistik der Universität Linz).

Um den Einfluss der konkreten Erfahrungen zur Abteilung PPP an der Evaluation zu ermitteln, wurde nach der Anzahl der bisher besuchten Lehrveranstaltungen gefragt: 19% (2005: 21%) stehen mit 1-2 Lehrveranstaltungen am Beginn ihres Studiums, während etwas mehr, nämlich 24% (2005:22%) bereits sieben und mehr Lehrveranstaltungen an unserer Abteilung besucht hatten, 32% (2005: 25%) hatten 3 bis 4 und 25% (2005: 24%) 5 bis 6 bisher in ihrem Studium belegt. Dabei muss berücksichtigt werden, dass die Zuordnung von Lehrveranstaltungen bzw. DozentInnen zu Abteilungen - vermutlich trotz der aus diesem Grund verwendeten "Visualisierung" für manche StudentInnen nicht eindeutig ist, sodass diese Zahlen mit einem gewissen Vorbehalt zu betrachten sind.

Bei den Studienrichtungen dominieren auch dieses Mal die WirtschaftspädagogInnen mit 78% (2005: 87%), während mit 14% (2005: 9%) die TNF-StudentInnen, 3% (2005: 2%) die KunsterzieherInnen und 4% (2005: 2%) sonstige StudentInnen schwach vertreten sind. Die etwas größere Population von Technik-StudentInnen hängt mit der Studienplanreform zusammen, die mehr verpflichtende pädagogisch-psychologische Lehrveranstaltungen vorsieht. Auf Grund der geringen Besetzungszahlen sind aus methodischen Gründen statistische Vergleiche zwischen allen Studienrichtungen nur in geringem Maße möglich.

Die Frage nach der Teilnahme an der ersten Untersuchung erbrachte, dass von den ProbandInnen 10 Prozent mit Sicherheit schon an der ersten Evaluation teilgenommen hatten, 29 Prozent es nicht sicher sagen konnten und 58 Prozent damals noch nicht dabei waren. Der Rest machte keine Angabe. Der hohe Prozentsatz von 29 Prozent, die sich nicht sicher waren, lässt vermuten, dass die Evaluierungen an der Universität so zahlreich geworden sind, dass man sich nicht mehr daran mit Sicherheit erinnern kann. Das ist auch deshalb überraschend, da meines Wissens bisher kein einziges Institut der Universität Linz eine Evaluation einer ganzen Abteilung oder eines Instituts vorgenommen hatte.

Geschlossene Fragen

In der folgenden Tabelle findet sich die Verteilung der Prozentwerte bzw. der Medianbereich (gelb hervorgehoben) zu den beurteilten Bereichen der Abteilung (der genaue Wortlaut findet sich im Fragebogen), wobei als Skalierung das Notensystem zur Anwendung kam:

Bereich (Anzahl der Urteile)

sehr gut

gut

befriedigend

genügend

ungenügend

Abteilungsbibliothek (207)

21,7

49,8

23,7

4,3

0,5

Sekretariat (189)

55,0

38,1

5,8

0,5

0,5

Lehrveranstaltungen (238)

19,7

55,5

21,8

2,5

0,4

Homepage (218)

13,8

37,2

34,9

11,0

3,2

Informationsangebot (196)

18,4

51,5

27,0

2,6

0,5

Betreuung Diplomarbeit (40)

45,0

37,5

12,5

5,0

0,0

Öffentlichkeitsarbeit (109)

7,3

31,2

45,0

14,7

1,8

Forschungsleistungen (84)

32,1

47,6

19,0

0,0

1,2

Betreuung insgesamt (218)

20,2

60,6

15,1

3,7

0,5

Sonstige Angebote (124)

21,0

42,7

25,0

11,3

0,0

ICSC und ÖFEB (35)

11,4

42,9

40,0

5,7

0,0

MitarbeiterInnen (219)

26,9

60,7

10,5

1,8

0,0

Abteilung PPP (215)

14,9

68,4

14,9

1,9

0,0

Die Anzahl der zu den einzelnen Bereichen abgegebenen Urteile zeigt, dass den StudentInnen die Bereiche in äußerst unterschiedlicher Weise zugänglich sind. An der Spitze stehen - nicht zuletzt aufgrund der Rekrutierung der Population der Befragung - die Lehrveranstaltungen (238 Noten), gefolgt von den MitarbeiterInnen (219), der Homepage und der allgemeinen Betreuung (je 218). Während die Betreuung ihrer Diplomarbeit wie beim ersten Mal nur wenigen StudentInnen vertraut ist, sind die Informationen über die Forschungsleistungen und die mit der Abteilung verbundenen Institutionen ICSC und ÖFEB nach wie vor sehr gering.

Ein Vergleich mit der Verteilung aus dem Jahr 2005 zeigt - die Tabelle ist durch einen Klick auf den Link als zusätzliches Fenster zu öffnen - dass sich praktisch wenig geändert hat. In der folgenden Tabelle sind die Mittelwerte und Standardabweichungen der beiden Termine einander gegenübergestellt, wobei die Differenzen minimal sind:

Bereich

Mittelwert
2007

Standard-
abw.
2007

Mittelwert
2005

Standard-
abw.
2005

Signif.
Differenz
p≤0,05

Abteilungsbibliothek

2,12
0,68

2,13

0,87

nein

Sekretariat

1,53
0,74

1,59

0,72

nein

Lehrveranstaltungen

2,08
0,68

2,19

0,83

nein

Homepage

2,53
0,97

2,33

1,09

ja

Informationsangebot

2,15
0,76

2,01

0,88

nein

Betreuung DA

1,77
0,86

2,04

1,08

nein

Öffentlichkeitsarbeit

2,72
0,87

2,70

0,96

nein

Forschungsleistungen

1,90
0,79

2,17

0,90

ja

Betreuung insgesamt

2,04
0,74

2,09

0,79

nein

Sonstige Angebote

2,27
0,92

1,94

0,84

ja

ICSC und ÖFEB

2,40
0,78

2,23

0,72

nein

MitarbeiterInnen

1,87
0,69

1,93

0,68

nein

Abteilung PPP

2,04
0,61

2,02

0,62

nein

Am besten schneiden innerhalb der Arbeitsbereiche abermals das Sekretariat und die Betreuung durch die MitarbeiterInnen bzw. bei der Diplomarbeit mit einem durchschnittlichen Wert unter einem "gut" ab. Am schlechtesten schneiden Öffentlichkeitsarbeit und die Homepage ab.

Es gibt nur drei Veränderungen gegenüber dem ersten Termin: Die Forschungsleistungen der Abteilung werden besser bewertet, die sonstigen Angebote und die Homepage schlechter als beim ersten Termin. Die Verschlechterung der Bewertung der Homepage ist insofern nicht überraschend, als 2005 auf Grund der Evaluation nach einer internen Diskussion eine Neugestaltung der Homepage mit Fokussierung auf die Lehre stattfand und dadurch die Übersichtlichkeit etwas verloren ging bzw. auch der vorher direkt zugängliche Umfang des Angebotes reduziert wurde.

Eine Betrachtung der Produkt-Moment-Korrelationen der Benotungen der einzelnen Bereiche mit der Gesamtbewertung - auch wenn die Verwendung dieses Kontingenzmaßes auf Grund der ordinalen Struktur von Noten problematisch ist - zeigt, dass der Gesamteindruck in erster Linie von den MitarbeiterInnen (r=0,74), der Betreuung bei der Diplomarbeit (r=0,73; allerdings bei einem geringen N von 38) und der Betreuung insgesamt (r=0,69) und den Lehrveranstaltungen (r=0,63) abhängt. Den geringsten Einfluss weisen die Homepage (r=0,27), das Sekretariat (r=0,37) und die Bibliothek (r=0,31) auf. Im Vergleich zur ersten Untersuchung ist dieses Mal ein höherer Zusammenhang der Gesamtbenotung mit der Forschungsleistung festzustellen: r=0,49 (2005: r=0,39). Wenig Aussagekraft haben auch dieses Mal die Zusammenhänge zwischen der Betreuung bei der Diplomarbeit bzw. die Bedeutung der assoziierten Institutionen ICSC und ÖFEB zur Gesamtbewertung, da sie nur für wenige StudentInnen der Stichprobe relevant sind (84 bzw. 85 Prozent hatten keine Bewertung abgegeben). Insgesamt betrachtet sind die gefundenen Zusammenhänge aber eine zahlenmäßige Bestätigung der Ergebnisse aus dem Jahr 2005.

Insgesamt betrachtet sind die persönlichen Beziehungen zu den Abteilungsmitgliedern bzw. das Erleben dieser ausschlaggebend für die Gesamtbewertung der Abteilung.

Interessanterweise spielt für die Bewertung der Bereiche der Abteilung die Anzahl der besuchten Lehrveranstaltungen - letztlich also die Dauer der persönlichen Erfahrungen mit der Abteilung - keine Rolle. Auch hat das Geschlecht der Befragten keinen Einfluss auf die Bewertungen der einzelnen Bereiche.

Auf die Darstellung der Bewertungsunterschiede zwischen den Studienrichtungen soll hier verzichtet werden, da sich kein einziger statistisch bedeutsamer Koeffizient ergab.

Auch die Unterscheidung nach TeilnehmerInnen, die zum ersten Mal an dieser Evaluation teilgenommen hatte und solchen, die schon 2005 dabei waren, erbrachte keine einzige statistisch bedeutsame Differenz.

Offene Frage

Die Möglichkeit, verbal zur Abteilung Stellung zu nehmen, wurde von 67 StudentInnen genützt, um so der schlichten Notenbewertung auch Inhalt zu verschaffen. Die meisten bezogen sich dabei auf mehrere Bereiche (meist ein, seltener auch zwei) der Abteilung. Die Originaltexte der Anmerkungen finden sich in anonymisierter Form im vollständigen Wortlaut auf einer eigenen Seite. Hier werden die Ergebnisse in komprimierter Form dargestellt, wobei ein Abgleich mit der Ziffernbeurteilung erfolgt. Die folgenden Überschriften sind zugleich ein Link zu den vollständigen Anmerkungen zum jeweiligen Bereich. Im Vergleich zur ersten Erhebung waren die KollegInnen wesentlich "schweigsamer" - inhaltlich hat sich allerdings wenig an den Meinungen geändert.

Sekretariat

Von allen Servicebereichen schnitt das Sekretariat abermals am Besten ab. Diese Daten bestätigen das Ergebnis der ersten Studie.

Bibliothek

Die Bibliothek als neben dem Sekretariat wesentlichster Anlaufpunkt der StudentInnen versammelte abermals neben der Lehre die meisten Antworten auf sich. Dabei ist zu berücksichtigen, dass in den letzten Jahren häufig Personalveränderungen vorgenommen wurden, sodass sich die Kritikpunkte teilweise - sofern keine Namen genannt wurden - auf frühere MitarbeiterInnen beziehen dürften - was in einer Wortmeldung explizit angesprochen wurde. Beinahe alle Kommentare beziehen sich auf die in den letzten Jahren immer wieder erweiterten Öffnungszeiten - einige auch auf das von der Hauptbibliothek mitbestimmte Ausleihprozedere, einige Aussagen auf die Informationspolitik. Im Prinzip wird eine quantitative Erweiterung bei den Öffnungszeiten, den Ausleihfristen und der Anzahl der entlehnbaren Bücher gewünscht.

Homepage der Abteilung

Die Homepage wurde nach der Evaluation 2005 auf Basis der studentischen Vorschläge umstrukturiert, wobei es auch zu einer Reduktion der ursprünglich von der Titelseite zugänglichen Informationen gekommen war. Diese "Anpassung" hat sich nicht in der neuerlichen Benotung der Homepage niedergeschlagen, die mit 2,53 neben der Öffentlichkeitsarbeit abermals die schlechteste Bewertung von allen Bereichen erhielt. Der nach der ersten Evaluation aufgegriffene Vorschlag zur Einrichtung von Portalen für die verschiedenen Studienrichtungen hat sich offensichtlich nicht bewährt. Anzumerken ist auch, dass nach 2005 einige die Lehrveranstaltungen betreffenden Servicebereiche von der Homepage der Abteilung ausgelagert und an das universitäre System KUSSS delegiert wurden. Im Vergleich zu 2005 wurden allerdings - wie bei allen anderen Bereichen - wesentlich weniger Statements abgegeben.

Lehrveranstaltungen der Abteilung

Neben den bekannten Problemen der Knappheit an Lehrressourcen und dem Wunsch nach organisatorischen Verbesserungen, wurden auch inhaltliche Statements zu einzelnen Lehrveranstaltungen abgegeben. Diese Anmerkungen kamen vor allem von StudentInnen höherer Semester, wobei die LehrveranstaltungsleiterInnen namentlich angesprochen wurden. Ein vergleichbares Resumé fand sich auch in der Evaluation 2005.

Persönliche Betreuung durch Mitarbeiter

Abermals fast durchwegs positive Statements gab es ad personam. Dieses Ergebnis korrespondiert mit der guten Notenbewertung (Note 1,77 bei der Diplomarbeitsbetreuung und 2,04 bei der allgemeinen Betreuung durch MitarbeiterInnen).

Sonstige Anmerkungen

bezogen sich darauf, dass noch zuwenige persönliche Erfahrungen mit der Abteilung vorliegen.

Die Struktur der Bewertungen

Zur Überprüfung der Struktur der Bewertungen wurden über diese eine Faktorenanalyse mit anschließender Varimax-Rotation gerechnet, wobei die Extraktion der Korrelationsmatrix (Produktmoment) nach den Standardkriterien dieses Mal ebenfalls vier Faktoren mit einem Eigenwert größer 1,00 ergab. Diese erklären insgesamt 73,9 Prozent der Varianz, wobei der erste Faktor mit 43,6 Prozent den weitaus größten Anteil auf sich vereinigt. In der folgenden Tabelle sind die rotierten Ladungen (> 0,25) dargestellt:

Factor  1
Factor  2
Factor  3
Factor  4
ICSC und ÖFEB
0,88
Forschungsleistungen
0,76
0,25
0,26
Öffentlichkeitsarbeit
0,70
0,39

Lehrveranstaltungen

0,89
MitarbeiterInnen
0,76
0,40

Betreuung insgesamt

0,73
0,25
0,26
Homepage
0,87
Informationsangebot
0,32
0,27
0,72
Sonstige Angebote
0,47
0,48

Sekretariat

0,90
Betreuung DA
0,30
0,41
0,46
0,67

Abteilungsbibliothek

0,30
0,65

Der erste Faktor isoliert die "unbekannten" oder "weniger bekannten" Seiten der Öffentlichkeitsarbeit, der zweite Faktor versammelt die Varianz des Lehrangebots bzw. die durch bestimmte Personen repräsentierte Betreuung und Unterrichtung, der dritte die Homepage und sonstigen Informationsangebote, der vierte "die Verwaltungsdienstleistungen", wobei hier die Betreuung der Diplomarbeit wohl eher auf Grund zufälliger Datenstrukturen "dazugerutscht" ist, wie man an den Nebenladungen in den anderen Faktoren sieht. Diese geringen strukturellen Veränderungen der Bewertungsstruktur gegenüber der ersten Untersuchung können auch kaum inhaltlich interpretiert werden.

Beobachtete Veränderungen

Um die Veränderungen auch inhaltlich zu erfassen, wurden die StudentInnen gebeten, allfällige Beobachtungen auch verbal zu äußern. Davon machten 12 TeilnehmerInnen Gebrauch:

  • Die Bibliothek ist jetzt besser betreut als vor Jahren. Besonders die Bibliothekarin ist wesentlich freundlicher als die frühere.
  • Die nützlichen Informationen auf der Homepage sind noch mehr geworden. Danke!
  • Ich denke, dass sich die Lehre verbessert hat. Man bekommt nun auch mehr Betreuung und Feedback als früher, das ist sehr gut.
  • Das Angebot an LVAs wurde meinem Gefühl nach erhöht. Dies ermöglicht es den Studierenden auch zum gewünschten Zeitpunkt tatsächlich Kurse absolvieren zu können - was ein sehr zentraler Punkt für Studierende und somit eine äußerst positive Verbesserung ist.
  • weiß nicht, warum ich angeschrieben wurde
  • Verbesserung der Infos per Netz (Moodle)
  • keine wesentliche Änderung verspürt, da nur noch wenig an der Uni
  • Keine Veränderungen wahrgenommen
  • ich habe keine Veränderungen wahrgenommen
  • größtenteils gleich geblieben - im positiven Sinn!
  • Da ich bis dato nun schon mehrere LVA besucht habe, kann ich nun eher eine Meinung zur Qualität dieser Veranstaltungen geben und dabei hat sich meine Meinung dazu grundlegend verbessert.
  • lehrerinnenseminar: trotz evaluierungen der jahrgänge vor mir bzw. anscheindend auch nach mir hat sich an dieser lva rein gar nichts getan! wozu werden wir dann nach unserer meinung gefragt, wenn sich dann sowieso nichts verändert? unterrichten und beurteilen: die vortragende konnte - trotz aufforderung - keine kritik vertragen

Bis auf die letzte Wortmeldung sind alle Anmerkungen positiv bzw. neutral.


<-- Methode | Literatur -->

nach oben | zur vorigen Seite | zum Inhalt | zum e-zine
http://paedpsych.jku.at/ezine/ | kontakt | impressum