UNTERRICHTSBEURTEILUNG DURCH STUDIERENDE AN DER ETH ZÜRICH
H. Hänni in Visionen und Strategien für Europa. Proc. der gemeinsamen IGIP/SEFI- Jahreskonferenz 1994, Prag


UNTERRICHTSBEURTEILUNG DURCH STUDIERENDE AN DER ETH ZÜRICH

In 1991 the latest version of the of the regulations governing the Swiss Federal Institutes of Technology (ETH) was approved. It laid down that a systematic evaluation of the faculty should be undertaken. The Center for Teaching and Learning at ETH Zurich was delegated the task of producing a model which would enable a regular and complete assessment of various types of lectures at this institute to be carried out. This contribution outlines the development of the model and describes our first experiences with it.

Die im Jahre 1991 verabschiedete Neufassung des Gesetzes über die Eidgenössischen Technischen Hochschulen (ETH) schreibt eine systematische Eignungskontrolle der Professorinnen und Professoren vor. Im Auftrag der Schulleitung hat das Didaktikzentrum (DiZ) der ETH Zürich (ETHZ) ein Modell für eine regelmässige und flächendeckende didaktische Beurteilung der Lehrveranstaltungen ausgearbeitet. In diesem Beitrag soll über das Modell, seine Entstehung und die ersten Erfahrungen damit berichtet werden.



1 Einleitung

Nachdem in der Vergangenheit die Hochschulen in vielen Ländern - zumindest in Westeuropa und Nordamerika - weitestgehende Freiheit in der Gestaltung ihres Lehrbetriebes und des Mitteleinsatzes genossen haben, besteht heute - nicht zuletzt wegen der zunehmend prekäreren finanziellen Situation der öffentlichen Hand und des sich verschärfenden internationalen Konkurrenzkampfs in Wirtschaft und Industrie - die Tendenz, wie von andern privaten und öffentlichen Institutionen auch von den höheren Lehranstalten Rechenschaft über ihre Wirksamkeit sowie über die Zweckmässigkeit ihrer Aktivität und ihres Mitteleinsatzes zu verlangen. So auch in der Schweiz. Es liegt an sich nahe, dazu so weit wie möglich die im Wirtschafts- und Industriebereich entwickelten und angewandten Evaluationsmethoden anzuwenden.

2 Hochschulevaluation
Evaluation bezweckt die Wirksamkeits- und Qualitätssteigerung einer Institution bzw. ihrer Aktivität. Wesentlich an der Evaluation ist die Methodik der systematischen quantitativen und qualitativen Wirkungserfassung, die zu einer höheren Transparenz der evaluierten Bereiche führt. Hochschulevaluation überträgt die für die qualitative und quantitative Programmevaluation entwickelten Methoden auf die Hochschulen. Es besteht allerdings die Schwierigkeit, dass die wichtigsten Bereiche der Hochschulen, nämlich Lehre, Forschung und Dienstleistungen, sehr vielfältig und komplex sind. Sie können daher nicht befriedigend mit einer einzigen Methode erfasst werden, sondern ihre Evaluationen bedürfen der Anwendung verschiedener, zum Teil gemischter Verfahren.
Die nachfolgenden Ausführungen beziehen sich auf die Evaluation des Unterrichts an der ETH Zürich, oder genauer gesagt auf einen Teilbereich davon, nämlich die Beurteilung der didaktischen Qualität des Unterrichts durch Studierende. Eine umfassende Evaluation des Unterrichts würde neben dieser auch eine Beurteilung der fachlichen Qualität und Zweckmässigkeit, etwa durch Kolleginnen und Kollegen (peer reviews) oder aussenstehende Expertinnen und Experten, sowie eine Beurteilung des gesamten Lernumfeldes wie Lehrplan, Lehrveranstaltungsorganisation, Infrastruktur und dergleichen erfordern; eine Aufgabe, die sicher in Zukunft in der einen oder andern Form angegangen werden muss.

3 Die organisatorische und strukturelle Situation der ETH Zürich
Neben sieben kantonaler Hoheit unterstellten Universitäten gibt es in der Schweiz zwei Eidgenössische Technische Hochschulen (ETH), die ETH Zürich (ETHZ) und die Ecole polytechnique fédérale de Lausanne (EPFL). Diese beiden Hochschulen sind direkt dem Bund unterstellt, und ihre Organisation und Aktivitäten werden durch das Bundesgesetz über die ETH geregelt. Oberste legislative Aufsichtsbehörde ist das Bundesparlament, oberste exekutive der Schweizerische Bundesrat. Die direkte Aufsicht und insbesondere die langfristige Strategieplanung sowie die Wahl der Professorinnen und Professoren und der Schulleitung (ohne Präsident, dieser wird vom Bundesrat gewählt) ist seit 1992 von der Regierung an einen neunköpfigen ETH-Rat delegiert, der aus renommierten, ETH-externen Persönlichkeiten aus Lehre, Forschung und Öffentlichkeit zusammengesetzt ist. Seit dem nämlichen Jahr ist eine Neuauflage des ETH-Gesetzes in Kraft. Darin wird erstmals in der Geschichte der ETH eine periodische Eignungskontrolle der Professorinnen und Professoren vorgeschrieben. Aufgrund dieser Rechtslage wurden die beiden Hochschulen vom ETH-Rat beauftragt, eine regelmässige und flächendeckende Evaluation ihrer Lehrveranstaltungen durchzuführen. An der ETH Zürich wurden Planung und Vollzug dieser Aufgabe von der Schulleitung dem am 1. Oktober 1992 eröffneten Didaktikzentrum (DiZ) übertragen.
Das DiZ ist eine Stabsstelle der Schulleitung und direkt dem Rektorat unterstellt. Über seine Aufgaben und Tätigkeiten wird an dieser Tagung in einem andern Beitrag berichtet (1).
An der ETH Zürich besteht eine für Aussenstehende verwirrend erscheinende Dualität von obersten Organisationseinheiten: einerseits die nach Fachrichtung getrennten Departemente, andererseits die aufgrund der (zum Teil historischen) Ausbildungsbedürfnisse gebildeten, teils fächerübergreifenden Abteilungen: Während die Departemente und ihre Institute für die Forschung und die personellen Belange zu ständig sind, ist den insgesamt 19 Abteilungen, wovon 16 Diplomabteilungen, die Organisation und Durchführung der Lehre übertragen. So bilden zum Beispiel Mathematik und Physik zwei getrennte Departemente mit vielen verschiedenen Instituten, jedoch nur eine einzige Abteilung. Das an sich wünschbare Bestreben, die Organisation der Lehre so zu strukturieren, dass die Lehrpersonen, welche den Unterricht für eine bestimmte Studienrichtung oder zumindest die Grundausbildung dafür - wie etwa Mathematik und Physik für die Natur- und Ingenieurwissenschaften - bestreiten, in ein und derselben Abteilung zusammengefasst werden, konnte mit zunehmender Vielfalt in Ausbildung und Fachgebieten nicht konsequent verwirklicht werden. Es besteht daher eine weitere Komplexität, nämlich zum einen, dass Lehrpersonen aus gewissen Abteilungen an andern Abteilungen Unterrichtsaufgaben wahrnehmen (sog. Service-Lehrveranstaltungen), zum andern, dass Studierende von bestimmten Abteilungen für gewisse Lehrveranstaltungen, die sie nicht selber durchführen, an andere Abteilungen, wo die entsprechenden Kurse stattfinden, abgegeben werden. So leisten etwa Mathematikdozentinnen und -dozenten Unterrichtsdienste an fast allen Abteilungen, während etwa die Studierenden der Pharmazie zum Biologie- und Informatikunterricht an andere Abteilungen "abgeordnet" werden.
Diese komplexe Struktur mit unterrichtsnehmenden und unterrichtsgebenden Abteilungen, wobei die Lehrpersonen anstellungsmässig den mit den Abteilungen nicht kongruenten Departementen angehören und zum Teil an andern als ihren Heimabteilungen unterrichten, war eine der Hauptschwierigkeiten beim Erarbeiten eines Modells für eine systematische Unterrichtsbeurteilung durch Studierende an der ETHZ.
4 Unterrichtsbeurteilung durch Studierende an der ETH Zürich
Zielsetzung
Das von der Schulleitung anvisierte Ziel einer Unterrichtsbeurteilung durch Studierende an der ETH Zürich ist das Bereitstellen eines Instruments zur gesetzlich geforderten regelmässigen Beurteilung der Eignung der Lehrpersonen.
Unseres Erachtens gibt es darüberhinaus weitere wichtige Ziele, nämlich:
1. die Schaffung eines Feedback-Instruments für die Dozierenden, das in der Regel - besonders bei grossen Veranstaltungen und bei eher unnahbaren Dozentinnen und Dozenten - nicht "natürlicherweise" vorhanden ist. Die durch die Befragungen gewonnenen Einsichten ermöglichen eine bessere organisatorische und didaktische Anpassung des Unterrichts an die Bedürfnisse der Studierenden als dies sonst oft der Fall ist.
2. die Lieferung von Feedback an die Abteilung betreffend ihren Unterricht und Unterrichtsbetrieb im Gesamten wie im Einzelnen. Hier können die Umfrageergebnisse dazu dienen, gegebenenfalls Organisation und Struktur des Unterrichts anzupassen und/oder neue Lehrgänge und Unterrichtsformen zu schaffen.
3. das Errichten eines Dialogs zwischen den Dozierenden und den Studierenden. Durch die Diskussion der Umfrageergebnisse fühlen sich die Studierenden in ihren Anliegen ernstgenommen und werden mit in die Verantwortung für das Gelingen des Unterrichts eingebunden.

Modellentwicklung/Pilotversuche
Eine unabdingbare Voraussetzung für eine erfolgreiche Einführung der flächendeckenden Unterrichtsbeurteilung durch die Studierenden an der ETH Zürich war eine möglichst breite Akzeptanz der anzuwendenden Methode und des damit verbundenen Verfahrens durch die Abteilungsverantwortlichen und den Lehrkörper. Die oben erwähnte föderalistische Organisation des Unterrichts und die recht weitgehende Autonomie der Abteilungen legte es daher nahe, letzteren breites Mitspracherecht bei der Ausarbeitung des anzuwendenden Modells für die Unterrichtsbeurteilung einzuräumen. Aus organisatorischen Gründen (Aufwand) wie auch aus grundsätzlichen Überlegungen (Vergleichbarkeit, "Rechtsgleichheit") wurde zum vornherein ausgeschlossen, einer jeden der 16 Diplomabteilungen ein eigenes Modell zuzugestehen. Es musste daher ein Konsens bezüglich eines auf möglichst alle Abteilungen möglichst gut anwendbaren Standardverfahrens zur Unterrichtsbeurteilung gefunden werden, auch wenn ein solches nicht in der Lage war, all den vielen Einzelaspekten der vielen verschiedenen Abteilungen voll Rechnung zu tragen.
Grundlage für die Erarbeitung eines solchen Konsens-Modells bildeten zwei Pilotversuche mit zwei freiwilligen Abteilungen:
Im ersten Versuch wurde die didaktische Qualität aller obligatorischen Vorlesungen einer Ingenieursabteilung durch die Studierenden mittels eines maschinell lesbaren, 54 Fragen umfassenden und bezüglich der beantwortenden Person anonymen Fragebogens beurteilt. Die Antwortverteilungen je Lehrveranstaltung wurden vom DiZ auf elektronischem Wege ermittelt und in Form von Balkendiagrammen dargestellt. Bei allen nichtkategorialen Fragen wurde den Antworten eine notenähnliche lineare Skala unterlegt. Die auf dieser Grundlage gebildeten Mittelwerte wurden mittels einer fieberkurvenartigen Repräsentation den entsprechenden abteilungsweit erzielten minimalen und maximalen Mittelwerten gegenübergestellt. Die auf Zusatzblättern abgegebenen verbalen Kommentare wurden im Falle, wo sie sehr harte Kritik enthielten, abgetippt. Alle andern Kommentare wurden den Dozierenden zusammen mit den obengenannten Darstellungen im Original übermittelt. Gemäss Abteilungsbeschluss wurden sämtliche Ergebnisse der Umfrage den betreffenden Studierenden in einer Vorlesungs- bzw. Übungsstunde vor Semesterende vorgeführt und mit ihnen diskutiert. Die Resultate wurden ferner in einem allen Lehrpersonen der Abteilung zugänglichen Raum zur Einsichtnahme aufgelegt.
Der zweite Pilotversuch umfasste sämtliche Mathematikübungen der Abteilung für Mathematik und Physik. Dies waren gegen 120 einzelne, von Assistentinnen und Assistenten geführte Gruppen von typisch 15 Studierenden. Zu diesem Zwecke wurde ein Fragebogen mit insgesamt 36 Fragen eingesetzt. Im Gegensatz zum ersten Versuch blieb dabei aber der Name der Personen (Assistentinnen und Assistenten), welche die beurteilten Veranstaltungen (d.h. die Übungsstunden) durchführten, den vorgesetzten Stellen und dem DiZ verborgen. Die Identifikation der Ergebnisse durch die beurteilte Lehrkraft erfolgte wie beim Kreditkartensystem über einen nur der betreffenden Person bekannten numerischen Code. Die für die entsprechende Lehrveranstaltung als Ganzes verantwortlichen Dozentinnen und Dozenten erhielten alle Ergebnisse ohne Namensauflösung mitgeteilt. Da anders als im ersten Versuch von der Abteilung keine Auflage bzw. Empfehlung bezüglich Besprechung der Ergebnisse mit den Studierenden bestand, war leider der Feedback an diese und ans DiZ gering bis null.
Die beiden Versuche stellen sozusagen zwei Extremsituationen dar: Einerseits integrale Beurteilung einer Lehrveranstaltung (Vorlesung und dazugehörige Übungen mit meist mehreren, von verschiedenen Personen geführten Gruppen) bei völliger Transparenz, andererseits spezifische Beurteilung des Unterrichts in den Übungsgruppen und damit der Eignung der entsprechenden Lehrperson, allerdings bei völliger Anonymität.

Das Standardverfahren
Aufgrund der Pilotversuche erarbeitete das DiZ einen Verfahrensvorschlag und unterbreitete diesen den Abteilungen zur Vernehmlassung. Zudem wurden mit den Abteilungsvorständen intensive Gespräche geführt, wobei es gelang, viele Vorbehalte abzubauen oder zumindest auf ein erträgliches Mass zu reduzieren. Schliesslich konnte mit allen Abteilungen folgender Konsens erreicht werden:
1. Die Lehrveranstaltungen einer jeden der insgesamt 16 Diplomabteilungen werden bezüglich ihrer didaktischen Qualität im Turnus von drei Semestern mittels Studierendenbefragungen beurteilt. Erfasst werden alle beurteilbaren vorlesungsartigen Lehrveranstaltungen, wobei die Übungen, falls vorhanden, zusammen mit der entsprechenden Vorlesung als Einheit erhoben werden.
2. Die Befragungen erfolgen mittels eines für die ganze Hochschule verbindlichen, maschinell auswertbaren Standard-Fragebogens (Multiple Choice).
Den Studierenden wird zusätzlich zum Fragebogen die Möglichkeit geboten, auf einem Zusatzblatt (Kommentarblatt) schriftliche Bemerkungen und Anregungen mitzuteilen.
3. In denjenigen Fällen, wo der Standardfragebogen den Bedürfnissen und Gegebenheiten von Lehrveranstaltungen zuwenig entspricht, wird ein massgeschneiderter Fragebogen erstellt.
4. Die Umfragen werden vom DiZ nach einem Standardverfahren ausgewertet.
5. Die Ergebnisse werden wie folgt mitgeteilt:
Jede Lehrperson erhält vor Semesterende die vollständigen, ihre Lehrveranstaltung betreffenden Ergebnisse.
Der/die Abteilungsvorsteher/in erhält von jeder beurteilten Lehrveranstaltung eine Zusammenfassung.
Die Schulleitung kann bei anstehenden Wiederwahlen, Beförderungen und dergleichen vom betreffenden Abteilungsvorstand einen Lehrbericht anfordern, worin die Ergebnisse der Lehrbeurteilungen gebührend berücksichtigt sind.
Die Schulleitung der ETH Zürich genehmigte am 23. November 1993 dieses Verfahren und verfügte seine Anwendung ab 1994.
Der Fragebogen
Eine im Vernehmlassungsverfahren mehrheitlich erhobene Forderung war diejenige, dass der Fragebogen aus Gründen der Akzeptanz durch die Studierenden (sie müssen den Bogen zumeist innerhalb von zwei Wochen mehrmals ausfüllen) und der möglichst geringen Störung des Unterrichtsbetriebes (die Fragen werden in einer Unterrichtsstunde beantwortet) "kurz und prägnant" sein sollte. Es zeichnete sich ab, dass ein Umfang von mehr als zwei Seiten und oder mehr als 30 Fragen kaum eine generelle Zustimmung durch die Abteilungen finden würde. Diese Forderung steht im Gegensatz zu den Erkenntnissen der empirischen Sozialforschung, wonach nur ein sehr umfangreicher Fragebogen die Heterogenität der beurteilenden Studierenden und ihren Einfluss auf die Beurteilung des Unterrichts gebührend berücksichtigen lässt (2). Um der Sache zum Durchbruch zu verhelfen musste hernach auch hier ein Kompromiss gefunden werden.
Der im Standardverfahren eingesetzte zweiseitige Fragebogen enthält auf seiner ersten Seite neben einigen Feldern für persönliche Angaben vier Fragen zum Profil der Studierenden, deren Beantwortung gewisse Schlüsse über die Motivation zur Studienwahl und zur Wahl der betreffenden Lehrveranstaltung sowie über den Leistungswillen ziehen lassen. Die zweite Fragebogenseite ist der eigentlichen Unterrichtsbeurteilung gewidmet. Mittels 21 Fragen zur Vorlesung, zu den Übungen sowie zur didaktischen Verhaltensweise der Dozentin bzw. des Dozenten wird versucht, aus der Sicht der Studierenden ein möglichst umfassendes Bild über die didaktische Qualität des Unterrichts zu erhalten. Eine letzte Frage betrifft die Eignung des Fragebogens, um damit das Urteil über die Lehrveranstaltung in adäquater Weise abgeben zu können.
Die unterrichtsbezogenen Fragen haben alle die Form einer Aussage, deren Grad des Zutreffens angegeben werden soll, z.B. "Die Vorlesung ist gut strukturiert und hat ein erkennbares Konzept". Die Antwortauswahl ist eine fünfelementige Likertskala: "++ (trifft in höchstem Masse zu)", "+ (trifft grösstenteils zu)", "0 (trifft zu ungefähr 50% zu)", "- (trifft in geringem Masse zu)" bis "-- (trifft überhaupt nicht zu)".
Aus den oben erwähnten Gründen ist es nicht möglich, mit den Antwortdaten dieses Fragebogens sehr tiefgründige wissenschaftliche Untersuchungen anzustellen. Trotzdem erachten wir das gewählte eher diagnostische Verfahren als durchaus geeignet, erhebliche Mängel im didaktischen und organisatorischen Bereich des Unterrichts aufzudecken und den Lehrpersonen und den Abteilungsvorständen einen routinemässigen, bisher kaum vorhanden Feedback darüber zu geben.

Durchführung der Umfragen und Rückgabe der Ergebnisse
Die Umfragen finden jeweils ungefähr vier Wochen vor Semesterende in einer Vorlesungsstunde statt. Das DiZ bemüht sich, die Auswertung der Fragebogen innerhalb von etwa zwei Wochen auszuführen, so dass die Dozentinnen und Dozenten die Möglichkeit haben, die Ergebnisse noch vor Semesterende mit den Studierenden zu besprechen. Nichtsdestotrotz handelt es sich aber hierbei um eine summative und nicht um eine formative Lehrbeurteilung.
Die an die Dozentinnen und Dozenten abgegebenen Ergebnisse umfassen:
1. zu allen Fragen die Antwortverteilungen in Form von Balkendiagrammen, wobei Mittelwert und Standardabweichung angegeben sind.
2. zu allen unterrichtsbezogenen Fragen eine Darstellung der Mittelwerte mit in Form von senkrechten "Fehlerbalken" eingetragenen Standardabweichungen. In derselben Grafik sind die abteilungsweit erzielten Ergebnisse zum Vergleich ebenfalls eingetragen.
An die Abteilungsvorstände wird je Lehrveranstaltung nur die unter 2. genannte Darstellung abgegeben.
Die Dozentinnen und Dozenten werden vom DiZ bei der Rückgabe der Resultate eindringlich ersucht, diese mit den Studierenden zu besprechen. Um die Bereitschaft dazu zu fördern liefert ihnen das DiZ Kopien der Ergebnisse auf Folien. Seine Mitarbeiterinnen und Mitarbeiter nehmen zudem auf Wunsch an den Besprechungen teil.

5 Bisherige Erfahrungen
Zur Zeit, wo dieser Beitrag geschrieben wird, ist eine erste "routinemässige" Beurteilungsrunde mit ungefähr 80 Lehrveranstaltungen an drei Abteilungen abgeschlossen. Die Ergebnisse und erste Analysen zeigen, dass es mit dem eingesetzten Standardfragebogen möglich ist, wirkliche Problemfälle im Unterricht einigermassen objektiv aufzudecken. Ebenso wurde der erhoffte Dialog zwischen Unterrichtenden und Studierenden in vielen Fällen in Gang gesetzt. Es bedarf indessen noch weiterer Befragungsrunden, um ein endgültiges Urteil über die Eignung des gewählten Verfahrens zum Erreichen der gesteckten Ziele fällen zu können. Sicher werden weitere Anstrengungen unternommen werden müssen, um die Akzeptanz des Verfahrens bei Dozierenden und Studierenden zu fördern, wobei allerdings zu sagen ist, dass diese allgemein höher als erwartet ausfiel.

6 Schlussbemerkung
Die Unterrichtsbeurteilung durch die Studierenden, wie sie zu Beginn des Jahres 1994 an der ETH Zürich eingeführt wurde, wird von vielen Studierenden und auch von einer beträchtlichen Anzahl Dozentinnen und Dozenten begrüsst, auch wenn die Methode sicher im Detail noch einer gewissen Weiterentwicklung und Anpassung bedarf. Sie ist indessen nur ein Teil der Anstrengungen unserer Hochschule zur Verbesserung der Lehrqualität. Von grosser Wichtigkeit ist die damit einhergehende Beratung der Dozentinnen und Dozenten und die möglichst frühzeitige didaktische Ausbildung der jungen Lehrkräfte, insbesondere der Assistentinnen und Assistenten. Das erst knapp zwei Jahre alte Didaktikzentrum sieht darin neben der Durchführung der Studierendenbefragungen zur Unterrichtsbeurteilung zwei seiner Hauptaufgaben.





Referenzen
1 Leonard Lutz, "Das Didaktikzentrum an der ETH Zürich", Beitrag zu dieser Konferenz.
2 Helmut Kromrey et al., "Methodische Probleme der Lehr-Evaluation per Befragung von Studierenden in Lehrveranstaltungen (Methoden-Abschlussbericht)"
aus: "5. Bericht zur Erhebung 'Evaluation der Lehre an der Ruhr-Universität Bochum' - Vorlesungen", Ruhr-Universität Bochum, 1993.