COMETS Evaluation

Marco Rademacher (Marco.Rademacher@web.de)

Ein Teil meiner Dissertation besteht aus der Evaluation des COMETS-Systems. Im Rahmen eines Projekts an der FU-Berlin mit Studierenden wurde ein stabiler Prototyp entwickelt, der an bestehenden Online-Tutorials ausprobiert werden kann.

Dieses Dokument ist eine Kurzbeschreibung für COMETS und den Evaluationsvorgang für diejenigen, die es gerne für eigene Online-Materialien einsetzen und so die Evaluation ermöglichen möchten.


1 Überblick


2 Kurzbeschreibung

COMETS ist ein themenorientierter Chat, der Leser einer Webseite mit anderen vernetzt, die sich diese Webseite auch gerade ansehen oder sie erst kürzlich angesehen haben. COMETS ist also dafür entwickelt, insbesondere die Leser von Online-Tutorials miteinander zu vernetzen, damit Lernende mit Problemen andere fragen können, die sich in diesem Moment zufällig mit den selben Inhalten beschäftigen. Die per COMETS zusammengeführte Gruppe von Onlinern entspricht somit in Zusammensetzung und Niveau einer ad-hoc-Lerngruppe aus allen, die sich in einem Moment wirklich mit einem Thema auseinandersetzen wollen. Zu jeder Frage gibt es einen eigenen Chat-"Raum", damit engagierte Lerner nur dem sie interessierenden Gesprächsstrang folgen müssen.

2.1 Technik

COMETS funktioniert neben allen Webseiten, indem COMETS und das Tutorial selbst als HTML-Frames in ein Frameset geladen werden. Die inhaltliche Nähe von Nutzern wird über ihren individuellen Weg durch das Tutorial erfasst. Webseiten müssen also weder verändert noch mit Metadaten angereichert werden. Java auf Serverseite und Flash auf Clientseite versprechen universelle Benutzbarkeit.

2.2 Abgrenzung zu ähnlichen Anwendungen

Es gibt Homepage-Chats, die thematisch divergente Nutzer verbinden, es gibt Foren, in denen Fragen nach ein paar Stunden oder Tagen sachnah beantwortet werden, und es gibt Browser-Plug-Ins, die die Betrachter einer einzigen Webseite vernetzen, die den selben Browser benutzen. Die Vernetzung thematisch naher Lernender ohne Veränderung des Lernmaterials und ohne Einschränkung beim Browser ist eine Neuheit, deren Erfolg gerade wissenschaftlich im Rahmen meiner Dissertation geprüft werden soll.

2.3 Unterstützung der Erstanwender

Wenn Sie sich entschließen, COMETS im Evaluationszeitraum von Juni bis September 2006 einzusetzen, ist Ihnen schon zum Zwecke einer erfolgreichen Evaluation eine gute Betreuung gewiss.

2.4 Zukunftssicherheit

COMETS steht übrigens unter der GPL-Lizenz und kann auch später von Ihnen frei und unentgeldlich verwendet oder sogar selbst angepasst und weiterentwirckelt werden.


3 Installation

Dieser Abschnitt richtet sich an Techniker, die COMETS zu einem bestehenden Online-Tutorial installieren möchten und Zugriff auf den Webserver haben, auf denen das Online-Tutorial läuft.

Unabhängig von der Anzahl bestehender Online-Tutorials ist nur ein COMETS-Server einzurichten. Das System wird auf der Seite zugänglich gemacht, die als Start- oder Portal-Seite alle Tutorials verlinkt.

Externe Tutorials sind nicht mit COMETS betreibbar. Sie können aber ein fremdes Tutorial auf ihrem eigenen Webserver spiegeln, falls das gewünschte Tutorial unter einer Lizenz betrieben wird, die es erlaubt, oder eine Genehmigung des Autors vorliegt.

3.1 Voraussetzungen

Sie können COMETS auf allen gängigen Betriebssystemen (Windows, Linux, Unix, MacOS) einsetzen. Da die Systeme unterschiedlich aufgebaut sind, geben wir keine automatische Installationsroutine mit und bitten Sie um etwas Handarbeit. Folgende technischen Voraussetzungen sollten vorliegen, damit Sie COMETS sinnvoll einsetzen können:

Für die Clients ist die einzige Voraussetzung eine grafischer Webbrowser (wie z.B. Microsoft Internet Explorer, Mozilla, Firefox, Opera, etc) mit einem Flash-Plugin, wie es bei allen Rechnersystemen derzeit mitgeliefert wird oder aus dem Internet nachgeladen werden kann.

3.2 Lizenz und Haftungsausschluss

COMETS steht unter der GNU General Public License (GPL). Es darf unter Ausschluss jeglicher Gewährleistung und Haftung beliebig eingesetzt werden. Nach der GPL dürfen Sie COMETS auch weiterentwickeln und weiterverbreiten, müssen in diesem Falle dann die entsprechenden Besonderheiten der Lizenz beachten.

Es spielt rechtlich auch keine Rolle, ob Sie freie Online-Tutorals anbieten oder den Zugang zu Ihrem Tutorial nur zahlenden Benutzern zu Verfügung stellen.

3.3 Einrichtung

Um COMETS für Ihr Online-Tutorial zu nutzen, brauchen Sie nicht das ganze Tutorial zu verändern. Das System erkennt selbstständig, welche Seiten für welche Teilnehmer im Zusammenhang stehen und führt die Teilnehmer danach zusammen. Sie brauchen nur das Archiv auszupacken, Dateien zu verschieben und lediglich die Startseite (Portal-Seite) Ihrer Online-Tutorials anzupassen.

Ihr COMETS ist nun eingerichtet. Der Client sollte nun beim Aufruf der Startseite Ihres Online-Tutorials sichtbar sein. Nach dem Start des Servers ist er dann auch benutzbar.

3.4 Start

Starten Sie den COMETS-Server mit java comets in einem Terminalfenster mit Eigabeaufforderung. Auf einem Unix oder Linux-System können Sie das System alternativ auch mit einem "Watchdog" starten, der selbstständig erkennt, ob das System noch läuft und es gegebenenfalls nach einem Absturz selbstständig neu startet: ./comets.sh

Soll COMETS bei jedem Start des Serverrechners gestartet werden, fügen Sie die von Ihnen gewünschte Startprozedur an den Schluss der selbstständig gestarteteten Dienste ein.

Beim Aufruf Ihres Online-Tutorials sollte nun COMETS in einem rechten Frame erscheinen und funktionieren. Wenn Sie dort eine Eingabemöglichkeit sehen, ist der Client richtig instaliert. Wenn Sie sich anmelden können, ist der Server auch richtig installiert und die Nutzer Ihres Tutorials können sich fortan selbstständig beim Verständnis helfen und nachhaltiger lernen.

Sollten Sie bei der Installation auf Probleme stoßen, wenden Sie sich an Ihren System-Administrator oder an die COMETS-Mailingliste, die von allen Entwicklern regelmäßig gelesen wird.

3.5 COMETS entfernen

Nutzer können, wenn sie COMETS nicht benutzen wollen, entweder den COMETS-Frame ignorieren oder auch einfach wegklicken und haben dann freie Sicht auf Ihr Online-Tutorial. Wenn Sie nicht mehr möchten, dass Benutzern das COMETS-System angezeigt wird, brauchen Sie nur fogendes zu tun:

Durch Zurückbenennung richten Sie Ihr System wieder neu ein.


4 Didaktisches Szenario im Lehrbetrieb

Dieser Abschnitt richtet sich an Lehrende, die mit Hilfe von COMETS effektiveres und nachhaltigeres Lernen während Online-Lernphasen ermöglichen wollen, ohne den Betreuungsaufwand bei sehr vielen Lernenden erhöhen zu müssen.

4.1 Ziele

COMETS richtet sich vor allem an intrinsisch motivierte Lerner und ist weniger dazu entwickelt worden, in der institutionalisierten Lehre eingesetzt zu werden. Dennoch ist dieser Einsatz möglich und wahrscheinlich auch sehr effektiv, wenn ein paar Bedingungen an die Organisation der Lehre und insbesondere der Leistungskontrolle beachtet werden.

4.2 Voraussetzungen

COMETS unterstützt die Lernform des kooperierenden Lernens. Anhand von gegebenen Lehrmaterialien sollen sich Lernende ihr Wissen selbst aneignen bzw. in Eigenarbeit vertiefen oder anwenden. Sie können im Falle von Problemen auf Mitlernende zurückgreifen oder anderen beim Verständnis helfen und so ihr erst kürzlich rezipiertes Wissen vertiefen. Damit dieses Szenario funktioniert, müssen folgende Voraussetzungen erfüllt sein:

4.3 Organisation und Lernerfolgskontrolle anpassen

Im Gegensatz zu anderen Lernszenarios an Schulen und Hochschulen, die zum Zwecke individueller Lernerfolgskontrolle die Kommunikation der Lernenden zumindest im Kontrollzeitraum unterbinden wollen ("Vorsagen und Abschreiben ist verboten!"), hängt der Erfolg der kooperativen Lernform gerade von der Intensität der Kommunikation ab. Um sie "gestatten" zu können, sollten individuelle Aufgaben gestellt werden: Zur Lösung der Aufgaben ist dann das Abschreiben der Lösung eines anderen nicht mehr zielführend, sondern einzig das Verständnis, bei dem sich die Lernenden gegenseitig unterstützen können und darüber dann auch andere Aspekte eines Themas kennenlernen.

Findet der Kontrollzeitraum während eines Präsenzzeitraums statt ("Blended-Learning"), in dem kein Zugnag zum Netz besteht (z.B. bei einer Klausur), können dort auch identische Aufgaben gestellt werden. Es empfiehlt sich dann, diese Aufgaben nicht während des Online-Zeitraums bekannt zu machen, aber ähnliche Übungsaufgaben bereit zu stellen (z.B. die Aufgaben der Klausuren vergangener Semester).

4.4 Möglichkeiten zur Kooperation fördern

Um in dem Moment, in dem sich ein Teilnehmer mit den von COMETS unterstützten Inhalten auseinandersetzt, auch Ansprechpartner bieten zu können, muss man dem Zufall, der diesem Zusammentreffen zugrundeliegt, auf die Sprünge helfen: Entweder dadurch, dass im Kurs sehr viele Teilnehmer dabei sind, oder dadurch, dass möglichst viele der wenigen Lernenden möglichst zeitnah am Tutorial versammelt werden. Frei zugängliche Inhalte werden sehr wahrscheinlich zu mehr Ko-Lernern beitragen, als zugangsgeschützte Inhalte. Externe werden so Ihre Zielgruppe unterstützen können.

Mit COMETS unterstützte Lehre entlastet den Lehrenden darin, individuelle Hilfestellung zu geben, fordert aber einen etwas höheren Aufwand bei

Lernende sollten die gute Möglichkeit haben, zu Lösungen zu kommen. Perfekt muss die Lehre nicht sein - im Gegenteil wird das System wohl erst dann massiv eingesetzt werden, wenn Lernende auch tatsächlich über Probleme stolpern und andere die Fähigkeiten bekommen haben, helfen zu können.


5 Benutzung

Dieser Abschnitt wendet sich an diejenigen, die COMETS für eigene Lernvorhaben nutzen möchten, bzw. die Lehrenden, die ihren Kursteilnehmern die Verwendung von COMETS nahelegen wollen.

5.1 COMETS stellt sich vor

Beim Aufruf des bekannten Online-Tutorials gesellt sich automatisch COMETS neben die Webseite mit einer Kurzerklärung.

5.2 Anmeldung

Entschließt sich ein Nutzer, COMETS zu benutzen, meldet er sich mit einem selbstgewählten Nickname, mit dem er seine Anonymität wahren kann, an.

5.3 Optionen und Rollen

Er sieht im folgenden, ob andere Nutzer zu Inhalten auf einer Seite erreichbar sind und die bereits gestellten, noch offenen Fragen und kann zwanglos auf verschiedenen Arten sein Wissen erweitern oder vertiefen:

Das System sorgt automatisch dafür, dass bei eigenen Fragen geeignete Ansprechpartner gefunden werden und die Fragen angezeigt werden, die wahrscheinlich beantwortbar sind. Details dazu erklärt der nächste Abschnitt.

5.4 Kontext-sensitive Vernetzung

Das System ist so gestaltet, dass ad-hoc Kooperationen nur zwischen denen stattfindet, die sich geistig etwa im selben Kontext befinden. Das heißt, dass nur diejenigen Nutzer angezeigt werden, die die Inhalte einer Webseite kürzlich angesehen haben, und nur Fragen zu den Themen sichtbar sind, mit denen man sich selbst kürzlich befasste. Sie sind daher wahrscheinlich beantwortbar und werden nicht Rückschritt im eigenen Lernprozess empfunden. Im Jargon der Programmentwickler wird das dahinter liegende Konzept das "Schweifmodell" genannt.

Wechselt der Benutzer die Tutorial-Seite, so werden auf der neuen Webseite auch neue Inhalte präsentiert, auf die er sich sogleich einstellt. Es findet also auch ein Wechsel des geistigen Kontextes statt, in dem sich der Nutzer befindet. Damit jetzt die Nutzer und Fragen angezeigt werden, die im Zusammenhang mit den Inhalten auf der jeweiligen Webseite stehen, werden die sichtbaren Nutzer und offenen Fragen automatisch im Sekundentakt vom System aktualisiert.

5.5 (Vorübergehend) beenden

Sollte der COMETS-Frame doch in störender Weise ablenken, kann er minimiert oder ganz geschlossen werden.


6 Evaluation

Dieser Abschnitt richtet sich nur an diejenigen, die es näher interessiert, wozu genau die Evaluation Aussagen liefern soll.

COMETS ist eine Software, deren vorgesehenes Einsatzszenario von einer Freiwilligkeit und intrinsischer Motivation ausgeht, sodass sich die Testgruppe erst während des Experiments zufällig bilden würde. Die Kontrollgruppe, also freiwillige, intrinsisch motivierte Nutzer desselben Lernmaterials, die auf die Verwendung von COMETS verzichten, lassen sich garnicht identifizieren. Eine Evaluation des Hauptszenarios beschränkt sich somit auf eine qualitative Analyse. Die Aussagen der Arbeit in Hinlick auf das Kernszenario werden sich also verstärkt auf qualitative Analysen und die Einbeziehung von Einschätzung anderer Experten aus Literatur und Anwendung stützen.

Um darüber hinaus besser abgesicherte Aussagen treffen zu können, ist die Evaluation auch auf Szenarios angewiesen, bei denen Test- und Kontrollgruppe gebildet werden können und die daraus klassische qualitative und quantitative Verfahren ermöglichen.

6.1 Ziele

Die Evaluation soll eine Aussage darüber liefern, ob die Anwendung von COMETS tatsächlich zu erfolreicherem Lernen führt, als vergleichbare Szenarien ohne COMETS. "Erfolgreicheres" Lernen äußert sich sowohl in effizenterem Lernen, als auch in nachhaltigerem Lernen.

Ob Medieneinsatz zu höherem Lernerfolg führt, hängt von vielen Faktoren ab:

Um die Aussage zu stützen, dass das Lernen mit Hilfe von COMETS erfolgreicher ist, als reine Online-Lehre ohne COMETS, ist bei der Evaluation dafür zu sorgen, dass möglichst verschiedene Szenarien untersucht werden.

Anhand der Evaluation soll ferner festgestellt werden, welche Faktoren den Lernerfolg von COMETS ferner positiv beeinflussen können.

6.2 Hypothesen

Für verschiedene Einsatzszenarien wird geprüft, wie effizient und nachhaltig das Lernen mit COMETS war. Nachhaltigkeit von mehreren Monaten kann nicht nachgewiesen werden, da der Testzeitraum zu kurz ist und die Nutzer aufgrund der Spontanitäts- und Anonymitätsforderung nicht über die Nutzung des Systems hinaus bekannt sind.

Aus der Evaluation im Kernszenario ließen sich also lediglich die folgenden Hypothesen prüfen:

In gestellten Szenarien mit COMETS-Nutzung und anschließender Klausur zum Tutorial-Thema ließen sich die folgenden Hypothesen prüfen:

Einen höheren Lernerfolg haben...

Wird der Chat sinngerecht verwandt? Bezüglich der Art und Weise der Chatbenutzung lassen sich die folgenden Hypothesen durch Analyse der Chatprotokolle prüfen:

6.3 Datengrundlage und Ablauf

COMETS wird dezentral auf jedem Webserver installiert, wo Webseiten mit dem System ergänzt werden sollen. Die Daten liegen dezentral vor und werden testweise während der Evaluation und dann nach Ablauf der Evaluation an den Projektleiter übermittelt.

Einerseits werden bestimmte Ereignisse im System gezählt, zum anderen werden die kompletten Chatprotokolle zu jedem eröffneten Thema gespeichert. Da die Nutzer aufgefordert werden, sich Nicknames zu geben, beinhalten die Protokolle datenschutzrechtlich unproblemaische anonymisierte Daten, die natürlichen Personen nicht zugeordnet werden können.

Stichprobenweise werden Protokolle aus drei Intervallen näher untersucht: aus der Anfangszeit, zur Mitte des Evaluationszeitraums und zum Ende.

Sollte das Szenario eine Prüfungssituation beinhalten, ist insbesondere der Zeitraum vor der Prüfung interessant, aber auch das verhalten der Nutzer im System nach der Prüfung, wenn der Leistungsdruck nicht mehr besteht. Ferner wird innerhalb der Prüfung abgefragt, wie stark die Online-Lehrmaterialien und COMETS zur Prüfungsvorbereitung genutzt wurden. eine Verknüpfung der realen Teilnehmer mit Nicknames ist systembedingt nicht fehlerfrei möglich und soll daher nicht vorgenommen werden.

6.4 Diskretion und Veröffentlichung

Die anonymisierten Daten sollen über die Projektbeteiligten und Administratoren hinaus niemandem zugänglich gemacht werden.

Die Ergebnisse der Evaluation werden allen Beteiligten zu Verfügung gestellt. Es ist geplant, sie als Teil der Dissertation zu veröffentlichen und im Rahmen einer einschlägigen E-Learning Konferenz zu veröffentlichen.


7 Weiterführende Informationen

Weitere Informationen erhalten Sie auf der COMETS Homepage, derzeit noch provisorisch unter http://page.inf.fu-berlin.de/~mrademac/comets. Neben Kontaktadressen von Ansprechpartnern finden Sie hier:

7.1 Literatur

In chronologischer Reihenfolge:

7.2 Kontakt

Für Fragen und Ideen zu COMETS kontaktieren Sie bitte Marco Rademacher <Marco.Rademacher@web.de>. COMETS ist unter der freien GPL lizensiert, sodass Sie herzlich eingeladen sind, das Programm mit vereinten Kräften auch Ihren Bedürfnissen entsprechend weiter zu entwickeln.