Beschreibung:
Massive Open Online Courses are a promising educational innovation. Yet, they suffer from high drop-out rates. As a remedy, we propose a planning prompt and test its effect on course completion and further outcomes such as course engagement and satisfaction in four large-scale randomized controlled trials. The results reveal an overall null effect on the completion rate, ruling out effect sizes beyond the [-7%, 3%] interval. However, this overall effect masks heterogeneity across and within courses: In one course the planning prompt increases course completion by 19%, highlighting the importance of replications in slightly different contexts. Using random causal forests, we also reveal tendencies for differential effects by subgroups. Better targeting could hence improve the effectiveness of planning prompts in online learning.
Online-Kurse sind eine vielversprechende Bildungsinnovation, da sie es ermöglichen, lebenslanges Lernen flexibel zu gestalten. Doch nur sehr wenige Teilnehmer schließen Online-Kurse mit einem Zertifikat ab. Um diesen großen Abbruchquoten entgegenzuwirken, untersuchen wir im vorliegenden Artikel, wie sich Kursteilnehmer verhalten, wenn sie eine Aufforderung zum Vorausplanen ihrer nächsten Studienzeit erhalten. In vier randomisierten Feldexperimenten testen wir, wie eine solche Intervention die Abschlussraten sowie weitere Ergebnisgrößen wie Kursaktivität und -zufriedenheit beeinflusst. Die Ergebnisse deuten darauf hin, dass der Effekt auf die Abschlussrate null ist. Effektgrößen jenseits des Intervalls [-7%, 3%] können wir über die Konfidenzintervalle ausschließen. Der Gesamteffekt maskiert ein großes Maß an Heterogenität sowohl über Kurse als auch über verschiedenen Teilnehmergruppen hinweg: In einem Kurs erhöht die Planungsaufforderung die Abschlussrate um 19 %. Dieses Ergebnis unterstreicht, wie wichtig Replikationen sind, um die Wirkung einer Intervention in minimal unterschiedlichen Kontexten abschätzen zu können. Mithilfe eines random causal forest Algorithmus zeigen wir auf, wie sich die Effekte für verschiedene Teilnehmergruppen unterscheiden. Ein gezieltes Angebot der Planungshilfe an Teilnehmergruppen, die darauf wahrscheinlich positiv reagieren, könnte die Effektivität der Intervention maßgeblich erhöhen.