From supervised to unsupervised machine learning methods for brain-computer interfaces and their application in language rehabilitation

Media type: E-Book

Title: From supervised to unsupervised machine learning methods for brain-computer interfaces and their application in language rehabilitation

Contributor: Hübner, David [Author]; Tangermann, Michael W. [Degree supervisor]

Corporation: Albert-Ludwigs-Universität Freiburg, Fakultät für Angewandte Wissenschaften

Published: Freiburg: Universität, 2020

Extent: Online-Ressource

Language: English

DOI: 10.6094/UNIFR/154997

Identifier:

Keywords: Maschinelles Lernen ; Gehirn-Computer-Schnittstelle ; Unüberwachtes Lernen ; Aphasie ; EM-Algorithmus ; Neurofeedback ; Elektroencephalographie ; Learning from label proportions ; (local)doctoralThesis

Origination:

University thesis: Dissertation, Universität Freiburg, 2020

Footnote:

Description: Abstract: The principal idea of brain-computer interfaces (BCIs) is that a decoder translates brain signals into messages or control commands by utilizing machine learning (ML) methods. BCIs hold great promise to improve the living conditions of patients by providing a communication channel that is independent of motor control or by providing feedback about the ongoing brain state that can be used in a training scenario. Applying this neurotechnology is not without difficulties. A common observation is that brain signals strongly differ across patients, but also vary across different sessions of the same patient or even change within a single session. The reasons range from human factors, e.g. differences or changes in anatomical or functional network structures, to non-human factors such as differences in the measurement environment. While these changes clearly challenge the ML model and require a subject- and session-specific decoder, they can also be partly desired, for instance, in cases where BCI-based feedback is used to trigger targeted neuroplasticity. This thesis addresses both aspects: the quest for learning a good decoder that can cope with changing brain signals and the quest for finding new brain state dependent training protocols that can lead to functional improvements. In my methodical contributions, I demonstrate how unsupervised ML methods can quickly and reliably learn a good decoder even in the complete absence of labeled data, i.e. data where the user's intentions are unknown. This task is substantially more difficult than the traditional supervised ML where labeled data is collected during a calibration session and then used to associate brain signals to certain tasks. In contrast to supervised learning, unsupervised methods allow for continuous learning, adapting to changes in the data distribution and have the prospect of skipping or shortening the calibration session. I present a new approach called learning from label proportions (LLP) for BCIs based on event-related potentials (ERPs) where the unsupervised ML model exploits the existence of groups in the data that have different proportions of target and non-target stimuli. For some applications, these groups occur naturally, e.g. when the number of items varies across different selection steps such as in a BCI chess application, while the groups can be created by changing the user interface in other applications. Noticeably, LLP is the first unsupervised method in BCI that is guaranteed to converge to the optimal decoder even if no labels are available. When combined with an expectation-maximization algorithm, the resulting classifier shows remarkable performances. In a visual matrix speller, only 3 minutes of unlabeled electroencephalography (EEG) data were necessary until the unsupervised ML approach has learned a reliable decoder. In addition, classification performances were almost as good as for a supervised decoder that has full access to the labels. The results also showed that the unsupervised approaches even work well on challenging patient data from an auditory ERP paradigm. On the application side, I present the first successful BCI-based language training for patients with chronic aphasia. Aphasia refers to a language impairment that frequently occurs after brain strokes. The new training was developed together with the University Medical Center Freiburg. In contrast to previous speech and language therapies, ML methods were used to continuously monitor the ongoing brain state of patients using EEG signals in an auditory ERP paradigm. Based on this information, we continuously provide feedback to the patients that should reinforce beneficial brain states. In a pilot study, 10 stroke patients with chronic aphasia underwent 30 hours of high-intensity BCI-based language training. The results are extremely promising: compared to other therapies, our patients showed large improvements in their verbal abilities, and 5 patients were diagnosed as non-aphasic after the training even though their stroke occurred several months to years before the start of our training. Taken together, these contributions increase the usability of BCI systems and open the door for a completely new application field of BCIs with an enormous potential user group

Abstract: Die Hauptidee von Gehirn-Computer-Schnittstellen (englisch: brain-computer interfaces; BCIs) besteht darin, dass ein Programm Gehirnsignale in Nachrichten oder Steuerbefehle unter Verwendung von Methoden des Maschinellen Lernens (ML) umwandelt. BCIs haben das vielversprechende Potenzial, die Lebensbedingungen von Patienten zu verbessern, indem sie einen von der Motorik unabhängigen Kommunikationskanal bereitstellen oder aber Rückmeldungen über den aktuellen Gehirnzustand liefern, was in einem Trainingsszenario verwendet werden kann. Die Anwendung dieser Neurotechnologie ist nicht ohne Schwierigkeiten. Eine häufige Beobachtung ist, dass Gehirnsignale nicht nur zwischen Patienten stark variieren, sich aber auch zwischen verschiedenen Sitzungen desselben Patienten unterscheiden oder sich sogar innerhalb einer einzelnen Sitzung ändern können. Die Gründe dafür reichen von menschlichen Faktoren, z.B. Unterschiede oder Änderungen in anatomischen oder funktionellen Netzwerkstrukturen, zu nicht-menschlichen Faktoren wie Unterschiede in der Messumgebung. Während diese Änderungen das ML-Modell eindeutig herausfordern und patienten- und sitzungsspezifische Modellparameter erfordern, können sie teilweise auch erwünscht sein, beispielsweise in Fällen, in denen eine BCI-basierte Rückmeldung verwendet wird, um eine gezielte Neuroplastizität herbeizuführen. In dieser Arbeit werden beide Aspekte behandelt: Die Suche nach ML-Methoden, die mit den sich ändernden Gehirnsignalen zurechtkommen, und die Suche nach neuen, vom Gehirnzustand abhängigen Trainingsprotokollen, die zu Funktionsverbesserungen führen können. In meinen methodischen Beiträgen zeige ich, wie unüberwachte ML-Methoden schnell und zuverlässig gute Modellparameter erlernen können, selbst bei ungelabelten Daten, bei denen die genauen Absichten der Benutzer unklar sind. Diese Lernaufgabe ist wesentlich schwieriger als herkömmliche überwachte Lernverfahren, bei denen gelabelte Daten während einer Kalibrierungssitzung erfasst und dann verwendet werden, um Gehirnsignale mit bestimmten Tätigkeiten zu assozieren. Im Gegensatz zum überwachten Lernen ermöglichen unüberwachte Methoden die Möglichkeit sich an Änderungen in der Datenverteilung anzupassen, kontinuierlich zu lernen und die Kalibrierung zu überspringen oder zu verkürzen. In meiner Arbeit zeige ich einen neuen Ansatz namens "Lernen von Label Proportionen'' (LLP) für BCIs basierend auf ereigniskorrelierten Potenzialen (ERPs), bei dem das unüberwachte ML-Modell verschiedene Gruppen in den Daten nutzt, die unterschiedliche Anteile von Ziel- und Nichtzielstimuli aufweisen. Bei einigen Anwendungen treten diese Gruppen auf natürliche Weise auf, z. B. wenn die Anzahl der Elemente in verschiedenen Auswahlschritten variiert, wie beispielsweise in einer BCI-Schachanwendung. In anderen Anwendungen können die Gruppen durch das Anpassen der Benutzeroberfläche erzeugt werden. Theoretische Betrachtungen zeigen, dass LLP die erste unüberwachte Methode für BCIs ist, die garantiert zu den optimalen Modellparametern konvergiert, auch wenn keine Labels verfügbar sind. In Kombination mit einem Expectation-Maximization-Algorithmus zeigt das resultierende ML-Modell bemerkenswerte Leistungen. In einem visuellen Matrix-Speller waren nur 3 Minuten ungelabelte Elektroenzephalographie (EEG)-Daten erforderlich, bis der unüberwachte ML-Ansatz verlässliche Parameter gefunden hatte. Außerdem waren die Klassifizierungsergebnisse fast so gut wie für einen überwachten Algorithmus, der vollen Zugriff auf die Labels hatte. Die Ergebnisse zeigten auch, dass die unüberwachten Ansätze sogar in der Lage sind, schwierige Patientendaten aus einem auditorischen ERP-Paradigma gut zu klassifizieren. Auf der Anwendungsseite präsentiere ich das erste erfolgreiche BCI-basierte Sprachtraining für Patienten mit chronischer Aphasie. Aphasie bezeichnet eine Beeinträchtigung der Sprache, die häufig nach einem Schlaganfall auftritt. Das Training wurde gemeinsam mit dem Universitätsklinikum Freiburg entwickelt. Im Gegensatz zu früheren Therapien wurden ML-Methoden verwendet, um den fortlaufenden Gehirnzustand von Patienten mithilfe von EEG-Signalen in einem auditorischen ERP-Paradigma kontinuierlich zu analysieren. Basierend auf diesen Informationen geben wir den Patienten fortlaufend Rückmeldungen, die es den Patienten ermöglichen, Gehirnzustände herbeizuführen, die sich positiv auf die Sprache auswirken. In einer Pilotstudie absolvierten 10 Patienten mit einer chronischen Sprachstörung nach einem Schlaganfall 30 Stunden lang ein BCI-basiertes Sprachtraining mit hoher Trainingsintensität. Die Ergebnisse sind äußerst vielversprechend: Im Vergleich zu anderen Therapien zeigten unsere Patienten eine sehr deutliche Verbesserung ihrer verbalen Fähigkeiten und 5 Patienten wurden nach dem Training als nicht-aphasisch diagnostiziert, obwohl ihr Schlaganfall schon mehrere Monate bis Jahre vor dem Trainingsbeginn lag. Zusammengenommen erhöhen diese Beiträge die Benutzerfreundlichkeit und Anwendbarkeit von BCI-Systemen und öffnen die Tür für ein völlig neues Anwendungsfeld von BCIs mit einer großen potenziellen Zielgruppe

Access State: Open Access

Search in field:

Recently searched for: