Navigazione in ambiente virtuale immersivo tramite Brain Computer Interface

Il lavoro consiste nello sviluppo di algoritmi real-time di interfacciamento cervello-computer (BCI), per l’estrazione delle feature, da segnali elettroencefalografici (EEG), e la classificazione di queste ultime, per controllare la navigazione in ambiente virtuale di un avatar. Tale lavoro si inserisce nel progetto VERE (http://www.vere.eventlab-ub.org/Public/research.html), che ha lo scopo di incrementare l’immersività e l’interazione tra uomo e macchine, in ambienti virtuali e non.

Per permettere la navigazione solo con l’ausilio del “pensiero” si è sfruttato il protocollo SSVEP.

L’immersività della navigazione è coadiuvata dalla presenza di dispositivi quali Oculus e la piattaforma di Stewart che replica gli effetti della dinamica di una camminata sul soggetto.

I segnali cerebrali sono stati registrati mediante amplificatore g.tec, e processati in ambiente Matlab/Simulink. L’ambiente virtuale, l’esperimento e gli stimoli visivi sono stati sviluppati in ambiente XVR. Il sistema ha permesso all‘utente sdraiato su una poltrona di potersi muovere nell’ambiente virtuale semplicemente guardando gli stimoli visivi proposti tramite HMD Oculus. Ogni stimolo produce uno specifico movimento dell’avatar: avanti, rotazione destra e rotazione sinistra.

Sono stati sviluppati due metodi di classificazione: il primo è basato sul calcolo del modulo della FFT ed il secondo sfrutta una rete neuronale CNN. Entrambi i metodi hanno prodotto ottimi indici di accuratezza: 83 % e 87 %. I classificatori riescono a distinguere tre classi in aggiunta alla classe di riposo, utilizzando le frequenze di stimolazione pari a 12, 15 e 20 Hz.

I sistemi di BCI sono anche utilizzati da utenti che, a causa di malattie o lesioni, hanno perso la possibilità di comunicare con i mezzi tradizionali; vengono anche impiegati in altri campi, come la riabilitazione, per incrementarne gli effetti.

Il lavoro è stato presentato presso IJCNN, con una pubblicazione dal titolo “A novel BCI-SSVEP based approach for control of walking in Virtual Environment using a Convolutional Neural Network“, Vitoantonio Bevilacqua, Giacomo Tattoli, Domenico Buongiorno, Claudio Loconsole, Daniele Leonardis, Michele Barsotti, Antonio Frisoli, Massimo Bergamasco.